数据平台 - Spark/Hadoop 工程师
美团崇尚用数据说话，自上线起数据平台团队一直在不断完善公司级的统一数据平台。 数据平台基于 Hadoop 构建，目前每天执行 20 万次计算流程，负责每天百 TB 的数据存储、分析和实时计算，有 2000 多个业务指标，为十几个业务线、各层级的团队管理和产品运营，提供大量的数据决策支持。 随着美团以每年超过 3 倍的速度成长，数据规模带来的存储和计算压力，是我们面临的最大挑战。 现在我们开始组建负责 Hadoop 性能的技术专家团队，需要对 Hadoop/Spark 性能优化方面具有丰富经验的人才加入。这个团队负责构建稳定高效的大规模数据存储、计算服务，并确保在数据量快速增长的同时，每天凌晨重要的数据计算任务按时高效的完成。
工作职责：
- Spark/YARN/HDFS//HBase/Kylin/Presto/Hive 的性能改进、功能扩展、故障分析；
- 不断解决规模增长带来的技术和业务问题，确保 Hadoop 数据平台每天上午 8 点完成重要数据的计算。
职位要求：
- 理工类 211 、 985 院校本科及以上学历；
- 对技术有着永无止境的追求，自认为是技术 Geek ，具备很强的问题解决能力；
- 熟悉 Hadoop 生态系统开源项目，至少精读过其中某一个的源码，对大规模数据处理具有独到的理解，有 patch 源代码经验者优先；
- 1 年以上 Hadoop/Hive 生产环境工作经验；
- 有团队管理经验者优先。
//同职位招实习生，其他职位也可内推，简历发送至 [email protected]
Select Language