工作职责：

1.负责公司大数据平台的架构设计与核心编码工作，保障平台的高可用性，扩展性，安全性；

2.负责大数据平台的数据规划，把控大数据平台需求和设计，并负责核心模块的开发；

3.深入研究大数据相关技术，负责大数据平台相关服务组件的性能调优，技术难点公关；

4.对海量数据进行离线计算和实时处理的高效处理算法；

5.配合团队完成项目中的业务大数据和关键业务算法的优化工作；

6.挖掘大数据平台的价值，拓展其应用空间，驱动业务的发展。

任职要求：

1.本科及以上学历，3年以上大数据开发经验;

2.精通java/scala中一种或两种语言，熟练掌握Python，shell编程;

3.熟悉大数据平台Hadoop、Hive、Spark、HBbase、Kafka、ES、Impala、Kudu，Flink部署及调优，具备一定架构能力;

4.熟悉Flume、Flink、Spark、Kafka、ElasticSearch等主流大数据开源技术的原理，并有一定的使用经验;

5.对关系型数据库能够熟练操作，包括MySQL数据库设计、管理与优化。熟练MySQL主从调优，集群架构;

6.有PB级数据库管理经验者优先;