Responsibilities：

主要职责 1、负责大数据平台的数据开发工作，包括数据中台组件选型及搭建、数据架构开发； 2、负责离线/实时的数据存储和加工处理，保证数据质量，负责数据监体系的建立和维护； 3、负责海量数据的清洗、处理和挖掘工作，支持数据分析师和算法工程师的数据需求； 4、研究前沿技术，解决实际场景中的业务问题，优化离线/实时大数据计算任务的性能。

Requirements：

任职资格 1、计算机或相关专业本科及以上学历，5年以上大数据开发经验； 2、熟练掌握scala/Java语言，python编程，扎实的数据结构和算法功底子； 3、熟练掌握基于CDH的hadoop、hive、spark等大数据组件部署与优化；有Hadoop、 Hive、Spark、presto、impala优化及性能调优工作经验优先； 4、熟练使用kafka、SparkStreaming、Flink等流处理技术; 5、有SQL调优功底； 6、熟练使用ETL工具如datax、Kettle、Ogg等进行数据清洗、转换、整合； 7、熟悉实时数仓数据处理架构,具有丰富的数据加工处理经验，对数据处理、数据清洗，数 据建模、数据分析等有深刻认识和实战经验；; 8、有合作意识，强烈的责任心，对工作有激情，良好的沟通能力；清晰的逻辑分析和表达 能力，热爱技术，乐于分享，对行业和技术的发展有自己的见解； 9、加分项：了解Apachehudi等数据湖组件。