大数据开发工程师

工作职责:

1、负责大数据平台的数据开发工作,包括数据中台组件选型及搭建、数据架构开发;

2、负责离线/实时的数据存储和加工处理,保证数据质量,负责数据监体系的建立和维护;

3、负责海量数据的清洗、处理和挖掘工作,支持数据分析师和算法工程师的数据需求;

4、研究前沿技术,解决实际场景中的业务问题,优化离线/实时大数据计算任务的性能。

任职要求:

1、计算机或相关专业本科及以上学历,5年以上大数据开发经验;

2、熟练掌握scala/Java语言,python编程,扎实的数据结构和算法功底子;

3、熟练掌握基于CDH的hadoop、hive、spark等大数据组件部署与优化;有Hadoop、

Hive、Spark、presto、impala优化及性能调优工作经验优先;

4、熟练使用kafka、SparkStreaming、Flink等流处理技术;

5、有SQL调优功底;

6、熟练使用ETL工具如datax、Kettle、Ogg等进行数据清洗、转换、整合;

7、熟悉实时数仓数据处理架构,具有丰富的数据加工处理经验,对数据处理、数据清洗,数

据建模、数据分析等有深刻认识和实战经验;;

8、有合作意识,强烈的责任心,对工作有激情,良好的沟通能力;清晰的逻辑分析和表达

能力,热爱技术,乐于分享,对行业和技术的发展有自己的见解;

9、加分项:了解Apachehudi等数据湖组件。

申请该职位
  • 姓名
  • 手机号
  • 邮箱
  •     简历
  • 我已仔细阅读并同意 《招聘信息声明》
  • 如本次面试不成功,您是否同意加入我们的人才库,并在有合适
    岗位的时候同意我们使用您的个人信息与您取得联系
    同意 不同意
合作咨询
X

感谢您对纵腾集团的关注!为提供专业的服务和解答,我们将按业务类型和客户区域匹配对应客户经理, 请正确填写信息。收到您的信息后,客户经理将于两个工作日内联系您,请稍候。

*公司名称

*姓名

*电话

邮箱

微信

*公司所在城市

*您需要的服务(可多选)

*发货地

*目的国家

*需求海外仓(可多选)

*销售平台(可多选)

*销售品类

*产品货型(可多选)

*跨境月销售额

我知悉且同意上述信息是为了满足业务顺利开展而主动向纵腾集团提供的,并适用于《个人信息保护政策》

如本次未能成功合作,您是否同意我们保留您的信息,并在合适的时间再次与您取得联系。

同意
不同意