大数据开发工程师

南京数睿 2020-04-13
岗位职责
1、从事Hadoop、Spark、ES、Kafka等分布式大数据平台产品的设计和开发
2、针对大数据业务进行大数据分析、挖掘应用的开发

3、为项目开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题


任职要求:
1、5年以上Java应用开发经验,本科及以上学历
2、熟练掌握Java、Scala中的至少一门语言,有Python语言开发经验优先
3、熟悉Hadoop大数据生态圈技术分布式存储Hdfs,Hbase等资源调度Yarn,Kubernetes
等计算框架Spark,MR,Hive,Impala等,有相关源码研究优先
4、熟悉Mysql、MongoDB等常用关系数据库,熟练编写SQL语句;有分布式nosql数据库
应用经验优先
5、熟悉Linux环境,能够熟悉使用shell脚本
6、对大数据技术有强烈兴趣,有志于往大数据处理方向发展;工作认真踏实,动手和学习
新技术能力强
7、熟练掌握实时数据处理常用技术工具Flink、SparkStreaming等
8、熟练掌握常见数据流接入工具Flumekafka等
9、熟悉离线和实时数据处理流程

马上试用产品 免费试用
观看产品演示 观看视频