中高级大数据工程师

相关职位简介

• 来源：广州探迹科技有限公司

  中高级大数据工程师

  岗位职责：1.与产品经理.后端工程师.数据工程师紧密配合，设计数据处理模型，开发大数据分析加工处理程序，提炼数据价值；2.优化大数据处理链路，提高数据处理效率，实现数据及时上新；3.搭建大数据处理平台，促进架构与业务分离，提高开发效率；4.协助管理和控制数据，构建数据治理监控体系。任职资格：1.本科以上学历，计算机相关专业，熟悉操作系统（多线程.多进程）.计算机网络编程.数据结构与算法等基础知识；2.掌握Linux环境下常用语言（C/C++/JAVA/Python）开发经验，熟练使用常用Linux命令；3.了解软件工程.敏捷开发等知识，熟悉常用设计模式，掌握常用系统设计原则.方法和常用的系统设计工具，如UML等；4.深入理解lambda架构/Kappa架构/数据湖架构，参加过大规模软件系统开发并独立完成10K以上模块开发维护；5.深入理解并掌握至少一种主流大数据开发框架，如Hadoop.Spark.Storm.Flink等；6.深入理解并掌握至少一种数据库，如HBae.ElaticSearch.Mongodb等。

  所需技能： Python、Java、Spark、Hadoop、Storm、Flink

• 来源：同辉注智（北京）科技有限公司

  中高级大数据工程师

  岗位职责：1.负责客户产品设计和研发工作；2.负责相关技术文档编写工作；3.能够独立完成后台软件的模块设计.编码.联调.维护等各阶段的开发任务。岗位要求：1.计算机相关专业本科或以上学历，3-5年以上数据类项目开发经验；2.精通Python语言，精通Spark.Kafka.ElaticSearch.Redi.Neo4J等大数据组件的开发接口，尤其是Python语言接口；熟练掌握大数据组件开发技巧与性能调优策略；熟悉大数据分析的基本方法；3.除Python外熟练掌握Java.Scala等其它语言；4.具备良好的英文技术文档阅读能力；5.有大数据工程项目经验；思路清晰，良好的沟通能力与技术学习能力。

  所需技能： Python、Scala、Spark、Kafka

• 来源：马上消费金融股份有限公司

  中高级大数据工程师

  工作职责：1.负责实时数据平台.数据服务的设计与开发;2.负责构建实时数仓体系，实时数据模型设计与开发；3.负责对实时链路性能和稳定性进行优化;4.参与Flink的定制和改进，与开源社区保持合作;5.追求极致，构建业内领先的实时数据平台产品。任职要求：1.扎实的计算机基础和算法数据结构功底，对技术有热情，愿意不断尝试新技术和业务挑战；2.掌握Java或Scala语言，熟悉基于m的web系统开发，追求高标准的工程质量；3.熟悉并行计算或者分布式计算原理，熟悉高并发.高稳定性.可线性扩展.海量数据的系统特点和技术方案；4.具备较强的业务需求分析.问题定位能力，以及良好的沟通和学习能力；5.有Storm/SparkStreaming/Flink等实时计算开发经验，或者熟悉大数据生态如Hadoop/Dori/Canal/Kafka/Spark/Hbae等；6.有数据仓库.数据集市.数据运营等方面经验，了解数仓建模方法论，参与过实时数据研发项目；7.对数据中台体系有了解，参与过相关建设者优先，例如数据开发.元数据管理.数据质量管理等。

  所需技能： Spark、Kafka、Flink、Java

• 来源：北京理工新源信息科技有限公司

  中高级大数据工程师

  岗位职责：1.开发大数据相关业务，与用户保持良好沟通，及时有效解决用户问题。2.与团队其他成员友好相处，协助或协同团队成员完成各项任务3.持续改进公司的大数据技术框架任职要求：1.本科及以上学历，计算机相关专业，2-3年以上工作经验；2.熟悉Hadoop/Flink，Spark/Storm/Hbae/Hive等开源大数据技术，有Flink实际开发经验者优先；；3.拥有扎实的编程能力，熟练掌握常见数据结构，熟练掌握常用框架思想，深刻了解多线程.并发.异步，熟练掌握Java8+或者C#/.NetCore2+者优先；4.熟练掌握常见SQL.NoSQL数据库原理.数据库设计.查询编写和优化；5.具备良好的人际沟通能力和责任心，思维敏捷.严谨，能够及时发现问题，能够尽快找出解决方案。6.有较强的团队意识，可以和团队其他成员友好相处，可以协助或协同团队成员完成各项任务7.对新技术，新知识有较好的学习和接受心态，有较好的学习能力和接受能力。

  所需技能： SQL、Java、Spark、Hadoop、Storm、Hbase、Flink、大数据

• 来源：北京友友天宇系统技术有限公司

  中高级大数据工程师

  职位要求：1.4年以上java使用经验，精通java/cala编程，熟悉常用算法，熟悉多线程原理；有分布式开发的实践经验；2.熟悉linux平台，了解.会写hell脚本；3.有hbae.hive.park.flink.parktreaming.kafka.kudu.impala等hadoop组件(包括但不限于)的实际开发经验；4.了解myql,oralce,redi的使用；5.了解kafka.hive.park.hbae.flink等hadoop体系的大数据组件，了解基本的配置，能解决开发工作中的日常问题；6.了解anible实现自动化运维开发；7.有一定Python开发经验；8.工作习惯良好，自驱动，擅合作，代码清晰整洁，具备较好的沟通能力；9.熟悉容器化操作，对k8，docker有实际项目实战经验。岗位职责：1.参与大数据平台组件开发；2.参与Spark.hive.flink.kafka.hbae.kudu.impala等组件的大规模集群应用开发工作；3.参与大数据离线平台.大数据实时平台.数据湖平台等性能改进.功能扩展.故障分析等工作；4.参与设计.开发.优化批量处理平台.准实时应用开发平台.数据中台等项目的产品开发工作；5．负责公司大数据基础架构平台的规划.设计。6.参与其他项目任务；

  所需技能： Python、Java、Shell、Scala、Spark、Hadoop、Kafka、Impala

• 来源：北京腾信软创科技股份有限公司

  中高级大数据工程师

  岗位职责：1.负责各数据需求的对接.协调；2.承担大数据ETL.高效计算，即时查询等数据处理和分析工程开发，支撑各业务板块的数据提取和BI报表开发；3.负责数据建模.数据集市以及数仓的设计和开发；4.负责数仓ETL和ETL流程优化，解决ETL过程中的技术问题；5.校验并监控数据准确性，独立完成差异调查分析，排查问题.推进业务发展；任职要求：1.5年以上工作经验，3年以上BI.数仓.数据开发的工作经验；2.精通SQL，有一定的HQL或SQL性能调优经验优先；3.熟练掌握Java/Scala等一种以上开发语言，具备Spark/Flink的实际项目经验，熟悉CDH环境和HDFS.Hive.HBae，Spark,Flink，YARN,Impala，ES等大数据组件，有hell/python脚本开发经验者优先；4.熟悉数据仓库建设的流程及方法论.理解维度建模，有实际的模型设计经验；5.有过互联网公司数据仓库.分析系统.用户画像.广告平台等产品开发经验者优先；6.学习能力与沟通能力强，具备良好的抗压能力.团队合作精神及跨部门协作能力；

  所需技能： ETL、数据建模、数据仓库