大数据开发工程师

相关职位简介

• 来源：华为技术有限公司

  大数据开发工程师

  岗位职责在这里，你将与业界大数据专家一起工作，有机会与来自全球的大数据领域牛人交流，参与华为业界领先的大数据平台的核心产品设计.研发.交付。你将会：1.深度参与到华为大数据Hadoop.Yarn.Spark.Hive.HBae.Kafka.Zookeeper.Flume.AI平台等组件的研发.交付及解决方案支撑；2.探索云服务化实现的前沿技术，并负责华为云大数据服务的架构设计.开发.测试及运维。岗位要求1.计算机.软件相关专业本科及以上学历；2.精通JAVA软件开发，有软件开发项目经验，并至少熟练掌握以下语言中的一种：C/C++/GO/Python/PHP/Python/Shell等编程语言及脚本语言；3.熟悉大数据相关开源软件，有应用大数据组件的解决问题的实战经验更好，有开源社区代码贡献者优先；4.具备团队意识，与他人合作良好，最好具有团队协作的经验。

  所需技能： Python、Shell、Java、Spark、Hadoop、Kafka、Flume、Yarn

• 来源：北京思特奇信息技术股份有限公司

  大数据开发工程师

  工作内容：1.负责订单结算.订单统计分析类产品的日常工作2.负责数据库程序设计.开发；负责技术文档编写，包括需求分析.概要设计.测试用例等。3.熟练掌握MySQL,Oracle等数据库管理和SQL开发技能；能独立编写存储过程，函数，数据库性能优化。4.了解Hadoop大数据相关组件，熟练使用Hive开发数据库脚本；5.熟悉linux操作系统，并可使用hell编写简单的数据处理程序；6.工作认真踏实，责任心强.良好的团队合作精神。7.精通关系型和大数据数据库的体系架构和运行原理，具有底层代码能力者优先；任职资格：1.正规全日制统招学历，本硕皆宜；2.学习能力棒.逻辑思维佳.无挂科；3.作为队友，好带.不坑；4.求上进.思进取；5.本科英语四级证书.研究生英语六级证书

  所需技能： SQL、Hadoop、大数据

• 来源：无锡雪浪数制科技有限公司

  大数据开发工程师

  职位描述1.开展业务调研，梳理业务流程体系，构建主题数据应用；2.参与数据仓库的模型设计与ETL开发；3.总结与沉淀数据仓库建设的方法论，并通过工具与流程的支撑，支撑业务方开展数据应用；4.协助完善数据产品：包含数据资源规划.数据地图.数据血缘.标签管理.数据质量.数据模型管理.调度系统等；5.基于行业内横向业务，抽象行业数据模型。岗位要求1.2020，2021年本科或以上学历，计算机软件或相关专业2.了解数据仓库体系架构.建模方法.数据治理等知识；3.了解主流关系型数据库，MySQL/Oracle/SqlServer等；5.思维逻辑清晰，良好的自驱力.沟通能力和解决问题能力；6.接受短期项目出差。

  所需技能： Java、Hadoop、大数据

• 来源：广州统一企业有限公司

  大数据开发工程师

  岗位职责：1.负责数据分析系统架构设计和开发；2.配合数据分析团队工作，数据挖掘建模和工程化；3.大数据的ETL工作；4.大数据分析平台的开发.维护和优化；5.负责跟踪.分析数据，满足产品和运营需求。职位要求：1.本科及以上学历，计算机.统计学或相关专业毕业；2.对Hadoop/Spark技术及其生态圈有一定了解；3.熟悉流式处理技术，熟悉Spark，Kafka，Streaming等技术；4.有Spark分布式计算相关经验.有数据挖掘项目经验者优先；5.熟悉Python/Java/Scala等语言；6.具备良好的系统分析能力，解决问题能力；

  所需技能： Scala、Spark、Hadoop、Kafka、Streaming、Python、SQL

• 来源：同程网络科技股份有限公司

  大数据开发工程师

  岗位职责1.深入理解业务，梳理业务流程体系，有效构建主题数据应用，驱动业务增长2.参与数据仓库模型的设计与ETL开发，及时运维保证数据质量任职要求1.计算机或相关专业本科以上学历，2年以上大数据开发经验，对数据和业务敏感2.熟悉hadoop/hive/flink/ES等大数据生态技术栈，具备良好的数据敏感度，具备海量数据开发和调优的能力3.熟悉数据仓库各类模型建模理论，掌握数据仓库体系架构.数据治理等知识4.熟悉Java.Python等开发语言中的一种或几种5.学习能力强，拥有优秀的逻辑思维能力，工作认真负责，沟通能力好

  所需技能： Python、Flink、HIVE、HDFS、Hadoop、MapReduce

• 来源：义乌市恒迹网络科技有限责任公司

  大数据开发工程师

  岗位职责1.负责数据的建模.数据开发.数据治理与核心模块数据开发，保障数据的时效性与质量；2.负责数据收集.清洗设计.整理等工作；3.负责数据调度任务维护，保证数据准确性，实时/离线/流式数据采集，计算，分析等相关工作；4.负责大数据基础工具产品化，沉淀数据技术能力，提升数据管理的效率；5.基于业务⼝径，负责完成大数据产品的数据开发，指标计算，性能优化，及数据治理相关工作；6.协同团队建设健全完善的数据仓库和高效稳定的数据分析服务；任职要求1.1-3年工作经验，熟练掌握Python编程语言，2.熟练掌握SQL，熟悉分布式计算框架，有Hadoop，Spark项目经验优先；3.深入理解数据治理的方法，具备数据仓库建设经验，包括数据归集.数据清洗.质量监控和评估.数据建模等实施经验4.熟悉clickhoue.elaticearch生态相关技术并有相关实践经验，具备灵活运用SQL实现海量数据加工处理相关经验；5.逻辑思维严密，有很好的分析能力.有责任心及优秀的自主学习能力。

  所需技能： SQL、Python、Spark、Hadoop

• 来源：深圳市名通科技股份有限公司

  大数据开发工程师

  岗位职责：1.负责实时和离线数据清洗.落地数仓；使用的技术park.parkql.flink进行处理；2.负责部分数仓的DW.DM层的数据的生成；3.负责自身代码质量维护和单元测试等等。岗位要求：1.本科以上学历，计算机相关专业；2.熟练使用Scala，或熟练使用Java同时有Scala开发经验；3.熟悉，或有以下若干技术领域实际工作经验，有源码优化经验者优先考虑：Hadoop,HDFS,Hive,HBae,ClickHoue,Redi,Spark,SparkStreaming,Flink,Flume,Kafka,Zookeeper4.1年以上大数据开发相关经验，有大规模数据量处理经验者优先；5.拥有奋斗者心态，敢于面对挑战，性格稳重开朗，工作积极主动，责任心强。

  所需技能： Scala、Spark、Hadoop、Kafka、HDFS、Flume、Zookeeper、Hbase

• 来源：北京乐在指尖科技有限公司

  大数据开发工程师

  岗位职责:1.负责数据仓库.数据集市的数据模型设计2.参与数据仓库ETL规则设计和开发3.参与数据仓库需求调研和需求分析4.负责多系统数据融合5.参与数据分析6.满足业务方的数据需求，提供面向业务报表.数据提取等数据服务岗位要求:1.具备数据仓库模型设计.ETL设计的相关经验2.熟练掌握hql,ql3.了解hadoop.hive.qoop.datax工作原理4.熟悉关系型数据库，oracle,myql等5.熟悉java,python等编程语言中至少-种6.熟悉tableau等BI具7.有多系统.多数据源处理整合能力8.快速的业务学习和理解能力9.沟通能力强，工作认真负责10.具备海量数据处理.性能调优经验优先

  所需技能： SQL、Python、HIVE

• 来源：北京国双科技有限公司

  大数据开发工程师

  岗位职责：1.根据公司产品的规划和设计方案，提供最佳交付；协同开发实现相关数据库功能设计及数据库日常管理.运营.监控.排错.性能分析和调优，提升公司产品能力；2.参与公司的数据仓库类项目交付，包括需求评估.方案讨论.实施交付，能够解决项目中的oracle，hive等大数据平台相关问题；3.具备ETL建模经验，能对客户数仓建设提供咨询和问题解决能力。任职要求：1.数据仓库建设方法论.深入了解数据仓库体系2.参与交付过多个大型数仓项目实际业务场景3.具备较强的ETL/SQL脚本能力，熟悉Hadoop.MPP.及关系数据库等不同平台的数据仓库设计.ETL开发，具备TB以上级大数据处理经验4.数据仓库建模和元数据应用有较多经验5.对数据敏感，认真细致，善于从数据中发现疑点6.熟悉常用大数据技术组件熟悉行业内常用的数据仓库技术实现方案7.具有大型数据仓库架构设计.建模和ETL设计经验8.熟悉Hive,oracle,impala,hbae,flink,park等多组件的数仓交付，具备较强SQL能力，有hell/python脚本实现能力

  所需技能： SQL、Python、Shell、Spark、Impala、HIVE、Flink、Hadoop

• 来源：安阳猎益企业管理咨询有限公司

  大数据开发工程师

  工作职责1.负责指导搭建数据治理.数据标准体系并落地实施。包括数据标准.数据质量.数据安全.数据共享管理等；2.负责收集数据治理需求，完成医保数据治理产品优化迭代；3.负责数据治理项目的实施，指导和组织现场项目成员，梳理数据资产，有效验证模型，通过客户验收；4.为数据治理产品研发提出功能需求，推动数据治理产品的优化和改进；5.负责数据质量探查检核.分析.提升工作；6.负责交付项目的交付数据治理落地，并解答客户的数据相关疑问。任职资格1.教育程度：本科及以上学历，计算机.信息技术等相关专业毕业；2.相关工作经验：3年及以上大数据开发治理经验；3.专业能力：具备政府行业大数据平台.数据治理.数据资源管理.数据仓库系统开发及实施经验；熟练掌握Hadoop.hive.Hbae.ES等大数据组件的使用。熟悉了解包括Oracle，myql，qlerver等常用数据库的一种或多种；熟练掌握至少一种ETL工具的使用。熟练掌握SQL.HQL语言，具备编写.优化复杂SQL的能力。良好的沟通能力.学习思考.解决问题能力，良好的抗压和适应能力。

  所需技能： SQL、Hadoop、Hbase

• 来源：腾讯科技（深圳）有限公司

  大数据开发工程师

  岗位职责 ·负责部门数据仓库和数据集市的模型设计.ETL开发与性能优化，代码Review；·深入理解业务，围绕数据分析搭建完善的数据服务，驱动业务的发展；·数据产品研发，提升数据平台的通用性和可拓展性。岗位要求 ·理工科专业本科及以上学历，具备扎实的计算机技术能力，熟练掌握至少一门常见的编程语言（java/python/go)；·3年以上的数据仓库研发经验，熟练掌握Hadoop/Hive/park/flink等相关大数据技术，并有较多的调优经验；·具备必要的数据仓库理论知识，有较好的数据仓库建模经验；·能适应和理解快速发展的业务，有较好的数据敏感度和良好的自驱力，对工作充满热情；·良好的沟通能力.逻辑思维能力和团队协作精神；·优先：有互联网海量数据的建模与ETL经验；·优先：主导过中大型数据仓库的实施。

  所需技能： Java、Spark、Hadoop、HIVE、Flink、Kafka、Storm

• 来源：山东星宏数字技术有限公司

  大数据开发工程师

  岗位职责：1.负责对数据仓库进行更深度的数据建模与数据分析2.负责对数据提取出更多的价值体系3.负责Spark相关算法的开发工作4.负责优化大数据平台架构岗位要求：1.对数据仓库的架构设计及维度模型有很深的见解，能够快速分析出数据维度模型及各模型间的利弊关系；2.必须参与过完整的数据采集.数据清洗整理.分析和建模等工作；3.对提取数据价值有一定的工作经验并为公司带来实际价值；4.基于Spark开发有丰富的经验，熟悉Spark体系中三种及以上的算法，并对算法优化有一定的经验；5.对Hadoop开源框架.CDH开源框架或基于大数据平台开发工具有丰富的开发经验及架构优化经验。

  所需技能： Spark、Hadoop

• 来源：苏州瑞翼信息技术有限公司

  大数据开发工程师

  岗位职责：1.负责项目中部分技术路线和整体架构的设计.选型并落实；2.负责基于Hadoop生态环境体系进行数据ETL任务开发；3.负责数据处理中的清洗.整合.分析.可视化程序开发工作；4.参与大数据组件优化维护工作，提高系统运行效率。任职要求：1.熟悉大数据技术如Hadoop.MapReduce.Hive.HBae.Spark.Kafka.Flume.ES等，ETL相关的技术或者工具至少3个以上；2.三年以上java开发经验，有数据平台架构经验尤佳；3.具有良好的沟通能力，有较强的独立工作能力和解决问题的能力；4.熟悉Linux日常操作，有CDH套件使用维护经验者优先。

  所需技能： Hadoop、HIVE、Kerberos、ETL

• 来源：重庆紫光华山智安科技有限公司

  大数据开发工程师

  岗位职责：1.基于hadoop/park平台架构设计及开发工作；2.大数据平台的框架设计及核心代码编写；3.对海量数据进行收集.存储.管理.分析.建模；4.对海量用户数据进行统计分析挖掘，不断提升系统运行效率；5.负责大数据平台的监控及优化，针对持续增长的数据提供相应的解决方案。岗位要求：1.计算机相关专业本科以上学历（统招本科-硬性规定），2年以上的软件开发经验2.扎实的Java/Scala语言基础，可开发高效可利用的代码，了解虚拟机性能优化策略，熟悉代码管理工具3.具有丰富的Spark开发及ETL工具经验，具有数据仓库设计开发经验4.熟悉使用Hive/Impala/Hbae/Kafka/Flume/Kylin等大数据相关组件，对分布式储存计算有较深入了解5.熟练编写Shell.Sql，具有Sql优化能力6.严密的数学思维.突出的分析和归纳能力，优秀的沟通表达能力

  所需技能： SQL、Shell、Java、Scala、Spark、Hadoop、Kafka、Impala

• 来源：北京百猎科技有限公司

  大数据开发工程师

  工作职责1）对接模型团队，负责模型产品上线部署的开发维护，监控保障数据质量；2）负责数据集市ETL流程的优化，解决ETL相关技术问题；3）负责数据项目的开发.推进和优化。任职要求:任职资格1）本科及以上学历，计算机相关专业优先；2）3年以上大数据工作经验，熟悉数据仓库的开发与数据建模，在大数据量场景下有一定的HQL优化，性能调优能力；3）熟悉Hadoop生态圈，精通Hive.Spark.Hbae，能够开发UDF或脚本实现复杂数据处理需求；4）有一定的机器学习基础，了解常见模型算法.特征工程.模型评估方法，有PMML.deeplearning4j使用经验者优先；5）具备独立解决问题的能力，抗压能力强，有良好的团队意识.较强的责任心和积极性；6）具有海量数据处理项目经验者优先。

  所需技能： Spark、HIVE、数据仓库、数据建模、机器学习、海量数据、Hadoop

• 来源：中科数据技术（广州）有限公司成都分公司

  大数据开发工程师

  工作职责：1.负责公司大数据平台的搭建部署.管理.优化.监控报警。持续对大数据平台进行优化；2.负责大数据平台日常运维管理.服务监控.故障处理.集群性能和资源利用率优化，集群常见问题能迅速定位，为开发人员提供技术支持；3.负责大数据平台服务器配置选型.集群网络优化等相关工作；4.深入理解公司大数据平台架构，发现并解决性能瓶颈，支撑业务和数据量的快速增长；5.开发大数据自动化运维.监控报警.故障处理相关脚本和工具。岗位要求：1.大专及以上学历，数学.统计学.计算机或相关专业；2.具有2年以上大数据运维相关工作经验,有管理平台开发经验者优先；3.熟练掌握HDFS.HBae.YARN.Spark.Flink.Hive.Azkaban.Kafka等主流大数据技术栈；4.具备扎实的计算机基础知识，有linux系统调优，有docker/k8经验者优先；5.有良好的沟通协调能力.较强的团队合作精神。

  所需技能： Spark、Kafka、HDFS、Yarn、Hbase、Azkaban、Flink