数据系统工程师
相关职位简介
- 来源:北京三快在线科技有限公司
数据系统工程师
岗位职责:1.负责优选业务数据系统的设计和开发;2.与数据PM配合深入理解业务.建设数据分析系统,提升各个部门和外部商家的分析决策效率;3.构建数据服务系统,提升数仓数据输出到业务系统的效率,实现数据服务化;4.通过流程和工具持续优化系统架构.代码质量和系统运维,提高服务性能和稳定性,提升研发质量和效率;岗位要求:1.2年以上数据系统或后台开发相关经验。2.具备扎实的编程基础.良好的工程素养和高效的问题解决能力;3.熟练掌握Java语言,熟悉面向对象.多线程.JVM调优.类加载机制.Spring框架,了解常见Java系统设计模式和数据库设计方法;4.熟悉主流大数据技术(包括但不限于Hadoop/Spark/Flink/Storm/HBae/ES),具备BI或搜索推荐运营系统系统开发经验;5.具备比较强的架构设计能力,能够实际梳理业务场景推动系统规划和建设;6.关注并能够推动优化代码质量和线上质量。
所需技能: Java、Elasticsearch、分布式技术、Hadoop、Spark、数据开发、HIVE
- 来源:黑龙江飞鹤乳业有限公司
数据系统工程师
岗位职责:1.负责数据产品及项目开发工作,设计数据可视化相关的技术方案;2.与数据开发工程师协作,高效完成产品的数据交互.动态信息展现,实现可视化场景的开发及实施;3.深入理解主要数据可视化展现形式,针对业务场景梳理数据信息,提出专业的数据可视化元素使用意见;4.负责数据系统的权限管理.日常维护与优化升级。任职资格:1.本科及以上学历,3年左右经验,211.985优先;2.了解数据可视化设计,把复杂的数据简单化.有趣味.而不失美感;4.使用过数据可视化工具(tableau.永洪.帆软等),熟悉BI工具,熟练使用AI.PS.Illutrator.Axure等设计软件;5.有数据分析经验,着重数据意义,有较强的分析能力及逻辑思维能力;6.有BI/管理驾驶舱/大屏项目经验;7.熟悉MySQL或某一数据库的使用,熟练掌握SQL相关的DML数据操作语言;8.使用过阿里云QuickBI.DataV产品优先。
所需技能: SQL、Python
- 来源:深圳市点证科技有限公司
数据系统工程师
工作职责:1.负责将需求.概要设计方案转换为详细设计方案,包括数据模型设计.报表设计等2.负责UAT和正式上线前各阶段的调试和问题修复工作。3.根据项目具体要求,承担开发任务,按计划完成任务目标。4.负责线上问题定位并及时处理任职要求:1.熟悉TDH或hive,熟悉大数据优化。2.有证券行业数据开发经验,最好对恒生集中交易系统表熟悉3.了解数仓仓库架构,能设计多维度数据模型。4.会ETL工具,KETTLE.DATAX.DATASTAGE等任一种,5.熟练使用存储过程加工数据,了解各种复杂函数.可自定义函数等。6.使用过调度工具,参与过调度设计。7.熟悉linux常用命令。8.至少会一种报表开发工具:帆软.永洪.tableau.mart.OBIEE等。9.能独立完成小型需求,需求评估.方案设计.开发.测试.交付。10.善于总结。可视频/电话面试
所需技能: ETL、数据库开发
- 来源:天津紫龙奇点互动娱乐有限公司
数据系统工程师
岗位职责:1.负责BI体系建设,完善BI基础能力,结合数据提出合理化建议,建立数据感知能力;2.负责ETL流程的优化及解决ETL相关技术问题; 3.负责数据自动化分析平台的开发维护工作;4.负责其他BI相关项目的定制化开发及部署实施工作。任职要求:1.计算机或相关专业本科或以上学历,两年及以上数据开发工作经验;2.熟悉hadoop.hbae.hive.Spark等分布式计算平台,熟悉Hadoop生态圈相关技术,有海量数据处理相关经验;3.熟悉Linux,至少熟练使用Shell,python.Perl等脚本语言的一种或几种;4.精通SQL,有较好的SQL性能调优经验。有MongoDB等NoSql数据库使用经验优先;5.熟练使用Java语言,熟悉BI项目开发流程,参与过大型数据仓库类项目优先;6.有很强的分析问题及解决问题的能力,有强烈的责任心;7.熟悉游戏数据分析业务流程者优先。
所需技能: Hadoop、hbase、hive、spark、shell、Python、MongoDB
- 来源:北京鸿盈信息技术有限公司
数据系统工程师
岗位职责:1.负责搭建分布式大数据(机器学习)运算平台;2.利用大数据平台进行数据处理.分析;3.利用大数据平台进行模型训练。任职要求:1.精通Spark.HADOOP等数据处理平台,并有2年以上相关工作经验;2.精通JAVA/Scala/Python其中一门语言;3.熟悉linux开发环境;4.有海量数据处理经验者优先,有数据挖掘经验者优先;5.具有良好的主动性和责任感。
所需技能: Spark、Hadoop、scala
- 来源:北京三快在线科技有限公司
数据系统工程师
工作职责:1)配送业务的离线数据模型的体系化建设;2)结合治理工作,在数据架构和模型合理性方面持续开展模型易用性治理.模型可用性治理和数据质量治理相关工作;3)保持和源系统或上游依赖数据团队的紧密沟通和协作,持续性开展源数据的集成.模型建设和影响评估,为下游用户提供稳定.易用的核心模型数据体系,并沉淀建模方法论;4)对数据模型体系进行数据质量和生产时效性进行体系化监控,并保障数据的稳定.高质的产出;5)模型数据建设逻辑的研发.代码review及相关团队规范的制定与优化。任职要求:1)业务敏感,深入理解数据仓库建设方法.业务ER建模及数仓维度建模理论,熟悉ETL研发;有丰富的数仓体系化建设经历;2)熟悉Hadoop架构和工作原理,精通MapReduce编程;精通Hive或Spark,有调优经验;3)熟练使用至少一种RDBMS,并熟悉其原理;4)掌握数据结构与算法,有java或python研发经验;5)有其他数据研发相关工具经验优先,例如HBae.Druid.ES.Tair/Redi.TiDB。其他要求:1)期望长期从事数据研发相关工作,关注业务,并能结合业务从数据角度思考和推动业务发展。
所需技能: Java、SQL、Spark、Hadoop、Flink、DataX
- 来源:北京畅游天下网络技术有限公司
数据系统工程师
岗位职责:1.数据平台业务模块开发(web)。2.数据处理业务模块开发(脚本)。3.集群维护(hadoop/hive/mongoDB等)。4.完成线上BUG的排查修正。5.根据实际业务完成需求和设计文档,以及相应的模块开发工作。6.编写测试代码完成自测。7.配合测试完成对应的测试工作。任职资格:1.本科或以上,计算机相关专业(含应届毕业生)。2.擅长JAVA开发,了解SpringMVC开发过程及原理,有较好的编程风格。3.熟练使用关系型数据库myql,了解Noql数据库mongodb。4.熟练linux/unix操作系统下基本命令,能够编写bah脚本。5.熟悉hadoop的Hdf.MapReduce原理.有hive数据仓库工具使用经验优先。6.能够编写python脚本.有Extj开发经验优先。7.热爱编程工作,有较好的代码编程风格。
所需技能:
- 来源:上海玄朔企业管理咨询有限公司
数据系统工程师
工作职责:1.开发部署分布式大数据系统.计算性能调优.高性能计算存储框架设计与开发;2.负责数据系统的架构设计和核心模块开发,确保整个数据平台的承载能力和运算效率;3.负责构建和完善云底层数据的存储和查询,优化数据的质量和监控能力;4.优化和改进数据系统,为大规模数据分析提供服务。任职要求:1.国内外名校硕士及以上学历,计算机.电子.自动化等专业,或自认有同等基本能力,3年及以上计算机相关从业经验;2.3年以上的大数据系统工作经验,对主流大数据技术和框架(如Spark.Flink等)有深入理解和充分实践;3.熟悉了解Hadoop.Spark.flink.ElaticSearch.ClickHoue.Kafka等大数据相关技术;4.精通编程,良好的编码习惯。
所需技能: Spark、Hadoop、Kafka、Flink
职业晋升路径
横向职业发展
职业问答
数据获取
数据清洗
数据可视化
数据分析(描述统计,定义指标,挖掘,建模…)
常用的工具:Excel,PPT,sql,bi 报表工具,Hadoop 生态圈,xmind,Python,spss……
广义来说工具太多了,但是要做的事就这几件,岗位的分支也很多,就题而论,数据开发应该偏后台
