高级数据研发工程师
相关职位简介
- 来源:博彦科技承德有限公司
高级数据研发工程师
工作职责:-利用大数据手段来推进智能交通产品在真实场景落地-搭建自动驾驶&智能交通应用的数据仓库和数据平台-相关数据应用系统和工具平台的设计.开发职位要求:-对自动驾驶智能交通大数据应用建设有浓厚的兴趣-有扎实的计算机相关基础,精通至少一门编程语言(CC++.Python.Java.JS.PHP),对数据结构和算法设计有较为深刻的理解-精通数据库.数据集市.数据仓库,对数据层次有很好得理解么,有数据建模能力-有从事分布式数据存储与计算平台应用开发经验,熟悉Hadoop.Hive,Kafka,Spark,Storm,Hbae,Flink等相关技术并有相关开发经验-有系统化的思维和工程化的能力,有工程化落地的经验尤佳-有较丰富的应用算法开发经验,对机器学习和AI有一定的了解
所需技能: Python、Java、Spark、Hadoop、Kafka、Storm、Flink
- 来源:百度在线网络技术(北京)有限公司
高级数据研发工程师
工作职责:-参与中台团队数据仓库建设及数据应用开发-参与数据产品的设计.数据应用架构优化.平台建设和技术改进-运用离线/实时大数据处理技术,支持部门核心业务-根据项目需求,分析数据,建立适应的机器学习模型并解决业务的实际需求职位要求:-计算机或者相关专业,本科以及以上学历,至少在互联网公司研发职位工作2年以上-熟练Linux/Unix平台上的cala/python/php编程,熟悉常用算法和数据结构-熟练使用SQL,有良好的编码习惯,对分布式有深刻理解-有业务开发经验,有使用MapReducer/Hive/Spark/Dori之一编程经验者优先-具备强烈的进取心和责任感,极强的学习能力及良好的团队合作精神
所需技能: Python、Scala、Spark、HIVE
- 来源:深圳市法本信息技术股份有限公司
高级数据研发工程师
职位描述智能交通业务高级数据研发工程师工作职责:-利用大数据手段来推进智能交通产品在真实场景落地-搭建自动驾驶&智能交通应用的数据仓库和数据平台-相关数据应用系统和工具平台的设计.开发职位要求:-对自动驾驶智能交通大数据应用建设有浓厚的兴趣-有扎实的计算机相关基础,精通至少一门编程语言(CC++.Python.Java.JS.PHP),对数据结构和算法设计有较为深刻的理解-精通数据库.数据集市.数据仓库,对数据层次有很好得理解么,有数据建模能力-有从事分布式数据存储与计算平台应用开发经验,熟悉Hadoop.Hive,Kafka,Spark,Storm,Hbae,Flink等相关技术并有相关开发经验-有系统化的思维和工程化的能力,有工程化落地的经验尤佳-有较丰富的应用算法开发经验,对机器学习和AI有一定的了解
所需技能: Python、Java、Spark、Hadoop、Kafka、Storm、HIVE、Flink
- 来源:杭州咏柳科技有限公司
高级数据研发工程师
岗位职责:1.负责公司核心业务数据仓库的开发建设;2.负责公司数据建模.数据治理以及数据服务化的设计开发,提升数据服务的效率,降低业务数据建设的成本;3.负责推进公司业务核心指标口径统一和监控实施;4.能够深入理解业务需求,挖掘数据价值,与产品业务.运营等团队紧密合作。任职要求:1.大专及以上学历,3年以上相关工作经验,熟悉数据仓库架构和数据治理,掌握多维度建模设计方法,具备海量数据加工处理相关经验;2.精通SQL开发和性能调优,熟悉开源hadoop/hive分布式大数据处理平台,熟悉MapReduce/Spark/Flink/Odp等开发框架;3.熟练掌握Java/Python等开发语言;4.丰富的大数据系统使用和开发经验,对大数据开源项目有深入了解。
所需技能: Python、Spark、Hadoop、MapReduce、Flink
- 来源:湖北博卓企业管理咨询服务有限公司
高级数据研发工程师
工作职责1.天猫好房数据团队的技术规划和架构实施2.天猫好房行业核心数据资产建设,为房产行业数字化进程提供基础能力支撑3.天猫好房数据运营和分析平台的建设,赋能业务快速增长任职要求1.本科以上学历,3年以上工作经验,有团队管理经验2.有3年以上的大数据仓库构建和数据分析经验3.有很强的架构设计能力,编码能力扎实,熟悉Java,SQL及常用工具4.熟悉主流分布式计算引擎,中间件,NoSQL数据库,如hadoop,hive,flink,kafka,hbae,redi等,并熟悉运行原理5.有数据拓扑设计,维度建模,数据治理经验,能从零开始完成业务数据体系构建6.有很强的抗压能力,思维开放.善于学习创新,喜欢挑战性工作7.有房产行业从业经验优先
所需技能: SQL、Hadoop、Kafka、Flink、数据仓库构建、数据分析
- 来源:北京亿聘世纪管理咨询有限公司
高级数据研发工程师
职位描述工作职责1.天猫好房数据团队的技术规划和架构实施2.天猫好房行业核心数据资产建设,为房产行业数字化进程提供基础能力支撑3.天猫好房数据运营和分析平台的建设,赋能业务快速增长任职要求1.本科以上学历,3年以上工作经验,有团队管理经验2.有3年以上的大数据仓库构建和数据分析经验3.有很强的架构设计能力,编码能力扎实,熟悉Java,SQL及常用工具4.熟悉主流分布式计算引擎,中间件,NoSQL数据库,如hadoop,hive,flink,kafka,hbae,redi等,并熟悉运行原理5.有数据拓扑设计,维度建模,数据治理经验,能从零开始完成业务数据体系构建6.有很强的抗压能力,思维开放.善于学习创新,喜欢挑战性工作7.有房产行业从业经验优先
所需技能: SQL、Hadoop、Kafka、HIVE、Flink
- 来源:北京力码科技有限公司
高级数据研发工程师
岗位职责:1.负责公司数仓设计.开发与维护;2.确保数据链路稳定,保障数据及时.准确的产出;3.负责日常数据治理工作;岗位要求:1.本科以上学历,4年以上数据建模与ETL经验;2.有大型线上业务数仓的设计与落地经验;3.具备高效处理分布式数据的能力(SQL&脚本),编程能力扎实;4.熟悉主流分布式计算.存储架构原理,能够优化数据处理任务性能;5.熟悉数据安全相关治理者优先;
所需技能: SQL
- 来源:武汉添才翰格科技有限公司
高级数据研发工程师
工作职责1.天猫好房数据团队的技术规划和架构实施2.天猫好房行业核心数据资产建设,为房产行业数字化进程提供基础能力支撑3.天猫好房数据运营和分析平台的建设,赋能业务快速增长任职要求1.本科以上学历,3年以上工作经验,有团队管理经验2.有3年以上的大数据仓库构建和数据分析经验3.有很强的架构设计能力,编码能力扎实,熟悉Java,SQL及常用工具4.熟悉主流分布式计算引擎,中间件,NoSQL数据库,如hadoop,hive,flink,kafka,hbae,redi等,并熟悉运行原理5.有数据拓扑设计,维度建模,数据治理经验,能从零开始完成业务数据体系构建6.有很强的抗压能力,思维开放.善于学习创新,喜欢挑战性工作7.有房产行业从业经验优先
所需技能: SQL、Hadoop、Kafka、HIVE、Flink
- 来源:安徽驿通信息科技有限公司
高级数据研发工程师
职位描述:1.负责多套数仓(离线.实时)架构设计,基于开源架构封装适用工具.企业统一数仓重构,构建集团数据中台,不局限于数据模型设计.业务逻辑.数据整合及代码开发;2.负责产品.研发.运营密切合作,深度挖掘.探索数据价值,构建完善企业指标体系,数据标签体系.用户画像.数据价值能力输出及相应解决方案落地;3.参与大数据相关项目管理工作,包括但不限于需求管理.项目规划.过程实施.上线验收.交付运营等;4.负责持续对系统的技术架构进行改进和优化,提升海量数据的查询性能和用户体验;数仓维护并持续优化数据体系,不局限数据调度.问题排查.数据恢复等,确保数据完整.准确.及时更新等;5.参与企业数据门户.数据微服务.数据API开发等项目开发;6.协助项目交付或协助商务开展售前支持或POC工作。岗位要求:1.本科以上学历,5年以上工作经验,计算机等相关专业,精通数据仓库各类建模理论,以及数据仓库数据层级关系,精通多维数据模型设计,具备大型数据仓库架构设计.模型设计和处理性能调优.有实时数仓或离线数仓实战等相关经验;2.具备较强编码能力,精通SQL/Python/Java/Hive/Speak/Kafka/Flink等一种或多种脚本语言编码技能,掌握Hadoop生态技术特性及应用场景,掌握Yarn工作原理及机制.park实时集群框架.任务调度原理.数据安全及数据流处理等关键技术;3.掌握HBae.Redi.ElaticSearch等开源大数据存储技术,并能结合不同的业务场景深入使用;掌握关系型数据库oracle.myql等至少一项;4.依据业务场景.分析需求提供技术.业务解决方案并加以实现;5.优秀的业务理解能力.逻辑性和沟通能力及自驱力,愿意与团队一起成长.探索,能承受工作压力,执行力强;6.有数据价值探索.数仓重构.数据可视化.ETC技术等经验优先。
所需技能: SQL、Python、Java、Spark、Hadoop、Kafka、Yarn、HIVE
- 来源:上海玄朔企业管理咨询有限公司
高级数据研发工程师
工作内容:1.负责公司大数据平台和大数据核心产品研发;负责公司业务数据的分析挖掘.预测。2.负责搭建数据治理体系以及驱动数据治理运营,负责数据来源采集工具研发和管理。3.负责大数据分析系统的需求分析和架构设计,设计软硬件实施方案。4.负责核心技术问题的攻关,解决项目开发过程中的技术难题。5.负责大数据分析系统相关具体应用算法的设计.开发和产品化。6.负责与用户沟通以及方案编写。岗位要求:1.全日制本科及以上学历,计算机.信息系统.数学或相近专业本,5年以上大数据系统分析.设计和实施经验;35岁以下。2.熟练掌握Java编程技术,熟练使用设计模式,熟悉软件设计的原则;具备良好的软件工程研发素质,具备极限编程或者敏捷开发经验者优先;3.拥有Hadoop开发设计和实施经验,对Hadoop相关的技术和组件(HDFS,MapReduce,Hae,Hive,Spark,Storm,Kafka,Flume等)有全面深入了解,能够熟练安装.配置.部署和优化大型Hadoop集群系统。4.熟练使用一种或多种数据库,Myql/Potgre等,有一定数据建模能力;5.熟练掌握数据分析.数据仓库,以及数据挖掘.机器学习算法等;6.有大数据处理实战经验,熟悉整个大数据的完整处理流程,包括数据的采集.清洗.预处理.存储.分析挖掘和数据可视化。7.熟悉互联网常见的业务模式和用户行为分析模型,熟悉常用的数据挖掘技术和算法中的一种,如非线性回归.路径分析.关联规则挖掘.分类.聚类分类.协同过滤等。8.有良好的方案编写能力与沟通能力;
所需技能: Hadoop开发设计
- 来源:软通动力信息技术(集团)股份有限公司
高级数据研发工程师
工作职责:-利用大数据手段来推进智能交通产品在真实场景落地-搭建自动驾驶&智能交通应用的数据仓库和数据平台-相关数据应用系统和工具平台的设计.开发职位要求:-对自动驾驶智能交通大数据应用建设有浓厚的兴趣-有扎实的计算机相关基础,精通至少一门编程语言(CC++.Python.Java.JS.PHP),对数据结构和算法设计有较为深刻的理解-精通数据库.数据集市.数据仓库,对数据层次有很好得理解么,有数据建模能力-有从事分布式数据存储与计算平台应用开发经验,熟悉Hadoop.Hive,Kafka,Spark,Storm,Hbae,Flink等相关技术并有相关开发经验-有系统化的思维和工程化的能力,有工程化落地的经验尤佳-有较丰富的应用算法开发经验,对机器学习和AI有一定的了解
所需技能: Python、Java、Spark、Hadoop、Kafka、Storm、HIVE、Flink
- 来源:武汉佰钧成技术有限责任公司
高级数据研发工程师
职位描述智能交通业务高级数据研发工程师工作职责:-利用大数据手段来推进智能交通产品在真实场景落地-搭建自动驾驶&智能交通应用的数据仓库和数据平台-相关数据应用系统和工具平台的设计.开发职位要求:-对自动驾驶智能交通大数据应用建设有浓厚的兴趣-有扎实的计算机相关基础,精通至少一门编程语言(CC++.Python.Java.JS.PHP),对数据结构和算法设计有较为深刻的理解-精通数据库.数据集市.数据仓库,对数据层次有很好得理解么,有数据建模能力-有从事分布式数据存储与计算平台应用开发经验,熟悉Hadoop.Hive,Kafka,Spark,Storm,Hbae,Flink等相关技术并有相关开发经验-有系统化的思维和工程化的能力,有工程化落地的经验尤佳-有较丰富的应用算法开发经验,对机器学习和AI有一定的了解
所需技能: Python、Java、Spark、Hadoop、Kafka、Storm、HIVE、Hbase
职业晋升路径
横向职业发展
职业问答
数据获取
数据清洗
数据可视化
数据分析(描述统计,定义指标,挖掘,建模…)
常用的工具:Excel,PPT,sql,bi 报表工具,Hadoop 生态圈,xmind,Python,spss……
广义来说工具太多了,但是要做的事就这几件,岗位的分支也很多,就题而论,数据开发应该偏后台
