大数据系统研发工程师

相关职位简介

• 来源：北京世纪龙脉科技有限公司

  大数据系统研发工程师

  工作职责:1.为海量数据的处理和分析提供高效解决方案;2.维持线上服务高效稳定，支撑业务和数据量的快速增长.3.研究机器学习，为数据智能分析及决策提供解决方案;4.研究Hadoop/Spark/Hbae/Hive等开源项目，对线上任务进行调优，并开发通用组件;5.根据需求主动或配合工作进展及其他事情的处理。岗位要求:1.扎实的Java.Scala语言基础，对JVM运行机制有深入了解;2.熟悉Hadoop.Spark并有丰富的开发经验;3.熟悉SQL和noSQL的设计和开发；4.掌握JAVAEE常用框架。5.善于思考，能独立分析和解决问题，热衷于互联网技术的研究和创新;6.责任心强，具备良好的团队合作精神。

  所需技能：

• 来源：中软国际科技服务有限公司

  大数据系统研发工程师

  工作职责:•-负责核心业务海量数据的存储.计算.查询等架构开发和系统体系搭建，及面向政府.企业级应用的产品建设和项目交付•-负责大规模数据场景下数据分析.应用相关平台研发工作•-负责工程架构相关新技术方向研究.开发和应用•职位要求:•-计算机或相关专业本科及以上学历•-熟悉linxu平台，熟悉Java/Shell/python等编程语言•-有过大数据领域开发经验，对Hadoop.Spark.Flink.Hive等大数据技术栈有一定了解的优先•-有大型私有化项目开发部署实施.大型分布式系统架构设计研发等相关经验者优先

  所需技能： linux、java、Hadoop

• 来源：爱保科技有限公司

  大数据系统研发工程师

  岗位职责1.负责与大数据平台其他相关系统开发，参与设计系统技术方案，提高系统性能。2.负责离线.实时计算数据开发，代码编写。3.其他后端开发工作。任职要求1.计算机.软件工程.信息系统等相关专业本科及以上学历，3~5年后端研发经验。2.熟悉Java/C++/JS/Python上述至少一种开发语言。3.熟悉Oracle/MySQL/SQLServer上述至少一种数据库开发.设计.优化。4.熟悉相关的内存数据库Redi/Memcached的应用开发，熟悉NoSQLMongoDb/Hae/Hadoop上述至少一种的应用开发。5.熟悉Hive，Hbae，Spark，flink，kafka等主流的大数据框架技术。6.能够建设大规模数据的在线/离线基础架构，根据上层业务需求与计算逻辑持续优化。7.熟悉分布式系统架构或模型，对资源管理.调度算法.并行数据处理有自己的理解。8.有大规模金融行业.车联网大数据平台建设或数据平台迁移上云经验者优先。9.热爱技术，具备良好的团队合作精神和承压能力，沟通能力.自我学习能力。

  所需技能： 数据仓库、数据库开发、车联网、金融行业

• 来源：广东南方财经全媒体集团股份有限公司

  大数据系统研发工程师

  岗位职责：1.基于公司.行业和地区，建设相关知识图谱；2.非结构化数据解析存储；3.对文本内容进行语义分析并数据化；4.基于公司云平台，对海量财经数据进行分析处理，根据业务需求构建模型，进行相关数据分析和挖掘工作；5.负责相关大数据应用模块设计与开发；任职资格：1.全日制本科及以上学历，数学.统计及计算机或相关专业。2.具备计算机/统计/模式识别专业背景，熟悉NLP和图数据库，3年以上财经大数据挖掘工作经验，有独立完整的建模实践经验；3.熟悉常用机器学习模型/算法框架，如GBDT/LR/SVM.Tenorflow/Caffe等；4.对Hadoop等生态和体系架构有深入理解，熟悉但不限于Spark，Hive，Flume等常用开源工具；5.精通至少一门编程语言，熟练运用各种常用算法和数据结构，有独立实现能力；6.对数据敏感，具备良好的逻辑思维能力，能够从海量数据中发现知识和价值。

  所需技能： 数据仓库、数据挖掘、数据分析、Hive、Spark、Flume

• 来源：同程网络科技股份有限公司

  大数据系统研发工程师

  职责描述1.参与大数据系统平台架构，设计，开发与管理；2.参与大数据开发和查询平台建设，包括数据传输，调度，主数据，质量中心以及报表和Adhoc查询系统等；3.参与构建丰富多样的大数据应用的解决方案；4.参与实时数据处理系统平台架构，设计，开发；任职资格1.精通Hadoop.Hive.Spark.Storm等开源大数据系统的原理和使用；2.精通数据存储系统，数据处理系统，搜索系统的架构，设计，开发，有相关经验者优先；3.熟悉Spring技术生态圈，Mybati，Boottrap，AngularJS2等Web开发的前后端框架和技术，有实际项目的经验；4.熟悉Linux系统，熟练使用hell.Python.Perl脚本处理工具；5.良好的Java编程能力，熟悉Java开发工具和调试工具；6.有良好的产品思维能力，能够根据用户需要设计简单，易用的产品；7.有良好的逻辑思维能力及解决问题的能力；8.有良好的沟通技巧，对数据相关系统感兴趣，有良好的学习能力；

  所需技能： Hadoop、Spark