HADOOP架构师

相关职位简介

• 来源：上海新享智云科技有限公司

  HADOOP架构师

  职位描述：职位责任1.参与大数据平台架构的规划和设计。2.根据业务需求整合优化数据架构，主动思考不断迭代优化。3.关注开源技术动态，推动平台技术架构持续更新。职位要求1.计算机.通信等相关专业，硕士及以上学历，优秀应届毕业生亦可。2.2年以下大型互联网产品或分布式系统开发设计经验3.精通Hadoop.Hive，park原理，熟练使用Storm.Spark.Flume.Kafka等，熟悉大数据各项技术，MongoDB，Hbae等，有大规模集群开发经验，具备源码级问题解决和集群优化改造能力者优先4.精通Java或者Python任意一种语言5.熟练使用Linux／Unix系统，至少熟悉perl/bah/python中的一种脚本语言6.有互联网行业.广告推荐系统.精准营销.信息检索等方面的实际项目经验优先7.有Spark(Streaming/MLlib).Hadoop的分布式数据挖掘开发经验优先。

  所需技能： hadoop架构师、Spark、数据架构

• 来源：泰康在线财产保险股份有限公司

  HADOOP架构师

  工作职责：1.大数据平台实时计算和分布式并行计算的架构设计，核心代码编写，以及开源技术组件的二次开发2.参与公司大数据处理方向的技术拓展3.运用Hadoop/SparkSQL与SparkStreaming或者其它数据分析技术，进行包括需求分析，平台选择，技术构架涉及等技术支持工作任职要求：1.熟悉Hadoop技术体系,三年以上Hadoop/Spark架构经验，互联网背景优先2.三年以上基于Hadoop/Spark/Hbae/Hive等应用开发经验,对分布式计算有较为深刻的理解。3.熟悉大数据大数据性能优化，并有实际项目经验4.熟悉ApacheMahout/SparkMLIB的各种算法5.精通Java,熟练掌握MapReduce原理以及数据分析的二次开发6.熟悉Unix/Linux,熟悉Python/Shell等脚本语言7.良好的数据结构和算法基础，有较强的算法设计和实现能力8.互联网架构师转型大数据架构也考虑，需要五年以上互联网架构经验9.本科以上学历,计算机及相关专业

  所需技能： Oracle、数据架构、数据库开发

• 来源：北京每日优鲜电子商务有限公司

  HADOOP架构师

  岗位职责：1. 负责Hadoop平台（分布式存储.分布式资源管理和调度.分布式计算等）的架构规划.设计.搭建工作；2. 负责Hadoop集群的日常维护.监控.异常处理等工作，保障集群稳定运行；3. 探索海量数据不断增长的解决方案，解决快速增长的业务需求；4. 负责集群服务器网络的配置.管理工作；5. 相关数据源及应用，涉及车联网.导航.自动驾驶等。任职资格：1. 计算机.数学或统计学相关专业，本科及以上学历（211/985优先考虑），4年以上大数据处理经验；2. 精通Java编程，具备扎实的数据结构与算法功底，有互联网分布式大数据挖掘.分析，熟悉Mahout.mllib及分析算法者优先；3. 熟悉hadoop技术体系，park.hive.pig.hbae.qoop等开源项目；4. 对hadoop底层原理及及实现有深入的理解，有实际hadoop集群搭建及维护经验；5. 理解MapReduce计算框架的思想，熟悉分布式计算模型；6. 熟练使用Kafka.Flume等开源数据收集工具。

  所需技能： Spark、hive、pig

• 来源：纬创软件（武汉）有限公司

  HADOOP架构师

  工作职责1.负责车联网数据平台的技术架构规划与设计，包括数据仓库/中台设计.面向业务场景的数据分析模块设计；2.主导车联网产品需求，并转换为技术架构；3.完成技术产品的概要设计，详细设计，并指导团队成员完成技术实现4.负责分析线上系统运行情况，对大数据系统的存储.计算.分发等环节进行评估优化岗位要求1.计算机相关专业，本科及以上学历2.熟悉设计模式.架构模型，能独立完成复杂系统架构.设计；3.具备大数据平台监控能力.流批处理能力.性能分析能力，具备数据分析，和数据分析产品设计能力4.熟悉hadoop生态.实时计算框架，熟悉Kafka.Spark.Hive.Hbae.ES等常用大数据技术;5.熟悉关系数据库.非关系数据库的应用，有较强的数据库设计优化能力，熟悉数据库技术包括但不限于MySQL.Redi.MongoDB；6.熟悉微服务架构，熟悉消息队列如RabbitMQ等，构建过RESTFUL接口7.有车联网大数据相关经验者优先，有机器学习框架搭建经验，熟悉常见深度学习模型及框架（Pytorch.Tenorflow等）者优先8.熟悉汽车系统，或有汽车电子经验，了解车联网数据的特殊性9.有OTA系统设计有经验者优先

  所需技能： 数据仓库、数据分析、数据架构师、微服务架构、Hadoop

• 来源：上海数禾信息科技有限公司

  HADOOP架构师

  工作职责：1.负责搭建.维护与管理Hadoop平台，以及Haddop平台上的数据存储.维护与优化。2.参与基于Hadoop中间件的设计开发工作。3.参与离线处理流程和实时处理流程的设计开发工作。任职要求：1.精通分布式数据处理，有三年以上的Hadoop相关开发经验（Hive，Spark，HBae，Sqoop，Flume等）。2.熟悉数据仓库逻辑架构，熟悉ETL流程.元数据管理.数据质量监控等数据仓库主要环节。3.熟悉Java.Python等开发语言，精通MapReduce，能编写HiveUDF，熟悉hell脚本。4.有较强的ETL性能优化及问题分析.解决能力。5.对技术有激情，对代码有苛刻要求。6.有良好的快速学习能力和团队协作能力。7.有高度责任感和敬业精神，善于沟通，积极主动，能够以目标为导向理解工作中相关任务的处理优先级关系。

  所需技能： 数据架构、安全

• 来源：趣分期（北京）信息技术有限公司

  HADOOP架构师

  职位描述：-Hadoop相关分布式计算平台的搭建与运维-分布式计算平台资源管理和作业管理-集群资源与作业管理平台的建设职位要求：-计算机相关专业985/211本科以上学历；-对分布式计算原理有较深的理解，熟悉MapReduce编程-熟悉Hadoop集群管理及优化.熟悉Hive/Sqoop开发及优化-熟悉Linux环境和vn，awk，vim等工具具备以下经验者优先：-熟悉python.PHP-具有hadoop源码经验

  所需技能： 数据架构、数据处理

• 来源：快跑软件（北京）有限公司

  HADOOP架构师

  职位描述：-为海量数据和大规模业务系统提供可靠的基础设施-负责公司数据处理系统的设计和研发-负责公司通用调度系统的设计和开发-负责以上各种系统及相关基础技术组件的稳定性保障及故障排查任职资格：-本科及以上学历，两年以上工作经验-掌握分布式系统原理，对存储.计算.消息队列.集群管理中的一项或多项有深入的理解和认识-熟练使用Hadoop及生态环境的组件，有实际部署.维护.优化经验-熟悉java或者python开发-良好的沟通协作能力和较强的担当意识-

  所需技能： Hive、kafka、Hadoop