大数据运维工程师

相关职位简介

• 来源：上海胜蓝软件技术服务有限公司

  大数据运维工程师

  岗位职责：1.参与/负责客户数据仓库平台的运维与新功能开发；2.参与/负责客户统一门户.数据标准统一门户.数据标准.标签画像.指标管理等数据应用的运维与新需求开发。岗位要求：1.本科及以上学历，计算机相关专业，1年以上工作经验2.熟悉开发语言，如Java，Python等；3.熟悉常用数据库，如Myql等；4.熟悉常用操作系统，如Linux.AIX等的日常操作；5.熟悉大数据生态系统，对hdf.yarn.mr有深入了解；6.熟悉hive.hbae.zk.kafka.park等；7.熟悉运维体系结构，精于容量规划.性能优化，能够独立解决系统问题；8.有运维和调优经验优先；9.具备持续学习的意愿和能力，良好的团队协作精神和工作责任心。

  所需技能： Python、分布式技术、Linux、AIX

• 来源：北京赋乐科技有限公司

  大数据运维工程师

  岗位职责：1.负责ambari集群的搭建和运维2.负责ambari集群组件的开发和调优3.负责公司大数据产品的实时任务和离线任务的运维和监控工具开发任职要求：1.2年以上相关工作经验，本科以上学历；2.熟练掌握大数据组件的基本原理和参数配置，包括HDFS.Yarn.Spark.Hbae.Kafka等技术；3.熟练掌握ElaticSearch的基本原理和参数配置4.Linux操作系统基础扎实，掌握计算机操作系统原理5.掌握至少一种开发语言：Java/Python6.具有良好的抗压能力，较强的故障分析排查能力，有很好的技术敏感度和风险识别能力。

  所需技能： Python、Java、分布式技术、搜索引擎技术、Linux、ambari

• 来源：天健联创控股（山东）集团有限公司

  大数据运维工程师

  工作内容：1.负责大数据平台集群的运营和维护，服务器的部署规划；2.负责大数据平台的集群监控，资源规划，权限控制等工作；3.深入理解大数据平台运维技术，参与运维自动化.规范化工作；4.负责运维相关数据的收集.分析和总结等。任职资格：1.全日制本科及以上学历，计算机或数学相关专业。并有2年及以上大数据平台运维经验；2.了解大数据.日志.算法.数据可视化相关技术及理，对数据敏感，理解常见日志数据；3.熟练使用Shell脚本进行自动化脚本开发4.熟悉hadoop,熟悉hbae.hive.park.hdf.YARN.kafka等组件原理，并具备安装和运维能力，5.熟悉常用中间件和监控工具，包括nginx.tomcat.kafka.prometheu.granfana.zabbix等；6.有强烈责任感，思维逻辑缜密，有良好的团队协作能力。集团公司践行“以经营人才为核心”的理念，为全体员工提供：1.集团公司实行弹性化工作制，让您成为自己的时间管理者。2.基本权益保障一应俱全。公司会与您签订正式的劳动合同，为您缴纳五险一金，并享受带薪的法定假期。3.薪酬体系完备完善。集团公司实施结构性工资制度，持续推动薪酬制度改革，让全体员工得到务实的安全感。4.以人为本，福利最大化。集团公司实现“基本保障+生活关爱+个性化关怀”福利全覆盖，为全体员工提供季度福利.节日福利.生育福利.生日福利等。5.重视培训投入，助力员工成才。集团公司定期组织各类培训学习活动，无限量发掘和培育创新人才，助您在职场实现华丽蜕变。6.天健文化酷炫.青春。集团公司定期组织员工参加拓展或聚会活动，定期举办青年人喜爱的文娱体育系列活动，让您全身心感受天健文化的独有魅力和风采。7.工作场所超乎想象。人性化.现代化.科技感满满的工作环境，为您提供畅享未来.舒适宜人的办公场所。8.创新创意平台战略。集团公司为全体员工提供全要素.全方位.全链接的创新创意平台，助力员工创新工作.创意落地.创业圆梦。办公地址：高新区新泺大街988号鲁商福瑞达广场2001

  所需技能： 自动化运维、Shell、分布式技术、服务器配置、Nginx、集群运维、java、apache

• 来源：奥动新能源汽车科技有限公司

  大数据运维工程师

  岗位职责：1.负责Hadoop.HBae.Hive.Spark等大数据平台规划.部署.监控.系统优化等，确保高可用；2.负责大数据平台的运维管理工作，集群容量规划.扩容及性能优化；3.处理大数据平台各类异常和故障，确保系统平台的稳定运行；4.设计实现大规模分布式集群的运维.监控和管理平台；5.深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向；6.为数据仓库.数据挖掘建模等数据应用项目提供运行环境支持。7.任职资格：1.全日制本科及以上学历，4年以上工作经验。掌握Linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题2.熟练掌握Python,hell中的至少一门语言，有Python运维工具开发经验优先；3.熟悉CDH大数据平台并有实战经验，包括但不限于Hadoop.HBae.Hive.Spark.Impala.Zookeeper.Kafka.Yarn.Flink等；4.具有集群运维经验，以及大负载下的容量评估.问题定位.架构优化等能力优先；有Hive/Spark/Flink开发经验优先；5.熟悉Prometheu/Grafana系统的组合构件及使用.熟悉大数据平台的监控以及调优；6.有独立分析问题和解决问题的能力，自驱力强。

  所需技能： Python、Shell、分布式技术、Linux、运维开发

• 来源：北京赋乐科技有限公司

  大数据运维工程师

  岗位职责：1.负责公司产品平台值班.监控各项生成指标，确保系统服务稳定性；3.负责生产.测试环境的维护，配合开发测试团队进行问题处理；4.制定生产环境的监控和报警方案，处理报警问题；5.定位与分析运维问题，给出解决方案。任职要求：1.全日制专科及以上学历，计算机等相关专业；2.掌握hell/python/java其中一种脚本语言3.熟悉linux/uinx，window操作系统基础原理及常用操作4.熟悉TCP/IP.HTTP等协议，有良好的网络.数据传输.计算机体系结构方面的知识5.熟练使用myql.potgre等数据库6.熟悉Hadoop/Hive/Spark/HBae等大数据存储和计算7.具有良好的沟通协调能力.较强的团队合作精神.优秀的执行能力8.有很强的分析和解决问题的能力

  所需技能： Python、Shell、Java、分布式技术、网络协议、PostgreSQL

• 来源：创络（上海）数据科技有限公司

  大数据运维工程师

  岗位职责：1.负责公司大数据业务集群的运维工作（Hadoop/Hbae/Hive/Preto/Yarn/Spark等）确保高可用；2.负责集群容量规划.扩容及性能优化；3.设计实现大规模分布式集群的运维.监控和管理平台；4.参与/主导业务架构设计，在设计阶段给出可运维性改进建议；5.深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向。6.良好的客户服务意识，强烈的责任心和使命感，执行力强，富有团队合作精神；任职要求：1.3年以上大数据或数据仓库运维经验；2.熟悉Linux操作系统的配置.管理及优化，熟悉主要网络系协议原理，能够独立排查及解决操作系统层面的问题；3.熟悉编程语言优先：Shell/Python/go；4.熟悉Hadoop/Hbae/Hive/Zookeeper/Spark/Kafka等开源项目，有patch源代码经验者优先；5.熟悉flume等高可用日志系统,熟悉zabbix.grafana其中之一；6.有Docker，K8.Meo等分布式平台运维经验的优先；

  所需技能： Python、Shell、容器技术、分布式技术、Docker、Zabbix、cdh、hadoop

• 来源：贝壳找房（北京）科技有限公司

  大数据运维工程师

  岗位职责1.负责自动化运维与部署工具和模块的管理和开发；2.负责大数据平台管理工具和模块的管理和开发；3.开发自动化运维脚本，配合监控系统，优化整个运维的流程；4.负责公司大数据平台的运维保障工作，对生产环境的服务器进行部署及优化，编写相关的技术文档。任职要求:1.5年以上互联网企业运维工作经验,有大规模集群管理经验；2.精通Linux原理.系统.应用知识，深入了解互联网企业主流和常用的开源系统的架构.配置.优化，并有部署.实施和应用经验，有二次开发经验者优先；3.精通Python,Shell,Perl,Ruby等至少一种脚本语言，能熟练使用来完成日常系统运维等工作；4.熟悉hadoop.k8集群部署和运维，并有上百台规模集群运维经验优先。

  所需技能： 自动化运维、Shell、K8S、Linux、Python、运维开发

• 来源：北京知帆科技有限公司

  大数据运维工程师

  岗位职责：1.负责公司大数据底层框架的整体架构设计，结合公司实际业务情况进行技术选型及大数据战略规划；2.负责统一数据平台项目的整体评估.设计.架构及关键模块的开发与优化，协助团队解决开发过程中的技术难题，提升部署.运维效率；；3.与运维团队一起负责公司大数据平台的运维.优化，对数据平台整体稳定性.数据生产稳定性负责，协助排查线上数据生产问题；4.进行新技术调研，基于业务发展需求优化系统架构，提升性能，保证系统的可扩展性和高可用性，保持技术先进性，探索新的大数据运维技术及发展方向并能推广应用；5.解决用户问题，持续改进优化相关流程，提升用户使用效率和满意度；6.参与数据平台开发规范制定，数据建模及核心框架开发。任职要求：1.全日制统招本科及以上学历，计算机相关专业；2.8年以上运维相关工作经验，其中不少于5年大数据运维工作经验，有团队管理经验优先；3.精通Java/Scala程序开发(至少一种)，熟悉Linux/Unix开发环境。4.基于Hadoop的大数据体系有深入认识，具备相关产品（Hadoop.Hive.HBae.Spark.Flink.Flume.Kafka.ES等）项目应用研发经验，有Hadoop集群搭建和管理经验；5.有一定的算法基础，熟悉常见的数据结构，深入理解分布式算法和以上提到的分布式系统，具有一线coding的能力优先；6.具有扎实的大数据理论功底，负责过大数据平台设计；7.热爱技术，主动性强，有强烈的求知欲和学习能力，能够带领团队持续创新；8.认同和接受公司企业文化：诚信.协作.敬业.奋斗.客户第一.拥抱变化.保密与信息安全的核心价值观。

  所需技能： 分布式技术、Unix

• 来源：普信恒业科技发展（北京）有限公司

  大数据运维工程师

  职位描述1.负责大数据底层框架的整体架构设计，结合公司实际业务情况进行技术选型及大数据战略规划2.跟踪数据中台的可靠性.稳定性.效率等关键指标，并持续进行优化3.负责宜信大数据整体运维能力建设，包括持续集成&部署.监控.应急预案.AIOp等职位要求1.计算机相关专业本科以上学历，3年以上Hadoop生态或者Flink运维经验2.熟悉Linux/Unix开发环境，精通Java/cala开发3.具有Hadoop/Hive/Hbae/Spark/Flink/Flume/Kafka等项目研发经验，同时具有Hadoop集群搭建和管理经验4.熟悉常见的算法和数据结构，深入理解分布式算法5.具有扎实的大数据和数据仓库理论功底，负责过大数据平台或者数据仓库设计经验优先

  所需技能： HBase、MySQL、Java、Linux

• 来源：巴恩（大连）科技有限公司

  大数据运维工程师

  职位描述：1.负责公司大数据集群（PB级别）的运维工作，包括基础运维.故障定位和容量规划。2.建设大数据自动化运维.监控告警和资源管理体系和平台，提高大数据业务团队和运维团队工作效率。3.参与大数据业务架构选型和设计，根据特定需求提出运维改进建议。4.使用数据数据分析.自动化等工具，分析并提高大数据业务在稳定性.性能和成本优化的能力。5.研究大数据相关运维技术.业界先进解决方案和开源社区发展趋势，持续优化集群架构。任职要求：1.计算机或相关专业。2.深入理解运维体系结构，精通系统资源规划.运维架构设计.产品性能优化。3.熟悉Hadoop/Hbae/Hive/Spark/Flink/Kafka/preto/Clickhoue/druid等一个或者多个开源项目。4.良好的客户服务意识和团队精神，项目管理.主动思考和目标意识强。具有一定的数据分析能力。5.三年以上大数据系统运维或架构经验，熟悉大型互联网企业运维架构解决方案。

  所需技能： 分布式技术、大数据、运维开发、自动化运维、运维架构

• 来源：上海新巴斯科技有限公司

  大数据运维工程师

  任职要求：1.大学专科及以上学历，计算机相关专业；2.熟悉Linux开发环境和hell脚本；3.熟悉ClouderaHadoop或HortonworkHadoop的管理和维护.有实际集群扩容，数据恢复，性能调优经验；4.熟悉Hadoop生态系统核心组件安装部署及配置调优，HDFS/Hbae,Flume，Spark,Hive,Preto，kafka，Flink，Impala，Zookeeper；5.熟悉关系型数据库oracle.myql.potgreql；6.熟悉mpp引擎数据库greenplum.clickhoue；7.具有良好的沟通能力.团队合作精神.创业精神和服务意识，抗压能力强。岗位职责：1.负责公司大数据平台及相关组件的部署和维护，保证其稳定运行；2.处理公司大数据平台各类异常和故障，确保系统平台的稳定运行；3.部署Hadoop大数据运维.监控和管理工具；4.深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技术及发展方向；5.负责运维相关的hell脚本或python的编写；6.完成领导交付的其它相关工作；

  所需技能： Python、Shell、SQL、Linux、Oracle、MySQL、PostgreSQL、Hadoop

• 来源：博彦科技（深圳）有限公司

  大数据运维工程师

  岗位职责：负责PCG大数据中台相关组件的日常运维和质量保障岗位要求：热爱技术，对分布式存储.计算框架，海量数据处理有实际维护开发经验或者有浓厚兴趣，有较强的跨团队协作能力，能承担较大的工作压力。1.掌握linux操作系统.网络协议，能够熟练使用hell和排查网络相关故障；2.熟悉kubernete容器技术，能使用Prometheu+Grafana进行报警.报表的配置；3.熟悉kafka.flink.hadoop等大数据组件，能够进行日常变更和问题处理；4.有一定的开发能力，能使用java.python做一些简单开发；

  所需技能： Python、容器技术、分布式技术、Linux、Kubernetes

• 来源：盈立数智科技（深圳）有限公司

  大数据运维工程师

  工作职责1.负责大数据平台的建设及运维管理工作（部署.扩容.监控.优化.故障处理等）；2.负责部分业务平台MySQL数据库管理和维护工程；4.参与Hadoop/hive/park/Kudu/Elaticearch/Kafka/impala/Zookeeper/kafka/flink等系统的架构设计.容量规划.成本优化；5.参与大数据平台及相关组件的用户管理.权限分配.资源分配；6.参与数据平台的相关工具开发（包括自动化部署.监控.ETL等）；任职资格1.掌握Linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题；2.熟练掌握Python,Shell中的至少一门语言，有Python运维工具开发经验优先；3.熟悉Hadoop生态及大数据生态圈组及有实战经验，包括但不限于Hadoop.HBae.Hive.Spark.impala.zookeeper.kafka.Elaticearch.flink.kudu.Flume.Storm.qoop等；4.熟悉zabbix/Prometheu/grafana等监控的组合及使用，有zabbix监控插件开发经验；5.熟悉Myql.TiDB等组件的管理及维护工作；6.全日制大专学历或以上。

  所需技能： 分布式技术、Zabbix、运维开发、CDH、CDH集群、互联网金融、金融