职位描述:
- Python
- Scala
- Spark
- Hadoop
- Kafka
- Storm
- HDFS
- Yarn
专科4年及以上经验 职位描述: 1. 负责公司数据治理规划、大数据中台设计和开发; 2. 具有数据仓库模型设计、ETL开发、数据仓库(DWS)以及数据集市(DM)、报表开发(BI)类项目工作经验; 3. 实现大数据平台开发、多业务系统数据接入、数据挖掘分析及数据可视化的架构设计与能力,支持解决方案实施。 4. 研究大数据和算法前沿技术,对大数据算法平台迭代式进行分析及优化,不断提升算法平台的架构、性能、数据处理,以及其上的算法开发的能力。 任职要求: 1. 具有大数据架构设计和开发经验;沟通能力强;本科及以上学历。有保险行业相关经验者优先考虑; 2. 熟悉整个大数据的完整处理流程,包括数据的采集、清洗、预处理、存储、分析挖据、机器学习和数据可视化; 3. 熟悉Hadoop相关各种开源项目,掌握Hive、Spark、Streaming、Storm、Kafka等数据处理核心组件;对HDFS、M/R、Yarn的原理有深入了解,掌握系统优化、资源分配与权限控制。 4. 熟悉Java/Python/Scala等一种或多种语言,熟悉Redis/MySQL,熟悉Linux平台。 5. 具有良好的文档编写能力,完整的产品开发流程跟进能力,注意细节与质量;
牛先生 半年前活跃
上海杨浦区速递易(大通一路店)军工路2500号