数据采集工程师

相关职位简介

• 来源：苏州斐波那契信息技术有限公司

  数据采集工程师

  岗位职责：1.负责数据采集.解析处理.清洗.入库及统计等数据日常工作；2.负责数据质量的监控及反馈，提出好的建议与方案；3.负责知识库体系的维护。任职要求：1.本科学历须985.211院校及以上，硕士及以上学历不限院校，均须全日制毕业，计算机/数学/统计学相关专业优先；2.熟练使用EXCEL工具，包括基本函数.透视表.图标等；3.愿意学习，熟悉HTTP/HTTPS等网络通信协议,熟悉各种网络请求方式，有网络爬虫相关经验者优先；4.熟悉Java.Scala.Python等其中一种语言优先；5.有互联网广告相关知识背景优先；6.有责任心,学习能力强,工作积极主动,思路清晰，擅长沟通；7.具备积极解决各种难题的能力，能承受较大的工作压力。

  所需技能： Python、Scala

• 来源：苏州斐波那契信息技术有限公司

  数据采集工程师

  岗位职责：1.负责数据采集.数据质量的监控及反馈，提出好的建议与方案；2.负责知识库体系的维护；3.研究各种网站.网页.链接的形态，发现它们的特点和规律；4.有网页抓取经验者优先；岗位要求：1.有1年以上工作经验，熟练使用EXCEL工具，包括基本函数；2.熟悉HTTP/HTTPS等网络通信协议,熟悉各种网络请求方式，有网络爬虫相关经验者优先；3.有互联网广告相关知识背景优先；4.有责任心,学习能力强,工作积极主动,思路清晰，擅长沟通；5.具备积极解决各种难题的能力，能承受较大的工作压力；

  所需技能： 网络爬虫技术、数据采集、抓包、爬虫

• 来源：武汉汉达瑞科技有限公司

  数据采集工程师

  岗位职责：1.负责遥感影像地物如耕地.植被的采集；2.参与地物采集软件相关功能测试；任职要求：1.测绘.地理信息系统.摄影测量.遥感.计算机等相关专业，专科及以上学历；2.一年以上数据采集工作经验，有摄影测量与遥感专业背景及工作经验优先；3.对遥感影像通用处理流程有较好理解，对遥感解译及变化检测相关知识及应用有较好理解优先；4.熟练使用Word.PowerPoint.Viio等常用办公软件，熟悉ArcGIS.Erda等常用遥感.GIS软件者优先；5.有良好的沟通表达能力；稳重踏实，能吃苦耐劳；热爱学习，能独立完成工作。

  所需技能： arcgis、测绘、遥感

• 来源：文思海辉技术有限公司

  数据采集工程师

  职位描述：1.采集踩点：负责对采集场景和区域进行踩点和采集路线规划；2.数据采集和测量:负责使用公司采集设备按照要求进行数据采集和测量和记录，并对其工作质量和结果负责；3.数据标

  所需技能： 数据采集、 数据标注、instal360、采集踩点、采集文档、POI标注、现场采集、实施

• 来源：北京西骏数据科技股份有限公司

  数据采集工程师

  岗位职责:参与自主研发的大数据只智能运维平台中监控模块的数据采集层涉及的数据采集方案规划.设计.实现。任职要求：1.计算机相关专业本科及以上学历，学信网可查。两年及以上后台相关开发经验。2.扎实编程基础，熟练掌握运用Java/python/golang等相关编程语言语言中至少一种语言，有代码洁癖者加分。3.熟悉计算机存储与I/O的基本原理；熟悉网络的基本原理，如HTTP协议.TCP/IP协议等。4.熟练使用linux操作系统日常操作命令，熟悉MYSQL数据库，熟练使用influxdb数据库加分。5.有open-falcon.Promethru.ELK使用经验的优先6.具有较强的自主学习能力和驱动力，较好的团队协作和沟通能力。

  所需技能： Python、Java、Go、网络协议、MySQL

• 来源：浙江华坤道威数据科技有限公司

  数据采集工程师

  岗位职责：1.建设完善分布式爬虫系统；2.建立通用的爬虫框架，能够快速适应新的爬虫需求；3.快速完成对目标资源的数据抓取.处理；4.针对不同网站的反爬虫技术提出有效的应对策略。岗位要求：1.2年以上爬虫相关工作经验；2.有APPA安全.安卓逆向等领域的经验；3.对爬虫编程有强烈爱好，熟练掌握至少1种语言java.python，在需要的情况下能快速上手新语言切换；4.深入理解tpc/ip.http.以及web登陆认证的机制，有成功破解复杂验证码的经验；5.有通用分布式爬虫系统架构和开发经验，能快速部署新的爬虫应用；6.已有2年以上网络爬虫或搜索引擎工作经验，参与过大规模数据爬虫项目者优先；7.具有良好的沟通.团队协作.计划能力。

  所需技能： Python、Java、网络爬虫技术、分布式技术、网络协议、数据分析、MySQL

• 来源：上海碳索能源服务股份有限公司

  数据采集工程师

  职位描述：1.工业能源动力系统数据采集.物联网组网.数据采集层到平台层的对接；2.物联网组网设施的现场部署.调适.验收及其他工作。任职要求：1.会使用第三方工具进行报文分析，熟练掌握modbu.opc.104等数据采集协议；2.熟悉现场通讯总线.工业以太网通讯技术.无线通讯技术，熟悉多种协议及网络知识（TCPIP等）.网络设备（路由器，交换机防火墙）的配置和使用；3.精通各种数据采集设备.网关使用；4.具备较好文档编写能力；5.有良好的沟通与团队协作能力；6.熟悉Oracle/SQLServer/MySQL等主流数据库管理系统.相关技术及工具。

  所需技能： SQL Server、MySQL、工业物联网、通讯协议、物联网组网、modbus、数据采集、工业以太网

• 来源：福建大泽网络科技有限公司

  数据采集工程师

  岗位职责：1.定向数据采集和爬取；2.设计爬虫策略和防屏蔽规则，提升数据抓取的效率和质量；3.爬虫系统的开发和维护；4.参与产品需求及技术方案的交流和讨论；5.参与解决研发过程中的关键问题和技术难点。任职要求：1.大专及以上学历，至少3年以上爬虫开发工作经验；2.精通.NET语言或者Python语言，有丰富的反爬经验；3.熟悉MySQL，Redi等主流数据库；4.熟悉掌握熟悉html/c/xpath/ajax/xml等技术，熟悉HTTP传输协议，精通网页抓取原理和整合技术，熟悉正则表达式；5.有过主流电商平台数据实时分析业务经验者优先。

  所需技能： Python、网络爬虫技术、网络协议、Redis

• 来源：无锡唯因特数据技术有限公司

  数据采集工程师

  岗位职责：1.负责工控机.PLC等工业设备组网及数据采集功能分析和架构设计；2.负责通过软件.硬件方式对现场数据进行采集与集成工作；3.负责与设备厂商.数控系统厂商进行业务协议.通信协议及接口协调；4.负责现场数据采集相关软硬件安装调试；5.负责和用户现场对口协调.技术指导及现场培训。任职要求：1.本科以上学历，自动化.机电一体化.计算机类专业优先考虑；2.熟悉主流工业通讯协议：OPCDA/UA.Modbu.MQTT等；3.熟悉欧姆龙.三菱.松下.基恩士.西门子.施耐德.罗克韦尔.GE等主流品牌的PLC产品架构及应用；4.3年及以上数据采集或工厂自动化部门经验；5.熟悉主流网络传输协议HTTP.TCP/IP.UDP等；6.熟悉主流关系型数据库和时序数据库；7.精通PLC.DCS数据接入存储.组态机制，有开发经验者优先考虑；8.熟练掌握工业以太网的组网技术.熟悉上下位及现场之间的通讯规约和协议；9.熟悉设备数据采集接口开发，熟悉设备数据采集与外围系统交互，如MES.物联网平台。10.具备物联网.SCADA等自动化项目实施经验；11.能够适应出差；12.具有光伏.半导体.电力.风电等行业数据采集经验者优先考虑。

  所需技能： 网络协议

• 来源：北京小塔科技有限公司

  数据采集工程师

  工作职责：-网络信息搜索方向的架构设计与开发，完成爬虫系统框架搭建。-负责解决数据采集过程中遇到的难点，如研究反爬虫策略.代理IP.验证码识别.并发量等。-参与数据层建设，专注于垂直领域数据爬取，进行多平台信息的抓取和分析，实现数据提取.清洗.结构化.入库.统计分析等需求。-与团队一起研究解决数据挖掘和大数据处理中的技术难题。-对研发过程中的问题进行分析和总结，通过不断技术革新.架构优化.研发流程改造以提升研发效率。岗位要求：-计算机相关专业，有2年以上的网络爬虫工作经验；-精通网页抓取原理及技术，精通正则表达式，精通SQL，可以从结构化的和非结构化的数据中获取信息。-精通Java.Python等编程语言，熟悉各类数据结构及常用算法。-积极乐观，责任心强，工作认真细致，具有良好的团队沟通与协作能力。-热爱编程，有较强的学习能力和抽象能力，有强烈的求知欲.好奇心和自驱力，能及时关注和学习业界最新技术。

  所需技能： Python、网络爬虫技术、数据结构、数据分析

• 来源：上海西信信息科技股份有限公司

  数据采集工程师

  岗位职责1.负责现场数据采集方案设计；2.通过MODBUS，PROFIBUS，OPC等通讯对现场数据进行采集，及数据可视化实时监视画面组态；3.采集网络及数据稳定性维护； 任职资格:1.专业限制：电气自动化.自动化.电子信息工程.计算机等相关专业毕业；2.了解西门子.罗克韦尔.三菱.欧姆龙等主流厂家的PLC编程.通讯和组态工作；3.了解Intouch.Wincc.KepWare.KingSCADA等国内外主流厂家的组态软件实施；4.了解OPC.modbu.S7.IEC104等工业通讯协议；5.了解主流实时数据库软件，如GE.PI.ABB.宝信.贝加莱等；；6. 能够独立进行现场设备调研.设备联网改造硬件选型.编写设备数据采集方案；7.有事业心与责任心，沟通能力和团队合作精神，能吃苦耐劳；8.能出差，具有良好语言表达.工作积极.责任心强。

  所需技能： 数据采集、自动化、PLC、AB

• 来源：无锡奥特维科技股份有限公司

  数据采集工程师

  岗位职责：1.负责工控机.PLC等工业设备组网及数据采集功能分析和架构设计；2.负责通过软件.硬件方式对现场数据进行采集与集成工作；3.负责与设备厂商.数控系统厂商进行业务协议.通信协议及接口协调；4.负责现场数据采集相关软硬件安装调试；5.负责和用户现场对口协调.技术指导及现场培训。任职要求：1.本科以上学历，自动化.机电一体化.计算机类专业优先考虑；2.熟悉主流工业通讯协议：OPCDA/UA.Modbu.MQTT等；3.熟悉欧姆龙.三菱.松下.基恩士.西门子.施耐德.罗克韦尔.GE等主流品牌的PLC产品架构及应用；4.3年及以上数据采集或工厂自动化部门经验；5.熟悉主流网络传输协议HTTP.TCP/IP.UDP等；6.熟悉主流关系型数据库和时序数据库；7.精通PLC.DCS数据接入存储.组态机制，有开发经验者优先考虑；8.熟练掌握工业以太网的组网技术.熟悉上下位及现场之间的通讯规约和协议；9.熟悉设备数据采集接口开发，熟悉设备数据采集与外围系统交互，如MES.物联网平台。10.具备物联网.SCADA等自动化项目实施经验；11.能够适应出差；12.具有光伏.半导体.电力.风电等行业数据采集经验者优先考虑。

  所需技能： 网络协议

• 来源：深圳市超时空探索科技有限公司

  数据采集工程师

  职位描述：1.负责网络爬虫系统平台的架构设计与开发（如抓取调度，多样化抓取，页面解析和结构化抽取）.技术选型；2.研究爬虫策略和防屏蔽规则，解决封账号.封IP.验证码.混淆加密，算法还原，SO层，页面跳转等难点攻克，提升网页抓取的效率和质量；3.对抓取后的数据进行清洗.存储等，并持续优化平台，以便满足各种爬取业务需求；4.负责直播流相关的抓取，熟悉相关直播平台数据维持算法的逆向，熟悉网络直播相关技术栈；5.负责短视频相关的抓取，熟悉相关短视频平台视频请求加密算法，熟悉相关技术栈；岗位要求：1.精通Python&Golang.计算机网络，熟练使用多线程，熟悉常用爬虫框架；2.了解各种加密算法，在破解验证码方面有丰富经验，能够独立解决j反爬和模拟登陆问题；3.熟练掌握正则表达式.XPath.CSS等网页信息抽取技术；4.熟悉常见反爬机制，验证码识别，IP代理池.应用IP池.Header认证和Cookie等；5.熟悉JS逆向，混淆原理，JS语法树，客户端常用签名算法等。熟悉移动端逆向或者PC端逆向更优（iOS.Android.Window二进制逆向）；6.熟悉熟练使用Charle.Fiddler等抓包工具者优先；7.熟悉数据清洗，能够用Numpy.Panda.Jieba等工具对数据进行处理者优先；8.熟悉Myql.Mongodb.Redi.RabbitMQ.Kafka.Spark者优先；9.熟悉视频，直播流相关处理，熟悉FFmpeg及其相关技术栈。

  所需技能： Python、Go、网络爬虫技术、NoSQL、Redis、MongoDB、Pandas、逆向

• 来源：上海智驾汽车科技有限公司

  数据采集工程师

  岗位职责1.综合管控数据采集，根据算法端的数据采集要求，制定合理采集路线。2.根据项目要求按时回收图像数据；3.使用公司工具对图像数据进行质量验收，发现并反馈问题，确保采集端工况.路况满足项目要求，对最终数据结果负责；  4.编写.整理和维护采集文档，收集特殊场景进行记录并与算法工程师确认。5.根据项目实际需要，跟车指导司机采集，并能解决采集过程中遇到的基本软硬件问题。6.及时沟通和汇总，跟进项目，反馈采集端问题。岗位要求1.本科及以上学历，有一年以上图像数据采集.标注或质检经验的优先； 2.对数据采集工作和交通道路状况有一定的敏感度； 3.计算机操作熟练，动手能力强； 4.有数据管理经验的优先；5.有责任心.细心耐心.踏实肯干，善于沟通，执行能力高。

  所需技能： 数据挖掘、数据仓库、数据采集

• 来源：黑龙江安霆网络科技有限公司

  数据采集工程师

  岗位职责：1.主导和参与爬虫系统的架构设计.开发与优化；2.研究优化爬虫算法，提升爬虫系统的稳定性.可扩展性；3.设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；4.能独立解决实际开发过程中碰到的各类问题；5.负责大数据产品所需网站的信息抓取.解析.清洗等研发与优化工作；任职要求：1.熟悉爬虫基本原理，熟悉常见的反爬虫技术，有爬虫相关项目开发经验者优先；2.熟悉http协议，熟悉html.xpath等常见的数据抽取技术。3.精通HTML/DOM4.熟悉JavaScript或ActionScript35.熟悉TCP/IP.HTTP.WebSocket协议6.有较强的代码阅读能力7.两年以上破解/逆向分析经验8.Python语言9.熟悉Scrapy采集框架10.参与过多人协作项目，拥有大批量分布式多线程抓取经验者优先

  所需技能： Python、网络爬虫技术、分布式技术、网络协议

• 来源：北京智谱华章科技有限公司

  数据采集工程师

  岗位职责：1.理解业务需求，结合数据方法和工具进行数据提取.整合.分析，为产品及决策提供数据分析支持，确保业务朝正确方向高效迭代发展；2.完成对业务关键指标的监控及异常波动等分析工作，并不断主动思考.反馈数据发现的各类业务问题，推进解决优化；3.积极和业务方充分沟通，结合业务，建设基础数据和工具，积极配合推进数据项目，并应用解决业务问题。任职要求：1.统招本科以上学历，经验不限；2.会简单的数据抓取，至少了解Requet，Selenium，Scrapy等其中一种；3.会简单的流程开发，了解html，c，javacript等语句；4.会Python，Myql，MongoDB；5.有数据处理经验。对新软件接受（学习）能力比较强。

  所需技能： 爬虫、数据采集、数据抓取、网络协议、网络爬虫技术