各大行业职位任你选
首次验证通过即注册BOSS直聘账号职位描述
- 抖音
- 小红书
- 快手
- 星图
- 蒲公英
1、参与爬虫和数据采集系统的架构设计和开发。
2、优化参数提升爬虫抓取的效率和质量。
3、根据数据产品需求,负责大规模文本、图片数据抓取、清洗、存储等开发工作。
4、定制实现批量采集,增量采集,分布式采集程序。
任职要求:
1、2年以上爬虫开发经验,计算机、数学或统计等相关专业本科及以上学历。 2、熟悉多线程、网络编程、网页抓取原理、正则表达式、HTTP协议等;
3、熟悉数据清洗,能够用numpy、pandas等工具对数据进行处理者优先;
4、熟悉Shell,及Scrapy,Selenium常用爬虫框架。
5、熟悉常见反爬机制,验证码识别、滑块处理、IP代理池、应用Ip池、headers认证和cookie等。有小红书、抖音平台经验的优先。
张女士 3日内活跃
竞争力分析
BOSS 安全提示
BOSS直聘严禁用人单位和招聘者用户做出任何损害求职者合法权益的违法违规行为,包括但不限于扣押求职者证件、收取求职者财物、向求职者集资、让求职者入股、诱导求职者异地入职、异地参加培训、违法违规使用求职者简历等,您一旦发现此类行为, 请立即举报
了解更多职场安全防范知识公司介绍
工商信息
- 公司名称北京蓝色光标数据科技股份有限公司
- 法定代表人潘安民
- 成立日期2002-11-04
- 企业类型股份有限公司(上市、自然人投资或控股)
- 经营状态存续
- 注册资金248753.8734万人民币
工作地址
点击查看地图
精选职位
更新于:2024-06-05