职位诱惑薪酬福利好,发展空间大
岗位职责:
1.负责设计和开发网络爬虫系统,进行多平台信息的抓取和分析工作;
2.负责网页信息和APP数据抽取、清洗、消重等工作,提升平台的抓取效率;
3.参与爬虫核心算法和策略优化,熟悉采集系统的调度策略;
4.实时监控爬虫的进度和警报反馈;
任职要求:
1.熟悉Linux系统,掌握Python;
2.了解多线程、多进程、网络通信编程相关知识,有数据挖掘经验;
3.掌握网页抓取原理及技术,了解基于Cookie的登录原理,熟悉基于正则表达式、XPath、CSS等网页信息抽取技术;
4.熟悉APP模拟及接口验签破解技术,了解APP用户授权访问机制,掌握Selenium,APP破解技术优先;
5.做过数据处理、ETL等相关工作优先。
北京市海淀区丹棱街18号创富大厦402
X
投递简历 完整度0%
x举报
请写下举报的理由