一、岗位职责:
1、负责公司的爬虫技术研究以及爬虫策略优化;
2、根据业务需求,实现大规模文本、图片、视频
数据抓取、清洗、存储等工作;
3、监控程序的运行状态,核对
数据正确性,排查错误原因;
4、配合公司
其他开发人员制定并实施平台
数据反扒方案确保平台
数据安全;
5、对
数据质量负责,提供
数据分析报告,优化
数据应用架构,支持
产品研发。
二、岗位要求:
1、熟悉linux平台,掌握
python/
java/
javas
cript或某种编程语言;
2、熟悉基于正则表达式、
css、http协议、ml等的网页信息抽取技术;
3、熟练使用sql语句操作
数据库,具备扎实的
数据清洗、集成、转换等能力;
4、精通常用的爬虫技术及框架,并能快速实现相应功能;
5、具有钻研精神,对
数据驱动业务有深入理解,对
数据与业务方面有足够的敏感性,独立思考能力和逻辑分析能力强。
三、薪资待遇:
1、薪资面议;
2、福利:五险+带薪年假+节日福利+法定假日+不定期员工活动