Python开发工程师-数据爬取

一、岗位职责：
1、负责公司大规模数据采集系统的爬虫、前后端功能模块接口的开发工作；
2、参与爬虫及搜索系统前后台技术框架和实现方案，负责设计并实施技术规范；
3、独立完成新功能新模块的开发，学习和研究新技术以不断满足新的产品需求；
4、与技术团队进行沟通，快速响应各种临时爬虫需求；
5、持续提升输出产品的质量、性能和稳定性并进行优化；

二、岗位要求：
1、大专以上学历，计算机类相关专业；
2、精通python及三方包，对python底层优化有一定的了解；
3、两年以上爬虫或解析相关开发经验，精通scrapy框架，深入了解scrapy底层；
4、具备js逆向及复杂反爬虫解决能力，有APP逆向经验者尤佳；
5、精通Python Web，有一定高并发的互联网产品项目开发经验；
6、熟悉常见的数据库，如mysql，mongodb，redis等，具备一定的数据库优化能力；
7、熟练使用xpath、css选择器、正则等解析模块，有数据清洗的能力；
8、熟练使用Linux，有运维开发经验者优先考虑；
9、熟练掌握git版本管理工具，有良好的代码规范与代码优化能力；
10、有较强的学习能力和技术钻研能力，积极主动，思维灵活开放，有良好的沟通能力。

三、薪资待遇：
1、双休，8H/天