小雪 近期活跃
莆田市申禾科技有限公司 • 人事
工作天数：5天/周
工作时间：08:30-18:00
职位描述
岗位职责：
1、负责多平台信息爬取和页面内容的提取分析，负责破解各类反爬机制；
2、负责网页的数据抓取和爬取链路优化（包括逆向分析、脱壳、加密参数破解、抓取攻防等），提升抓取能力；
3、负责日常业务系统运营支撑工作（BSP, vSIM-CORE，web 网站，终端系统，业务应用监控系统等），相关运营支撑工具的开发(Python、go)；
4、负责业务运营支撑系统的部署、发布、变更以及持续优化； 针对各系统编写并维护自动化运维脚本；
任职要求：
1、3年以上python爬虫经验，本科及以上学历，计算机相关专业，有电商类数据经验优先；
2、熟练掌握Python语言或JAVA语言，熟练掌握JS语言、有APP数据采集经验者优先；
3、精通数据采集技术，熟悉HttpClient/jsoup/XPath/CSS/正则表达式/验证码加密处理/代理池等网页信息抽取技术，熟悉HTTP底层协议；熟悉mysql、redis、elasticsearch、clickhouse等数据，熟悉Linux，MySQL，有一定的公有云经验，了解Spark SQL，Spark MLlib， Spark Streaming以及Spark GraphX，Hadoop、Hive等大数据工具，Amazon SageMaker；
4、精通各种反爬技术，并能够通过多种应对策略（如代理池、模拟登录、验证码与滑块的处理、浏览器渲染等）来保证数据的持续交付；
5、熟悉网页数据采集原理及技术，熟悉基于Cookie的网站登录原理；
1、负责多平台信息爬取和页面内容的提取分析，负责破解各类反爬机制；
2、负责网页的数据抓取和爬取链路优化（包括逆向分析、脱壳、加密参数破解、抓取攻防等），提升抓取能力；
3、负责日常业务系统运营支撑工作（BSP, vSIM-CORE，web 网站，终端系统，业务应用监控系统等），相关运营支撑工具的开发(Python、go)；
4、负责业务运营支撑系统的部署、发布、变更以及持续优化； 针对各系统编写并维护自动化运维脚本；
任职要求：
1、3年以上python爬虫经验，本科及以上学历，计算机相关专业，有电商类数据经验优先；
2、熟练掌握Python语言或JAVA语言，熟练掌握JS语言、有APP数据采集经验者优先；
3、精通数据采集技术，熟悉HttpClient/jsoup/XPath/CSS/正则表达式/验证码加密处理/代理池等网页信息抽取技术，熟悉HTTP底层协议；熟悉mysql、redis、elasticsearch、clickhouse等数据，熟悉Linux，MySQL，有一定的公有云经验，了解Spark SQL，Spark MLlib， Spark Streaming以及Spark GraphX，Hadoop、Hive等大数据工具，Amazon SageMaker；
4、精通各种反爬技术，并能够通过多种应对策略（如代理池、模拟登录、验证码与滑块的处理、浏览器渲染等）来保证数据的持续交付；
5、熟悉网页数据采集原理及技术，熟悉基于Cookie的网站登录原理；
工作地址
福建省莆田市荔城区凯天国际35楼
更新于 2023-07-12
相似职位
