IT人力外包人才简历库

返回列表

Python数据采集工程师

驻场外包人员
工作年限:3年 意向城市:杭州 浏览:3次 发布时间:近期

技能标签

Python Scrapy 分布式爬虫 反爬策略 代理工具 前端分析 日志监控 Linux运维 数据采集 请求逆向 异常处理 分布式系统 网络协议分析 爬虫架构设计

专业技能

精通Python语言及爬虫开发技术,擅长构建分布式爬虫架构,熟练使用Scrapy框架及Scrapy-Redis组件实现数据采集。掌握反爬策略识别与应对技术,包括IP封禁、验证码识别、请求频率限制等。熟悉前端技术栈,具备网页结构分析与请求参数逆向能力。精通代理工具配置与管理,可搭建高并发爬虫系统。具备日志监控与异常处理能力,熟悉Linux环境下的定时任务配置与进程管理。

工作履历(脱敏处理)

专注于数据采集领域开发,主导多个平台数据采集系统设计与实施。设计并部署分布式爬虫架构,实现高并发数据采集,有效应对IP封禁、验证码识别等反爬策略。开发代理工具管理系统,支持批量IP代理池配置与并发控制。构建日志监控体系,实现爬虫运行状态实时追踪与异常预警。完成多个行业数据采集项目,包括二手车平台、电影平台、房产平台等,确保数据采集效率与系统稳定性。

项目经验(脱敏处理)

1. 某二手车平台数据采集项目:设计分布式爬虫架构,应对IP封禁与验证码识别策略,实现日均百万级数据采集。2. 某电影平台数据采集项目:分析前端请求参数,构建反爬策略应对方案,成功采集电影票务数据。3. 某房产平台数据采集项目:开发代理工具管理系统,支持批量IP代理池配置,实现高并发数据采集。4. 某综合平台数据采集项目:设计日志监控体系,实现爬虫运行状态实时追踪,保障系统稳定性。5. 个人游戏开发项目:基于Python实现游戏开发实践,验证精灵类开发与物理碰撞逻辑,积累算法开发经验。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

3年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接