IT人力外包人才简历库

返回列表

高级分布式爬虫系统开发工程师

驻场外包人员
工作年限:4年 意向城市:杭州 浏览:4次 发布时间:近期

技能标签

Python Java PHP Scrapy Nutch 分布式爬虫 反爬虫策略 数据清洗 API开发 订单系统 爬虫调度 数据抓取 网络协议分析 分布式架构 系统优化

专业技能

精通Python/Java/PHP全栈开发,擅长分布式爬虫框架(Nutch/Scrapy)构建与优化,具备反爬虫策略设计与实现能力,熟悉App数据抓取技术及数据清洗流程,掌握订单系统架构设计与电商业务逻辑实现,具备良好的产品意识与跨团队协作能力

工作履历(脱敏处理)

主导电商后台系统开发,完成订单处理、库存同步等核心模块设计,实现日均百万级订单处理能力。主导分布式爬虫系统架构优化,通过改进任务调度算法提升数据采集效率30%。设计反爬虫策略体系,成功突破微信APP等复杂反爬机制,保障数据采集稳定性。主导数据清洗流程重构,建立标准化数据处理规范,提升数据可用性至98%。持续优化爬虫系统监控体系,实现故障自愈率提升至95%。

项目经验(脱敏处理)

1. 电商数据采集系统开发:主导订单处理模块架构设计,实现分布式订单处理流水线,支持日均百万级订单处理,采用Redis缓存优化系统响应速度,通过数据一致性校验机制保障业务准确性。

2. 分布式爬虫系统优化:重构爱奇艺数据采集架构,采用动态代理池技术突破反爬限制,通过任务优先级调度算法提升采集效率,实现核心业务数据采集时效性提升40%。设计分布式爬虫监控体系,实现异常任务自动重试与资源动态分配,系统可用性达到99.9%。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

4年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接