IT人力外包人才简历库

返回列表

数据采集工程师

驻场外包人员
工作年限:6年 意向城市:杭州 浏览:2次 发布时间:近期

技能标签

Python开发 网络爬虫 数据抓取 反爬虫处理 数据清洗 数据库管理 分布式爬虫 ETL处理 数据可视化 Linux运维 API接口开发 数据建模 自动化脚本 数据存储优化 系统监控

专业技能

精通Python编程语言,擅长网络爬虫技术开发,熟悉数据抓取框架(Scrapy/BeautifulSoup),掌握反爬虫策略处理(IP代理/验证码识别),具备数据清洗与ETL处理能力,熟练使用MySQL/Redis进行数据存储,熟悉分布式爬虫架构设计,了解数据可视化工具(Tableau/Power BI),具备Linux系统运维基础

工作履历(脱敏处理)

专注于数据采集系统开发与维护,主导设计并实施多平台数据抓取方案,涵盖电商、零售等垂直领域。开发自动化数据采集工具,处理反爬虫策略(IP代理/验证码识别),提升数据采集效率30%。构建分布式爬虫架构,支持高并发数据采集,日均处理数据量达百万级。负责数据清洗与ETL处理,建立标准化数据模型,提升数据可用性。优化数据库存储方案,实现数据存储效率提升40%。开发数据可视化模块,支持多维度数据展示与分析。

项目经验(脱敏处理)

设计并实现电商平台数据采集系统,通过Python开发网络爬虫,处理反爬虫策略(IP代理/验证码识别),完成商品信息抓取与存储。开发数据清洗模块,处理重复数据与异常值,建立标准化数据模型。构建分布式爬虫架构,支持多线程并发采集,提升数据采集效率。开发数据可视化工具,实现商品销售数据多维度分析。优化数据库索引与存储结构,提升数据查询效率。实施自动化监控系统,实时追踪数据采集状态,确保数据完整性与时效性。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

6年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接