IT人力外包人才简历库

返回列表

数据采集与分析工程师

驻场外包人员
工作年限:3年 意向城市:杭州 浏览:3次 发布时间:近期

技能标签

Python开发 Scrapy爬虫 Django框架 MongoDB Redis缓存 Linux运维 Pandas分析 Matplotlib可视化 数据建模 数据清洗 分布式系统 Web开发 数据库管理 数据可视化 需求分析

专业技能

精通Python编程语言,熟悉Scrapy框架实现分布式爬虫系统,掌握Django开发Web数据展示平台。具备MySQL/Redis/MongoDB多数据库管理能力,熟练使用Linux系统进行环境部署与运维。擅长Pandas数据清洗与分析,精通Matplotlib/Seaborn数据可视化工具。具备数据建模能力,可独立完成从需求分析到原型设计的全流程交付。

工作履历(脱敏处理)

主导电商数据采集平台开发,基于Scrapy构建分布式爬虫系统,日均处理200万条数据,采用Redis实现请求队列管理,通过设置User-Agent池和代理IP解决反爬虫问题。开发数据可视化Web系统,使用Django框架搭建后端服务,结合ECharts实现动态数据展示。设计数据仓库架构,使用MongoDB存储非结构化数据,通过Pandas进行数据清洗和特征工程,最终输出可视化报表支持业务决策。优化数据采集流程,通过异步处理和任务调度提升系统吞吐量30%。

项目经验(脱敏处理)

1. 电商数据采集平台开发:基于Scrapy构建分布式爬虫系统,采用Redis实现请求队列管理,通过设置User-Agent池和代理IP解决反爬虫问题。设计数据去重机制,使用MongoDB存储原始数据,结合Pandas进行数据清洗和特征工程,最终输出可视化报表支持业务决策。

2. 用户行为分析系统:使用Django开发Web分析平台,集成ECharts实现动态数据展示。设计数据仓库架构,使用MySQL存储结构化数据,通过SQL优化查询性能,最终实现用户行为路径分析和转化率统计。

3. 实时数据监控系统:基于Linux搭建监控环境,使用Redis缓存关键指标,通过Python脚本实现数据采集和告警通知。优化数据采集流程,通过异步处理和任务调度提升系统吞吐量30%。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

3年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接