技能标签
专业技能
精通Hadoop生态体系（HDFS、MapReduce、Yarn）架构原理与调优，掌握分布式文件系统存储机制及性能优化策略。熟练使用Hive进行数据仓库分层建模（STAGE/ODS/DWD/ST/SPLIT），具备复杂ETL开发经验。精通SQL性能优化技术，包括执行计划分析、分区分桶策略、MapJoin等。熟悉Linux系统运维及Shell脚本开发，掌握DataX、SFTP等数据传输工具。具备DACP数据调度平台配置能力，熟悉帆软报表系统集成方案。
工作履历（脱敏处理）
主导机构数据中台重构项目，完成数据采集、清洗、存储及报表集成。设计并实施数据仓库分层架构（STAGE/ODS/DWD/ST/SPLIT），通过拉链表技术解决历史数据快照问题。优化数据倾斜场景，采用分桶采样提升开发效率。实现业务指标自动化传输，通过分区策略提升查询性能。完成数据清洗流程标准化，建立异常数据处理机制。搭建数据调度体系，集成DACP平台实现任务自动化管理。
项目经验（脱敏处理）
数据中台重构项目：设计分布式数据采集方案，使用DataX实现机构数据同步至Hive集群。构建多维数据仓库模型，完成STAGE/ODS/DWD/ST/SPLIT分层架构搭建。开发ETL流程解决历史数据追溯问题，采用拉链表技术实现数据版本管理。优化数据倾斜场景，通过分桶策略提升查询效率。建立数据质量监控机制，完成异常数据处理方案。集成DACP调度平台实现任务自动化，提升数据处理时效性。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
1年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接