技能标签
专业技能
精通Linux系统运维与脚本开发,具备全栈大数据开发能力;擅长Hive性能调优与数仓分层设计,熟悉Hadoop生态组件;精通关系型数据库(MySQL、Oracle、Vertica、HANA、SQL Server)与非关系型数据库(HBase、Redis);掌握ETL开发流程与数据质量保障体系;熟悉数据血缘追踪与元数据管理技术
工作履历(脱敏处理)
主导特征工程平台建设,解决多源数据分散管理导致的特征重复与歧义问题。设计分层数仓架构,重构ETL开发流程,通过代码优化使数据处理效率提升40%。建立数据质量校验机制,确保下游数据准确性达99.9%。搭建Oozie调度体系实现自动化运维,降低人工干预成本60%。开发数据血缘追踪模块,实现特征变更影响分析,提升数据治理效率。
项目经验(脱敏处理)
主导特征工程平台建设,解决多源数据分散管理导致的特征重复与歧义问题。设计分层数仓架构,重构ETL开发流程,通过代码优化使数据处理效率提升40%。建立数据质量校验机制,确保下游数据准确性达99.9%。搭建Oozie调度体系实现自动化运维,降低人工干预成本60%。开发数据血缘追踪模块,实现特征变更影响分析,提升数据治理效率。采用Delta Lake技术实现数据版本管理,支持特征回溯与审计需求。通过Spark SQL优化将复杂查询响应时间缩短至秒级,满足实时特征计算需求。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
6年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接