技能标签
专业技能
精通Hadoop生态体系(HDFS/Hive/HBase/MapReduce),熟练掌握实时数据处理框架(Kafka/Flume/Spark Streaming),具备数据仓库建设能力(维度建模/ETL流程),熟悉数据清洗与特征工程,掌握SQL优化技巧及数据可视化工具(Tableau/PowerBI),具备分布式系统调优经验
工作履历(脱敏处理)
专注于大数据平台架构设计与开发,主导搭建企业级数据中台体系,实现日均千万级数据采集与处理。设计分布式ETL流程,优化数据清洗效率30%,构建统一数据仓库模型,支撑多业务系统数据服务。开发实时监控系统,采用Kafka+Spark Streaming架构实现秒级数据处理,保障业务系统稳定运行。持续优化Hive查询性能,通过分区裁剪与索引优化使复杂查询响应时间缩短50%。
项目经验(脱敏处理)
项目一:XX银行数据中台建设(脱敏)
构建覆盖数据采集、清洗、存储、分析的全链路数据处理体系,采用Flume采集日志数据,Kafka实现数据缓冲,Spark进行实时计算,Hive构建数据仓库。设计多维数据模型支持多业务场景查询,通过数据分区与索引优化提升查询性能,支撑生成日报/周报/月报等报表系统。
项目二:XX网新集团实时监控系统开发(脱敏)
搭建基于Kafka的实时数据管道,采用Spark Streaming处理日志流数据,设计状态存储方案保障数据完整性。开发数据可视化看板,集成Tableau实现业务指标动态展示。通过流批一体架构设计,实现分钟级数据更新,支撑业务决策实时分析。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
3年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接