技能标签
专业技能
精通分布式计算框架(Hadoop/Spark/Flink/Storm)及实时数据处理技术,熟悉HBase/Hive/Kafka/ELK等大数据生态组件,具备Iceberg/Hudi等湖仓一体架构实践经验,掌握Java语言及Spring Boot全栈开发能力,具备高并发系统设计与优化经验
工作履历(脱敏处理)
作为核心开发工程师参与多个大型数据平台建设,主导设计并实现日均处理千万级数据的实时分析系统,采用Flink+Kafka构建高吞吐量数据管道,通过Storm实现实时舆情监控功能。主导HBase/Hive数据仓库架构设计,优化查询性能30%以上。开发基于Iceberg的湖仓一体数据平台,实现数据版本管理与多租户隔离。设计并实现智能选品系统,通过Spark ML构建推荐算法模型,提升选品准确率25%。持续优化系统稳定性,实现99.99%的SLA指标。
项目经验(脱敏处理)
1. 智能选品系统:基于Spark ML构建机器学习模型,实现商品推荐算法优化,提升选品准确率25%。采用HBase存储实时交易数据,通过Kafka实现数据实时同步,系统日均处理1.2亿条数据。
2. 实时舆情分析平台:基于Flink构建实时数据处理流水线,集成Kafka消息队列与Elasticsearch搜索引擎,实现分钟级舆情监控与预警功能,支持百万级并发查询。
3. 湖仓一体数据平台:设计并实现基于Iceberg的统一数据仓库架构,支持多源数据整合与版本管理,通过Hudi实现数据湖与数据仓库的无缝衔接,数据处理效率提升40%。
4. 分布式日志分析系统:基于ELK技术栈构建日志分析平台,集成Kafka实现日志实时采集,通过Elasticsearch实现多维度日志检索,支持PB级日志数据存储与快速查询。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
5年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接