技能标签
专业技能
精通Spark架构设计及核心组件原理，具备Spark Streaming流式数据处理经验。熟练掌握Scala/Java语言开发，具备Spark程序调优能力。熟悉Kafka消息队列架构及与Spark Streaming的集成应用。精通CDH集群部署与调优，熟悉MapReduce分布式计算框架及HDFS分布式存储系统。掌握Redis内存数据库与HBase列式存储数据库的使用，熟悉Hive数据仓库架构及SQL优化。具备Linux系统运维能力及Shell脚本开发经验。熟悉Oracle/MySQL数据库设计与优化，掌握Spring Boot微服务框架及Git版本控制工具。
工作履历（脱敏处理）
主导某证券公司实时资产系统开发，设计基于Spark Streaming的实时数据处理流水线，实现日均千万级数据的实时计算与存储。构建Kafka消息队列与Redis缓存的混合架构，通过数据分组聚合算法提升处理效率30%。开发HBase数据仓库解决方案，实现历史账单数据的快速存取与分析。设计基于Spring Boot的gRPC服务接口，完成16个业务模块的接口开发与性能调优。优化CDH集群资源分配策略，降低集群资源利用率15%。
项目经验（脱敏处理）
某证券公司实时资产系统：基于Spark Streaming构建实时数据处理引擎，采用Kafka作为消息队列实现数据采集。设计Redis缓存架构实现资产数据的实时更新与查询，通过数据分组聚合算法提升处理效率。开发HBase数据仓库方案存储历史账单数据，设计批量加载流程实现数据快速入库。构建gRPC服务接口实现业务数据的实时查询，完成16个业务模块的接口开发与性能调优。设计数据一致性保障机制，确保实时计算与离线清算的同步执行。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
2年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接