IT人力外包人才简历库

精通Hadoop生态系统（HDFS/MapReduce/YARN），擅长分布式数据处理架构设计；精通HBase分布式存储，掌握Phoenix上层应用开发及ES二级索引优化；精通Hive数仓架构设计，具备UDF/UDAF自定义开发及性能调优能力；熟悉Sqoop/DataX离线ETL工具链，掌握Kafka实时数据同步原理与实践；精通Flink流处理框架及CDC数据同步方案；精通Java/Python/Shell多语言开发，熟悉ES/Lucene全文检索技术；掌握Azkaban/Dolphinscheduler调度系统，具备高可用架构设计经验；熟悉Linux系统运维及性能调优。

长期从事大数据平台架构设计与开发，主导搭建分布式计算平台，实现PB级数据处理与分析。设计并实施多套ETL方案，通过拉链表技术解决数据更新难题，提升数据一致性。主导Hive数仓架构优化，开发自定义UDF实现数据标准化处理，提升查询性能30%以上。完成DataX源码改造，新增S3/MinIO等存储插件，适配TBDS平台环境。设计并部署Dolphinscheduler调度系统，实现任务自动化管理与异常监控。搭建Grafana+Prometheus监控体系，实现关键业务指标可视化。主导HiveServer2负载均衡方案，提升查询并发处理能力。

1. 大数据平台建设：设计分布式计算架构，完成CDH集群规划部署与调优，输出标准化运维文档并开展技术培训，支撑日均10PB数据处理能力。2. 实时数据同步：基于Flink+Kafka构建实时ETL流水线，实现分钟级数据同步，支持百万级并发查询。3. 离线数据仓库：搭建Hive数仓体系，开发UDF实现数据加密/解密及格式标准化，通过分区表优化提升查询性能。4. 数据同步工具优化：重构DataX源码，新增S3/MinIO插件，解决字符串切分数据问题，提升数据同步效率40%。5. 调度系统定制：完成Dolphinscheduler二次开发，适配TBDS平台环境，实现任务调度自动化与异常告警。6. 监控体系建设：搭建Grafana+Prometheus监控体系，实现MySQL/cm主机性能指标可视化监控。7. 负载均衡方案：基于HAProxy实现HiveServer2/Impala服务负载均衡，提升查询并发处理能力。