IT人力外包人才简历库

精通Apache Spark核心组件（Spark SQL/Spark Streaming/Spark Core）及RDD/DataSet/DAG执行原理，具备离线ETL与实时流式计算开发能力；精通Apache Flink流处理引擎，擅长处理数据倾斜与延迟问题；精通HiveQL数据仓库开发，掌握窗口函数、分桶优化及数据倾斜解决方案；精通Kafka分布式消息系统，熟悉ISR机制与数据一致性保障；熟悉HBase分布式存储架构，具备热点问题优化经验；掌握Linux系统运维及Shell脚本开发；精通Hadoop生态体系（HDFS/YARN/MapReduce）底层原理；熟悉机器学习算法（线性回归/决策树/聚类分析）及特征工程；具备Python/Java/Scala多语言开发能力；熟悉数据采集工具（Flume/Canal/Sqoop）及数据可视化（Superset/Elasticsearch）

长期从事大数据平台开发与分析工作，主导构建Lambda架构实现用户画像系统，采用多路召回策略提升推荐准确率。设计实时数据处理流水线，通过Flink窗口函数解决延迟问题，使用Kafka保障数据一致性。优化Hive查询性能，通过分桶策略解决数据倾斜问题。开发离线分析平台支持电商商户运营决策，搭建数据可视化系统提升业务洞察效率。具备完整的数据采集（Flume/Canal）、处理（Spark/Hive）及存储（HBase/ClickHouse）解决方案设计能力。

1. 用户画像与推荐系统：基于Lambda架构构建实时与离线计算体系，采用Spark Streaming处理用户行为数据，Flink实现实时特征计算。通过HiveQL构建用户分群模型（RFM/PSM），结合协同过滤算法提升推荐准确率，降低30%营销成本。

2. 直播销售实时监控：设计Kafka消息队列实现数据实时采集，使用Flink窗口函数处理数据延迟，通过Hive构建统一数据口径。开发可视化看板实时展示商品销售趋势及观众行为分析，提升运营决策效率。

3. 商户离线分析平台：搭建Hadoop集群处理电商日志数据，采用Spark进行离线ETL处理，通过Hive构建多维分析模型。开发可视化报表系统支持商户运营分析，优化查询性能提升数据处理效率40%。