The posting
1.主导 PB 级训练数据处理平台的架构设计与实现 2.设计高效的数据清洗、过滤、去重 pipeline 3.优化数据处理效率,降低端到端处理延迟 4.建立数据质量保障体系,确保训练数据质量 5.制定数据处理技术规范,指导团队执行
•5+ 年大数据处理经验 •精通 Spark、Flink、Kafka 等大数据技术栈 •熟悉分布式存储(HDFS、Iceberg、S3) •有 100TB+ 数据处理经验 •理解机器学习训练数据需求 •具备流式处理与批处理混合架构设计能力
加分项: •大模型预训练数据处理经验 •数据质量检测框架开发经验 •Iceberg/Hudi 数据湖经验



