The posting
1.主导千卡/万卡级别大模型分布式训练系统的架构设计与实现 2.设计并优化 3D 并行策略(张量并行 + 流水线并行 + 数据并行) 3.解决大规模训练中的稳定性、效率、通信优化等问题 4.制定技术路线图,指导团队技术方向 5.与算法团队紧密协作,针对模型特性定制优化方案
- 5+ 年大规模分布式系统经验,有万卡集群训练经验优先
- 深入理解 Megatron-LM、DeepSpeed、ColossalAI 等训练框架源码
- 精通 NCCL/CCL 通信库,有通信优化经验
- 熟悉 CUDA 编程,了解 GPU 硬件架构
- 具备系统性能调优经验,MFU 优化实战案例
- 良好的团队协作与跨团队沟通能力
加分项: •顶会论文(SC、PPOPP、HPC 等) •开源项目核心贡献者 •针对特定模型(GPT、LLaMA、Moe)的训练优化经验



