The posting
1. 负责公司内部大模型训练框架的维护、开发与性能优化,支撑千亿至万亿参数级音视频理解与生成模型的预训练 2. 围绕大规模预训练中的并行策略、显存效率、通信效率、checkpoint、容错恢复、数据吞吐和训练稳定性,建设可复用的基础设施能力 3. 基于“硬件-Infra-算法” Co-design,与算法、系统、平台团队协作,解决多模态大模型预训练中的效率、稳定性和可扩展性问题 4. 跟踪 Megatron、TorchTitan 等训练框架的演进,结合公司业务场景进行工程化落地和深度优化
1. 具备扎实的计算机系统、体系结构和并行计算基础;精通 Python,熟悉 C++,熟练使用 PyTorch 2. 熟悉大规模分布式训练系统,理解 4D/5D 等并行与显存优化策略 3. 熟悉 NCCL、RDMA、IB/RoCE 等分布式通信机制,能够定位跨节点训练中的通信瓶颈、straggler、拓扑不匹配和拥塞问题 4. 具备较强的 profiling 能力,熟练使用 Nsight Systems/Compute、PyTorch Profiler 等工具分析训练 timeline、kernel、通信和数据链路 5. 有解决大规模预训练中 loss spike、显存碎片、checkpoint 开销、dataloader 瓶颈、训练恢复和长周期稳定性问题的实践经验
加分项 1. 作为核心成员参与过业界知名闭源或开源大模型的预训练迭代 2. 在 Megatron、TorchTitan 等训练框架有实际开源贡献 3. 以第一作者在 MLSys、OSDI、SOSP、NSDI、ASPLOS 等系统或体系结构会议发表过论文 4. 曾获 ACM-ICPC 区域赛银牌及以上荣誉 5. 长期跟踪 Scaling Law、多模态模型结构和训练方法,对“硬件-Infra-算法”协同优化有系统性实践



