The posting
大规模分布式训练系统架构与优化:负责设计、搭建和维护千卡级别的高性能分布式训练集群。深入优化分布式训练框架(如DeepSpeed、Megatron-LM、PyTorch DDP/FSDP),解决大规模训练中的计算、通信、存储瓶颈问题,提升训练效率与稳定性。 模型训练全流程管理:主导从数据预处理、模型加载、训练启动、监控告警到Checkpoint保存与恢复的全流程。针对训练过程中出现的Loss异常、梯度爆炸/消失、模型不收敛等问题进行快速定位与修复。 硬件与算力适配:针对GPU计算芯片进行底层算子优化、通信库调优(如NCCL),最大化硬件利用率。 训练框架与工具链开发:开发或改进内部训练框架、任务调度系统、资源管理系统和自动化运维工具,提升团队研发效率。参与开源社区(如PyTorch、TensorFlow)的贡献,保持技术领先性。 前沿技术探索与落地:跟踪并研究MoE(混合专家模型)、序列并行、张量并行、流水线并行、重计算、ZeRO优化等前沿技术,并将其工程化落地到实际训练任务中,持续降低训练成本、缩短训练周期。
硬性门槛: 计算机科学、人工智能、数学、物理等相关专业硕士及以上学历,博士优先。 3年以上大规模分布式系统或高性能计算(HPC)相关工作经验,其中至少2年专注于大模型训练工程领域。 主导过千卡以上规模、百亿参数级别的基础大模型(如LLM、多模态模型)的完整训练过程,并有成功的上线经验。 核心技术栈: 编程语言:精通Python和C++,具备出色的工程编码能力和系统级调试能力。 深度学习框架:深入理解PyTorch源码,熟悉TensorFlow、JAX等至少一种框架。 分布式技术:精通MPI、NCCL、Gloo等通信库,熟悉分布式一致性、容错、负载均衡等原理。 并行策略:对数据并行、模型并行(张量/流水线/序列并行)、混合并行有深刻理解和丰富的实战调优经验。 系统与工具:熟悉Linux内核、网络协议(RDMA/IB)、高性能存储(如Lustre、GPFS)。熟练使用Docker、Kubernetes、Slurm等容器化和调度工具。 问题解决与创新能力: 具备极强的故障排查能力,能快速定位并解决训练中断、性能抖动、显存溢出等复杂问题。 能够从系统层面思考问题,提出创新性的优化方案,例如通过改进数据加载器、优化通信拓扑来提升整体吞吐量。 软性素质: 强烈的自驱力和结果导向意识,能在高压下推动项目进展。 优秀的跨团队沟通与协作能力,能与算法研究员、硬件工程师、运维团队高效配合。 具备技术领导力,能够指导初中级工程师成长,并沉淀技术文档与最佳实践。 加分项: 在顶级会议(如OSDI、SOSP、SC、MLSys、NeurIPS、ICML)发表过关于大规模分布式训练或系统优化的论文。 是知名开源项目(如DeepSpeed、Megatron-LM、vLLM、Ray)的核心贡献者或维护者。 有GPU/TPU/NPU等AI芯片的底层驱动或算子开发经验。 熟悉模型压缩、量化、蒸馏等推理优化技术,有训练-推理一体化经验。 有参与建设万卡级别算力中心或超算集群的经验。



