The posting
1、开发优化大模型训练框架,支持单任务万卡以上规模高效稳定训练; 2、训练性能加速,包括框架加速、算子加速等; 3、平台智能化体系构建,提升平台的智能化程度;
1、熟悉docker原理、kubernetes核心组件(调度器/网络/存储)、容器运行时及CRD开发,具备大规模集群调优经验; 2、有kubeflow,argo,volcano等开源软件使用/开发经验; 3、熟练使用PyTorch框架,可对DDP训练的代码进行性能分析和优化; 4、熟练使用主流大模型训练框架DeepSpeed、Megatron,掌握3D并行、ZeRO机制、Flash-Attn等的原理、使用场景、优劣势以及可优化方向; 5、有实际大模型的训练调参和效果评测项目经验的优先; 6、良好的沟通能力、解决问题能力。



