The posting
1.大规模集群管理: 负责千卡/万卡级 GPU 集群(如 NVIDIA A100/H100)的日常运维、稳定性保障及容量规划,确保高可用性和高资源利用率。 2.容器化平台建设: 基于 Kubernetes (K8s) 构建和优化 AI 训练平台,负责调度系统(Scheduler)的优化,解决资源隔离、优先级调度及断点续训(Checkpointing)等问题。 3.故障排查与性能优化: 深入排查分布式训练过程中的疑难杂症(如 NCCL Timeout、GPU 掉卡、网络拥塞等),针对训练任务进行软硬件层面的性能调优。 4.底层环境维护: 维护底层驱动(CUDA, cuDNN)、NCCL 通信库及异构硬件的监控体系(Prometheus/Grafana),实现对 GPU、RDMA 网络和存储系统的全链路监控。 5.框架支持与对接: 支持主流深度学习框架(PyTorch, TensorFlow, Megatron-LM 等)在集群上的高效运行,优化 Dataloader 和分布式训练启动流程。
1. 基础架构与容器技术: 精通 Linux 操作系统原理,具有扎实的系统运维经验。 精通 Kubernetes (K8s) 架构及生态,熟悉 Docker/Containerd 容器技术。 有 K8s Operator 开发经验或熟悉 Kubeflow、Volcano 等 AI 调度组件者优先。 2. GPU 与高性能计算经验: 深入理解 GPU 硬件架构,熟悉 NVIDIA GPU (A100/H100) 及其相关技术栈(NVLink, NVSwitch)。 熟悉高性能网络技术,理解 InfiniBand (IB) 或 RoCE 网络架构,熟悉 RDMA 协议及 NCCL 通信原理。 3. 深度学习框架知识: 熟悉 PyTorch 等主流深度学习框架的底层运行机制(如 DDP, FSDP, Pipeline Parallelism)。 具备大规模分布式训练(Multi-Node Multi-GPU)的故障排查经验,能读懂 Python 训练代码并进行基础调试。 4. 编程与开发能力: 熟练掌握 Golang 或 Python 其中一种语言,具备编写自动化运维工具或平台组件的能力。
加分项 : 大模型经验: 有 LLM(大语言模型)训练集群运维经验,熟悉 Megatron, DeepSpeed 等大模型训练工具。 高性能存储: 熟悉并行文件系统(如 Lustre, GPFS)或高性能对象存储(如 Ceph, MinIO)在 AI 场景下的优化。 监控体系: 搭建过基于 DCGM 的精细化 GPU 监控告警体系。



