The posting
岗位职责 1. 负责大规模GPU集群从服务器到 Kubernetes 资源池的全生命周期运维。 2. 负责 NVIDIA GPU 驱动、GPU Operator、Device Plugin、DCGM 和容器GPU 运行环境。 3. 负责 IB/ROCE、RDMA、PFC/ECN、NCCL 训练网络的需求、验收与故障定位,并与IT 网络团队协作。 4. 负责 Kubernetes 控制面、节点、CNI、CSI、容器运行时、DNS、证书和升级。 5. 负责训练存储、共享文件系统、对象存储接入、缓存和数据挂载健康。 6. 保障大规模分布式训练,处理调度失败、NCCL timeout、掉卡、性能退化和节点故障。 7. 建设自动化纳管、巡检、变更、排空、恢复和退役能力。 8. 参与值班、重大任务保障、故障复盘、容量规划和供应商协同。
任职要求 1. 5年以上 Linux/Kubernetes/HPC或智算基础设施经验,3年以上生产 Kubernetes 运维经验。 2. 深入理解 Kubernetes 控制面、调度、网络、存储和节点故障定位。 3. 熟悉 NVIDIA GPU 软件栈,能够分析 Xid、ECC、驱动、容器运行时和GPU 性能问题。 4. 熟悉 InfiniBand或 ROCEV2,理解 RDMA、PFC、ECN、MTU、GID、NCCL 和拓扑。 5. 熟悉多机多卡训练、PyTorch Distributed/MPI/NCCL 中至少一类。 6. 熟悉 NFS、Ceph/并行文件系统、对象存储或高性能缓存中的两类以上。 7. 具备 Python、Go、Shell 或 Ansible 自动化能力,能够把人工SOP产品化。 8. 具备生产事故处置、变更管理、文档和跨团队沟通能力。



