The posting
1. 负责公司内部后训练基础设施的维护、开发与优化,支撑音视频理解与生成模型的 SFT、RLHF、RLVR、DPO、在线/离线偏好优化等训练流程 2. 建设高吞吐、稳定、可扩展的后训练系统,覆盖数据管线、rollout、reward、policy/reference model、训练调度、评测闭环和实验管理 3. 优化后训练中的训练-推理协同链路,提升 rollout 吞吐、GPU 利用率、有效样本吞吐和端到端实验迭代效率 4. 跟踪 veRL、slime、miles、AReaL 等后训练框架的设计与实现,结合多模态业务场景进行工程化改造和性能优化
1. 具备扎实的计算机系统、并行计算和分布式训练基础;精通 Python,熟悉 C++,熟练使用 PyTorch 2. 熟悉 RLHF/RLVR/SFT/DPO 等后训练流程,理解 rollout、reward model、policy model、reference model、KL control、advantage 估计等核心组件 3. 熟悉 veRL、slime、miles、AReaL 或同类后训练框架的架构设计,能够优化大规模 rollout、异步调度、显存复用、模型切换和训练吞吐 4. 熟悉多维并行、FSDP/ZeRO、rollout/训练资源解耦与调度策略,能够在后训练场景下处理多模型共存、动态 batch、长序列、多模态输入和高并发 rollout 带来的资源调度问题 5. 具备较强的 profiling 和系统排障能力,能够定位后训练中的吞吐下降、GPU 空转、通信拥塞、样本堆积、OOM、loss/reward 异常等问题
加分项 1. 作为核心成员参与过业界知名模型的后训练、RLHF/RLVR 或多模态对齐工作 2. 在 veRL、slime、miles、AReaL 等知名框架上有实际开源贡献 3. 有大规模 RL 训练系统、在线数据闭环、自动评测平台或人类反馈数据平台建设经验 4. 以第一作者在 MLSys、OSDI、SOSP、NSDI、ASPLOS 等系统或体系结构会议发表过论文 5. 对多模态模型的训练目标、数据配比、评测体系和后训练稳定性有深入理解



