The posting
岗位职责 -研究和优化 Attention、MoE、Expert Routing、模型层数、宽度、连接结构等。 -设计和实现 checkpoint 权重迁移、Model Surgery、Expert Pruning/Merging、Layer Mapping 等方案。 -通过 Continued Pretraining、Knowledge Distillation 等方式,使新架构快速继承原模型能力。 -修改和调试 Transformers、Megatron、DeepSpeed/FSDP 等大模型训练代码。 -评估新架构在模型效果、训练成本、推理速度、显存占用等方面的收益。
技能要求 -熟练掌握 PyTorch,能够独立修改大模型网络结构和 forward 逻辑。 -深入理解 Transformer、Attention、MoE、GQA/MLA、RoPE、RMSNorm 等模型结构。 -熟悉大模型 checkpoint、state_dict、参数初始化和权重转换。 -有大模型预训练或 Continued Pretraining 经验。 -熟悉 FSDP、DeepSpeed、Megatron 等至少一种分布式训练框架。 -能够独立完成“架构设计 → 权重迁移 → 训练 → 评测 → 分析”的完整实验流程。 -研究和优化 Vision Encoder、Vision Attention、Patch Embedding、Patch Merger / Projector 等视觉模型结构。 -研究 Image / Video Token Compression、Vision-Language Alignment 及多模态信息融合机制。 -基于已有多模态模型 checkpoint,对 Vision Encoder、Projector 及 Language Model 进行联合架构改造和权重迁移。 -研究如何在降低视觉 token 数量和多模态计算成本的同时,保持或提升 OCR、图像理解、视频理解等能力。
加分项 -有 7B/30B/100B+ 模型训练经验。 -有 MoE、Sparse Attention、Linear Attention 等架构研究经验。 -做过 Model Surgery、模型裁剪、Expert Merge、Knowledge Distillation。 -修改过 Transformers / Megatron 核心源码。 -熟悉 CUDA、Triton、FlashAttention 或大模型性能优化。 【我们希望你具备】 不仅会调用模型和做 Fine-tuning,而是能够真正深入到: 模型架构、参数权重和训练 Dynamics 层面,研究如何在最大程度复用已有 checkpoint 的基础上,开发更高效的新模型架构。



