The posting
面向打造竞争力领先的全模态交互基础模型,参与全模态基模的架构设计与预训练/后训练,研究跨模态表示、融合和训练方法;与数据、Infra 团队协作,提升模型能力、训练稳定性及迭代效率。 1、研究全模态基模架构与表示方法,包括视觉与音频编码、离散或连续模态表示、共享骨干与模态专用组件,以及生成端建模与解码; 2、设计预训练与后训练方案,研究多模态训练目标、分阶段训练、参数初始化及优化策略;开展模型规模、数据规模与计算预算的对照实验,提升收敛稳定性和训练效率; 3、与数据团队共同设计数据配比、采样策略与课程学习方案,通过消融实验量化数据、架构和训练策略对各模态能力及跨模态迁移的影响,指导数据迭代; 4、建设模型评测与诊断方法,覆盖图文理解、语音理解与生成、视频时序理解及跨模态推理,评估生成质量与跨模态一致性;分析模态能力失衡、幻觉和遗忘等问题; 5、跟踪并复现前沿全模态研究,沉淀可复现的实验与训练方案;与 Infra 团队协作解决训练异常和性能瓶颈,通过必要的后训练实验验证基模能力向下游任务的迁移。
1、计算机、人工智能、电子信息、数学等相关专业本科及以上学历,具备扎实的深度学习基础和独立设计、分析实验的能力; 2、熟悉大模型训练原理,熟练掌握 Python、PyTorch,能够实现和修改模型结构、损失函数及训练流程; 3、具备大模型预训练、持续预训练或多模态预训练项目经验,能够结合损失曲线、梯度和数值异常分析收敛问题,开展有针对性的诊断实验; 4、熟悉视觉、语音、视频至少一个方向的表示学习与建模,了解跨模态对齐或融合,具备论文阅读、复现和系统实验能力,能够与数据、工程团队协作; 5、有全模态基模训练相关经验者优先;有高质量论文、开源项目或可验证的训练成果者优先。



