The posting
1. 视觉多模态基座模型研发:参与构建具备原生视频感知与推理能力的下一代多模态基座模型。设计融合图像、视频与文本的统一建模方案,攻克长视频的时序因果推理、情节记忆与关键信息召回,强化对微小动作、物体轨迹与交互关系的时空细粒度感知,实现复杂动态场景下的精准理解与推理。 2. 核心能力构建:围绕视觉感知、空间与时序理解、OCR、视觉推理等核心能力,设计高质量训练数据的构建与合成方案及配套训练策略,持续突破模型的能力上限。 3. 训练策略与数据配比:参与训练策略设计,包括预训练 / 后训练阶段划分、课程学习、loss 与超参策略;通过系统的消融实验研究不同来源、类型与难度数据的最优配比,从全局定位并补齐模型短板。 4. 后训练与对齐:探索强化学习等后训练方法,设计奖励与偏好数据,降低幻觉,提升模型推理与交互的准确性与鲁棒性。 5. 实时 / 流式视频理解:探索流式、因果、可在线感知与主动交互的视频理解能力——这是我们区别于多数「离线」视频理解工作的特色方向。
1. 扎实的工程功底:计算机、人工智能或数学等相关专业应届毕业生(本科 / 硕士 / 博士均可);数据结构与算法基础扎实,精通 Python,熟练掌握 PyTorch,具备良好的工程实践与代码风格;了解或使用过 DeepSpeed / Megatron 等分布式训练框架者优先。 2. 视觉 / 多模态认知:理解计算机视觉与多模态大模型的基本原理,熟悉主流 VLM 架构(ViT 视觉编码 + LLM),对多模态预训练与后训练范式(CLIP / LLaVA / Qwen-VL 一脉,及 SFT / RLHF / RLVR)有基本认知,并在视觉或多模态方向有过实际的动手经历(科研、实习或高质量复现均可)。 3. 实验方法论:对实验设计有基本的方法论意识,能通过对照与消融实验验证自己的假设,不满足于单点指标;对「数据 / 策略如何转化为模型能力」这条因果链有好奇心。 4. 学习能力与闭环意识:有完整推进过一个课题或项目的经历(科研 / 实习 / 竞赛 / 开源均可),能独立查文献、定位问题、动手验证、形成结论;具备快速学习能力与把事情做完的执行力。
加分项 1. 竞赛获奖:ACM/ICPC、NOI/IOI 获奖者,或在 Kaggle、CVPR / ICCV / ECCV / ACL Challenge 等顶级竞赛中名列前茅。 2. 学术成果:以主要作者身份在 CVPR / ICCV / ECCV / NeurIPS / ICML / ICLR / ACL 等顶级会议发表过视觉 / 多模态相关工作;相比数量,我们更看重工作的品味与影响力。 3. 实战经验:有大模型 / 多模态方向的实习经历,参与过训练数据构建、模型训练或 RLHF / RLVR 后训练;或曾独立端到端训练过一个真实模型(高质量开源复现亦可)。 4. 前沿嗅觉:对流式 / 在线感知、视觉推理、Agentic、World Model 等前沿问题有自己的观察与判断;有高质量的开源项目或技术分享。
你将获得 1. 真实的基座模型训练经历:充足的算力与数据资源,深度参与从数据构建、预训练到后训练对齐的完整流程,而非只负责边缘模块。 2. 一线研究员带教:与有基座模型实战经验的 mentor 并肩工作,快速建立「数据—训练—评测」的完整方法论。 3. 清晰的成长路径:我们同时在为多个方向寻找未来的负责人;表现出色的校招同学将有机会独立扛起一个方向,从 0 设计方案并推动到结论。



