The posting
1. 阅读并整理视觉—语言—动作模型(VLA)、世界动作模型(WAM)、第一人称视角学习、视频预测和灵巧手操作等方向的前沿论文与开源项目,跟踪具身智能领域最新研究进展,并复现代表性方法。 2. 参与具身智能训练数据构建工作,包括第一人称视角视频、机器人操作轨迹、语言指令、手部动作数据等多模态数据的整理、清洗、标注与预处理,构建支持视觉—语言—动作模型训练的时空数据集。 3. 参与视觉—语言—动作模型(VLA)的训练与优化,研究如何结合第一人称视觉观测和自然语言任务指令,使机器人能够生成符合任务目标的灵巧手操作动作,实现抓取、旋转、工具使用等复杂操作。 4. 参与世界动作模型(WAM)的训练与实验分析,研究机器人在执行动作前后环境状态变化的预测方法,包括未来视觉状态、手部状态以及任务进展预测,并探索利用预测结果辅助机器人长期动作规划与决策。 5. 设计不同模型规模、训练数据规模、第一人称视角数据比例以及任务复杂度条件下的对比实验,分析模型在动作生成、未来状态预测、价值判断和跨场景泛化能力方面的发展规律。 6. 整理模型训练代码、实验数据、模型参数和实验记录,开展模型消融实验与性能评估,参与阶段性研究汇报,并根据研究进展协助完成模型优化和科研成果整理。
1. 招募对象:本科生、硕士研究生。 2. 专业背景:计算机、人工智能、自动化、机器人、数学等相关专业优先。 3. 具备 Python 编程能力,掌握线性代数和概率统计基础知识,了解机器学习、深度学习基本方法,能够使用 PyTorch 完成模型训练、调试和实验分析。 4. 熟悉深度学习模型训练流程,包括数据处理、模型构建、训练调参和性能评估等环节;具有视觉—语言模型(VLM)、视觉—语言—动作模型(VLA)、世界模型、视频预测、模仿学习、强化学习或分布式训练经验者优先。 5. 能够阅读英文论文、技术文档和开源代码,具备基础实验复现能力,能够规范记录实验过程并分析实验结果。 6. 对具身智能、机器人操作、第一人称视角学习、机器人动作生成和世界模型等方向具有持续兴趣,能够主动探索相关技术问题。 7. 具备较强的问题分析能力、实验设计能力和团队协作能力,能够积极参与课题讨论并完成阶段性科研任务。 8. 实习安排:线上线下结合;实习周期:3–6个月;每周投入时间:20–30小时。



