The posting
1、负责具身领域预标注模型研发,面向 EGO 视频、人类演示视频、机器人操作视频和多模态采集数据,构建自动化预标注能力,解决细粒度、高成本、强时序依赖的标注难题。 2、负责 ego hand、body pose、hand-object interaction、object state、action result、subtask、CoT 等具身标注任务的算法研发和工程落地。 3、负责手部检测、手部关键点、人体姿态、物体检测/跟踪、接触关系、抓取状态、操作阶段、动作边界、成功/失败状态等预标注模型建设。 4、负责动作 retargeting 相关算法,将人类 EGO/第三视角演示数据转化为机器人可理解或可执行的动作表达,包括手部动作、身体姿态、末端执行器轨迹、关节空间或任务空间动作映射。 5、负责具身任务的高阶语义标注能力建设,包括任务分解、subtask segmentation、操作意图识别、动作结果判断、交互类型识别、失败原因分析和过程 CoT 标注。 6、负责多模态大模型/VLM/VLA 在具身数据标注中的应用,包括图像/视频理解、语言描述生成、动作语义解析、自动 caption、问答式质检和标注结果自校验。 7、负责数据标注 pipeline 设计和优化,包括自动预标注、人工修正、模型回流训练、主动学习、难例挖掘、质量评估和版本管理。 8、负责标注质量评估算法,建立一致性、准确率、召回率、时间边界误差、姿态误差、轨迹误差、语义一致性等指标体系。 9、与数据、机器人、算法、采集和标注团队协作,定义具身数据 schema、标注规范、质检规则和模型训练所需的数据格式。 10、跟踪具身智能、EGO 数据、多模态大模型、视频理解、机器人学习、模仿学习和动作生成方向的最新研究,并将前沿方法落地到数据生产系统中。
1、计算机、人工智能、机器人、自动化、电子信息、数学等相关专业,本科及以上学历。 2、熟悉计算机视觉、视频理解、多模态大模型、人体姿态估计、手部姿态估计、机器人学习中的至少一个方向。 3、熟悉目标检测、跟踪、关键点检测、动作识别、时序分割、视觉语言模型、视频大模型等算法。 4、熟悉具身智能或机器人数据,包括 EGO 视频、人类演示、遥操作数据、机器人轨迹、动作空间、任务描述和策略训练数据。 5、熟悉 Python/PyTorch,具备模型训练、推理部署、数据处理、自动化评估和 pipeline 工程能力。 6、理解标注系统和数据闭环,能设计从预标注、人工修正、质检、回流训练到模型迭代的完整流程。 7、有 VLM、LLM、Video-Language Model、SAM、Grounding DINO、YOLO、DETR、MediaPipe、OpenPose、HaMeR、MANO、SMPL、RAFT、CoTracker 等模型或工具经验优先。 8、有机器人操作、模仿学习、VLA、ACT、Diffusion Policy、LeRobot、Open X-Embodiment、RT-X、DROID、Ego4D、Ego-Exo4D 等经验优先。



