The posting
我们沿用 UMI(Universal Manipulation Interface)范式——用手持夹爪采集人类操作示范——但采集端是自研设备:每只手一组多目相机、IMU 与电动夹爪,配合光学动捕给出位姿,双手同步录制,用于训练操作策略模型。
这个岗位负责这套数据从采集回收到进入训练的整条链路:录后校验、时间基统一、标定应用、多传感器融合、逆运动学解算、格式化与验证、转换为训练布局并交付,以及训练侧反馈的回流。你不需要训练模型,但要清楚训练侧需要什么样的数据,以及链路上任何一环出了问题该去哪里找。
岗位职责 搭建与维护数据处理链路。维护从原始录制到对齐数据的处理管线:多路视频与逐帧时间戳、IMU、夹爪编码、动捕位姿的命名规范化与时间基统一(多时钟对齐)、相机内外参应用与去畸变、IMU 与动捕融合、裁剪 / 对齐 / 平滑、逆运动学解算关节序列,产出 episode 级对齐数据与叠加可视化;管线出问题时定位到具体环节并修复。
录后校验与质量检查。维护采集侧校验规则(各路帧数与速率、硬件同步、序列缺口、夹爪开度域、动捕有效率与残差、各流重叠时长)与格式化后的验证报告;按批次统计可用样本率、返工率,把问题回溯到采集端、标定或设备。
训练格式转换与交付。把格式化产物转换为训练侧约定的数据集布局与字段规范(含元信息、增广信息、来源溯源),管理版本与切分,保证可复现;负责对象存储上的上传、下载与完整性校验。
对接训练侧,形成闭环。了解模仿学习 / VLA 类模型对输入数据的要求,收集训练侧对数据质量、分布、数量的反馈,把改进落实到处理链路、校验阈值与采集 SOP。
标定与配置管理。维护每台设备的配置快照(相机标定、相机到夹爪末端的外参、动捕刚体定义、任务配置)及其版本,参与标定复核与重投影 / 一致性指标评估。
数据资产与存储管理。管理原始数据与处理产物在对象存储和本地阵列上的归档与检索,维护数据台账与血缘,让任何一个训练集都能追溯到原始录制批次与设备。
数据分析、工具与文档。对数据规模、质量、任务与场景分布做统计与可视化,为采集计划与训练实验提供依据;用脚本与自动化工具提升处理吞吐,编写管线文档,让采集与运维同事能自助跑通常规流程。
成长:完整拥有一条从采集到训练的真实数据链路,与算法、采集、硬件团队直接协作;可向数据平台架构、数据闭环算法、具身算法等方向发展。
社招:硕士及以上学历,计算机、机器人、自动化、数学等相关专业,约 3 年数据工程、机器人数据处理或相关经验。
校招:应届硕士,实验室经验须高度对口——做过机器人操作数据采集与处理、模仿学习、多传感器融合或动捕 / SLAM 数据处理中的至少一项;接受长期实习,表现合格可转正。
Python 扎实,熟悉 NumPy / pandas / SciPy,处理过 GB 到 TB 级的多模态时序数据(多路视频、IMU、位姿、夹爪状态);了解 zarr / HDF5 / parquet 等存储格式。
清楚数据链路的基本功:多时钟时间同步、坐标系与外参、相机标定与去畸变、插值与重采样、滤波与平滑,知道每一步的输入输出是什么;训练侧反馈效果不好时,能追溯到具体的数据分布、处理环节或质量缺陷。
对模仿学习 / VLA 训练数据的输入输出形式有基本了解即可,不要求训练模型。
熟悉 Linux 与 Git,能写可复现的批处理脚本,会把校验与质检结果写成别人看得懂的报告。
对数据敏感、细致,遇到「数据为什么坏了」有刨根问底的习惯;能与采集、运维、算法三方顺畅沟通。
加分项 做过 IMU 与动捕 / 视觉里程计的融合、EKF 或样条平滑,或用 URDF 做过逆运动学求解。 做过光学动捕系统的刚体标定与数据处理,或相机内参 / 手眼外参标定。 熟悉 UMI 官方数据管线(SLAM、replay buffer)或 Diffusion Policy / LeRobot 等训练框架的数据格式。 有数据闭环、自动标注或 Agent 化数据处理工具的经验。 熟悉对象存储(S3 / OSS)、数据版本管理工具(DVC 等)、并行处理框架(Dask / Ray)。 有 ROS / ROS 2 或真机数据经验,熟悉 rosbag / MCAP 等机器人数据格式。 有机器人学习、多传感器融合、三维视觉方向的顶会论文或开源项目。



