The posting
通过无需依赖机器人本体完成示范采集的设备,记录人类操作数据,用于训练机器人操作策略。采集方案覆盖夹爪 UMI 与 DexUMI 等形态。根据设备实际配置,处理多路视频、IMU、末端 / 手腕位姿、夹爪状态等多模态时序数据,并支持双手同步采集。
这个岗位负责夹爪 UMI、DexUMI 等无本体采集数据从原始录制回收到进入训练的整条 pipeline:数据解析与录后校验、时间基统一、标定应用、多传感器融合、动作表征转换、格式化与验证、训练格式交付,以及训练侧反馈回流。 岗位职责 搭建与维护多形态无本体数采 pipeline。负责夹爪 UMI 与 DexUMI 等数据的解析、命名规范化、多时钟对齐、标定应用、去畸变、重采样与平滑;按设备配置接入视频、IMU、位姿、夹爪状态及手部运动等数据,并完成必要的多传感器融合。建设共性处理模块和可配置的设备适配层,按训练需求对接动作表征转换、逆运动学或动作重定向,产出 episode 级对齐数据与叠加可视化;定位并修复具体链路故障。 录后校验与质量检查。建立通用与设备专属的质检规则:检查各路帧数与速率、时间同步、序列缺口、位姿连续性及有效率、各流重叠时长。输出验证报告,按批次统计可用样本率与返工率,将问题回溯到采集端、标定或设备。 训练格式转换与交付。将不同采集形态的处理产物转换为训练侧约定的数据集布局与字段规范,明确观测、动作、坐标系、单位及有效性标记;保留设备类型、动作表示、标定版本、处理配置与来源溯源等元信息。管理数据版本与切分,保证可复现;负责对象存储上的上传、下载与完整性校验。 对接训练侧,形成闭环。结合实际 VLA 训练经验,对接训练侧的数据加载、观测与动作表示、时序组织及数据预处理要求;协同算法团队分析训练与评测反馈,排查数据质量、分布及处理链路问题,把改进落实到处理流程、校验阈值与采集 SOP。 标定与配置管理。维护各类采集设备的配置快照及版本,包括相机内外参、相机与末端 / 手腕等参考坐标系的关系;与硬件及算法团队共同确认坐标与动作约定,参与标定复核及重投影 / 一致性评估。 数据资产与存储管理。管理原始数据与处理产物在对象存储和本地阵列上的归档与检索,维护数据台账与血缘,让任何一个训练集都能追溯到原始录制批次与设备。 数据分析、工具与文档。对数据规模、质量、任务与场景分布做统计与可视化,为采集计划与训练实验提供依据;用脚本与自动化工具提升处理吞吐,编写管线文档,让采集与运维同事能自助跑通常规流程。
社招:硕士及以上学历,计算机、机器人、自动化、数学等相关专业。 Python 扎实,熟悉 NumPy / pandas / SciPy,处理过 GB 到 TB 级的多模态时序数据,如多路视频、IMU、位姿、夹爪状态或手部关键点 / 关节数据;了解 zarr / HDF5 / parquet 等存储格式。 掌握数据链路的基础方法,包括多时钟时间同步、坐标系与外参、相机标定与去畸变、插值与重采样、滤波与平滑;理解不同采集形态的状态与动作表示差异,能够按设备配置扩展处理模块,明确各环节的输入输出与质量要求。 具备实际开展或参与 VLA 模型训练 / 微调的经验。熟悉训练数据的组织与加载、观测与动作字段、归一化及时间序列采样等关键环节;能够结合数据可视化、训练日志和评测结果,协同算法团队排查数据分布、处理流程或质量缺陷对训练效果的影响。 较好掌握机器人逆运动学(IK)。理解正逆运动学、坐标变换、关节约束、工作空间与奇异位形等基本概念;能够基于 URDF 与常用运动学库完成 IK 求解和目标机器人适配,分析不可达、求解不收敛、关节越限及解不连续等问题,并检查转换后动作的可执行性与时序连续性。 熟悉 Linux 与 Git,能编写可复现的批处理脚本,将校验与质检结果整理为清晰、可追溯的报告。 对数据敏感、细致,具备系统性排障习惯;能与采集、运维、算法团队顺畅沟通,推动问题定位、修复与验证。
加分项 做过 IMU 与动捕 / 视觉里程计的融合,具备 EKF、样条平滑等方法的实际应用经验。 做过光学动捕系统的刚体标定与数据处理,或相机内参 / 手眼外参标定。 有夹爪 UMI、DexUMI 或其他无本体操作示范采集与数据处理经验。 有触觉相关经验:参与过触觉 / 视触觉传感器的集成、标定、数据采集或信号处理,熟悉触觉数据与视频、位姿及动作数据的时间同步、质量检查或多模态融合。 有数据闭环、自动标注或 Agent 化数据处理工具的经验。 熟悉对象存储(S3 / OSS)、数据版本管理工具(DVC 等)、并行处理框架(Dask / Ray)。 有 ROS / ROS 2 或真机数据经验,熟悉 rosbag / MCAP 等机器人数据格式。 有机器人学习、多传感器融合、三维视觉方向的顶会论文或开源项目



