The posting
我们正在寻找一位对大规模多模态数据采集与处理有深刻理解的研发工程师,全面负责具身智能数据采集平台的建设,以及采集数据流式与批式处理链路的研发。该角色需要理解机器人多模态数据(高频关节状态、动作序列、RGB-D、点云、遥操作输入等)的产生与组织方式,同时具备扎实的平台工程与数据工程能力,能够独立设计并开发从设备接入、实时数据汇聚、流式质检,到离线批处理、数据集产出的全链路系统,支撑采集团队与模型训练团队之间高效、可靠的数据流转。
岗位职责 【平台建设】 - 负责具身智能数据采集平台的架构设计与核心研发,包括遥操作设备、机器人本体、多相机的统一接入与抽象,采集任务创建与调度、参数下发、断点续采与失败重试。 - 设计高吞吐实时数据接入链路,对高频关节状态、动作指令、图像与深度流进行实时汇聚、时间戳统一与缓存落盘,保证处理过程不丢帧、可追溯。 - 开发平台管理后台与 API,支撑采集任务分配、数据质检,数据运营,进度跟踪、设备状态监控与权限管理等业务。 【流式处理】 - 建设实时流处理管线:基于 Kafka/Flink 等技术对多模态数据流进行实时解析、窗口聚合与规则计算,覆盖丢帧检测、时间戳跳变、关节限位与速度/加速度越界、图像黑帧/坏帧、设备离线等异常的实时检测与预警。 - 设计实时指标体系与告警机制,支持采集现场分钟级发现问题、快速止损。 【批处理】 - 建设离线批处理管线:对大规模 episode 数据进行批量质检与统计分析,覆盖时序完整性、时间戳一致性、字段规范性、运动学合理性(速度/加速度连续性、动作可达性)、多相机时空同步与深度-彩色对齐等质量维度。 - 负责数据集生产管线:批量格式转换、清洗、抽样校验、训练前处理,产出可直接用于模型训练的数据集。 【数据资产与规范】 - 制定并落地统一的数据格式规范(episode 结构、action/observation 字段、相机标定参数、机器人运动学模型、时间同步机制),确保实时监控与离线训练消费同一套数据资产。 - 负责采集数据全生命周期管理:入库、标注衔接、版本控制、分层存储与归档清理策略。 - 与模型训练团队紧密协作,持续迭代数据规范与质量标准。 【可视化与效率】 - 开发数据可视化看板,支持团队实时监控采集进度、吞吐量、任务分配、数据质量等关键指标。 - 开发直观易用的质检与回放工具,支持轨迹回放、多视角图像对比、关键帧标注,降低人工质检门槛。 - 利用 AI 辅助编程工具快速迭代平台功能与自动化脚本,提升数据全流程效率。 - 建立数据报告机制,定期输出采集吞吐与质量分析报告。 - 跟踪具身智能数据集标准(LeRobot、OpenX、DROID 等)与流批一体架构最佳实践,为团队提供技术参考。
- 本科及以上学历,计算机科学、软件工程、数据科学、机器人学、自动化等相关专业,硕士优先。
- 精通 Python,熟悉 Go/Java/C++/Rust 中至少一门系统开发语言,具备多线程并发、网络编程与高性能 I/O 的实际经验。
- 深入理解流处理技术栈:熟悉 Kafka/Pulsar 等消息中间件与 Flink/Spark Streaming 等流计算框架,掌握时间窗口、水位线、状态管理、Exactly-Once 语义等核心机制,有实时管线开发经验。
- 熟悉批处理技术栈:熟悉 Spark/Ray/Dask 等分布式计算框架与 Airflow/Dagster 等工作流调度系统,有大规模离线数据清洗、统计、转换管线的开发经验。
- 熟悉大数据存储与格式:掌握对象存储(S3/OSS/MinIO)、数据湖(Iceberg/Hudi/Delta)及 Parquet/Arrow/TFRecord 等格式的使用与调优。
- 熟悉常用存储系统并具备选型能力:MySQL/PostgreSQL、Redis、时序数据库(InfluxDB/TDengine 等)中至少两类。
- 对具身智能/机器人多模态数据有基础认知:了解 episode 数据结构、多传感器时间戳同步(PTP/NTP/硬件触发)、相机标定参数、关节空间与笛卡尔空间等基本概念,能理解数据语义并转化为合理的质检规则。
- 对数据质量有清晰的业务感知:能结合采集场景设计完整性、一致性、时序合理性等自动化检测规则,而非仅堆砌统计指标。
- 具备平台工程能力:熟悉 REST/gRPC API 设计、任务调度、容错重试、水平扩展等分布式系统基础,了解 Docker/K8s 容器化部署。
- 熟练使用 AI 辅助编程工具(Claude Code、Cursor、Copilot 等),能高效借助 AI 快速构建和迭代平台系统。
- 具备较强的自驱力和主动性,能够在快节奏的项目环境中独立推进工作。
- 良好的沟通能力,能与采集、算法、模型团队高效协作。
加分项 - 有具身智能/机器人数据采集平台建设经验,参与过从设备接入到数据集产出的完整链路。 - 有大规模流批一体数据管线落地经验,熟悉 Flink SQL、Kafka Connect、CDC 等技术。 - 熟悉 LeRobot、OpenX/RT-X、DROID 等具身智能数据集规范并有实践经验。 - 有视频流、点云、高频时序等实时高吞吐多模态数据接入与处理经验。 - 有数据标注平台、数据质量体系或数据治理体系建设经验。 - 有机器人学或 3D 视觉背景,能快速理解运动学与视觉数据语义并设计质检规则。 - 有边缘计算/云边协同架构经验,熟悉 K8s 与监控体系(Prometheus/Grafana)。 - 有 Flink/Kafka/Spark/Ray 等开源组件的贡献或深度调优经验。 - 有过用 Vibe Coding 方式独立完成完整平台或系统的实际案例。



