The posting
【核心任务】 负责基于视觉、触觉与机器人本体感知数据开展操作算法研究和训练实验，评估触觉信息能否提升机器人在精细操作、接触丰富任务中的成功率、鲁棒性与泛化能力，并降低策略对高精度视觉和大量真机数据的依赖。 【具体职责】 1. 开展触觉表征学习、接触状态估计、滑移检测、力控制、抓取稳定性预测及操作策略训练等相关实验。 2. 比较不同传感器配置、数据规模、数据比例和训练方法下的效果，分析成功率、接触稳定性、操作精度、收敛速度和泛化能力。 3. 配合模型与硬件团队整理可用于训练的视觉数据、触觉数据、力/力矩数据、本体感知数据、遥操作数据和真机操作数据。 4. 设计并执行视觉—触觉融合、纯视觉、纯触觉等对照实验，研究不同感知模态和融合方式对机器人操作表现的影响。 5. 维护训练配置、实验日志、模型 checkpoint、评估结果、数据版本和 ablation 表格，保证实验可复现。 6. 协助建立触觉操作 benchmark 和真机评估体系，覆盖抓取、插拔、旋拧、滑动、开合、工具使用等接触丰富任务。 7. 输出阶段性实验报告，分析触觉信息在感知、控制和策略学习中的价值，为传感器选型及算法路线提供依据。
【必须要求】 1. 熟悉 PyTorch 或其他深度学习框架，能够独立运行、调试和评估模型训练代码。 2. 具备机器人学习、模仿学习、强化学习、机器人控制、多模态学习或计算机视觉中的至少一项基础经验。 3. 对机器人触觉感知或接触操作有基本理解，了解力、力矩、接触、摩擦、滑移、形变等基本概念。 4. 能够设计基本的 ablation 实验，理解 baseline、control group、变量控制和指标对比。 5. 能够分析训练及真机实验结果，例如 loss、success rate、force curve、slip rate、contact state、evaluation curve 和 overfitting。 6. 熟悉 Linux、Git、conda/docker 和服务器训练环境，具备基本的代码调试与工程协作能力。 【加分项】 1. 有视觉—触觉融合、触觉表征学习、接触状态估计、滑移检测、抓取稳定性预测或力控制经验。 2. 熟悉 GelSight、DIGIT、TacTip、ReSkin、BioTac、六维力/力矩传感器等触觉或力觉设备。 3. 有 imitation learning、diffusion policy、VLA/VLM、ACT、Diffusion Policy、LeRobot、OpenVLA、Octo 等相关经验。 4. 有阻抗控制、导纳控制、混合位置—力控制、模型预测控制或强化学习控制经验。 5. 有抓取、插孔装配、线缆操作、旋拧、工具使用等接触丰富任务的真机实验经验。 6. 有多模态、多传感器或多数据源混合训练经验，例如 vision + tactile、tactile + force/torque、teleop + autonomous data。 7. 有机器人数据采集系统、传感器标定、时间同步、benchmark 设计或实验报告写作经验。
