The posting
视频理解与时序语义建模 - 面向机器人操作、人与物交互及具身智能场景，研发视频理解和时序语义解析算法。 - 从视频及相关传感器数据中提取动作、目标、场景、状态和交互关系等关键信息。 - 研究长视频理解、时序动作定位、动作分段、动作识别及动作边界检测等问题。 - 针对连续操作、复合动作和多步骤任务，建立动作序列与技能语义表示。 - 探索视觉语言模型、视频语言模型、多模态模型及时序模型在具身智能数据理解中的应用。
动作与技能语义解析 - 设计动作类别、技能层级、动作边界及动作属性等语义体系，支持数据编译和机器人技能学习。 - 识别和解析机器人或人类示范中的关键动作，例如抓取、移动、放置、插入、打开、关闭、整理等。 - 分析动作与目标物体、空间位置、交互状态之间的关系，构建结构化语义描述。 - 处理动作的开始、进行、结束及状态变化，提升对复杂任务和长时序行为的理解能力。 - 与数据、机器人及下游算法团队协作，将算法输出转化为可用于训练和评估的数据格式。
数据自动标注与数据编译 - 研发视频数据自动标注、半自动标注和人机协同标注算法。 - 实现动作分段、动作识别、目标识别、目标跟踪及动作—目标关联等能力。 - 建立自动标注结果的置信度评估、错误检测、难例挖掘和人工复核机制。 - 针对不同机器人构型、不同任务和不同采集条件，提升算法的泛化能力和鲁棒性。 - 参与设计从原始数据接入、预处理、模型推理、结果校验到数据导出的完整数据编译流程。 - 通过主动学习、弱监督学习、半监督学习或合成数据等方法，降低人工标注成本。
模型训练、评估与迭代 - 负责相关算法的方案设计、数据准备、模型训练、实验分析和效果迭代。 - 构建覆盖动作分段、动作识别、目标识别及语义解析的评测指标和测试集。 - 针对长尾动作、遮挡、视角变化、光照变化、多人/多物体交互等问题进行专项优化。 - 通过误差分析和数据分析定位模型瓶颈，推动算法、数据和标注策略协同改进。 - 跟踪视频理解、多模态大模型、开放词汇识别和具身智能领域的前沿技术，并结合业务进行落地。
算法工程化与业务落地 - 将算法模型部署到数据生产和标注工具链中，支持规模化数据处理。 - 优化模型推理效率、资源占用和处理吞吐，满足大规模视频数据编译需求。 - 与软件工程师协作，完善算法服务、数据接口、任务调度及结果管理能力。 - 建立算法运行监控、质量反馈和版本迭代机制，保障数据生产流程稳定运行。 - 参与具身智能数据标准、语义规范和最佳实践的建设。
1. 扎实的机器学习与深度学习基础：熟悉监督学习、半监督学习、表示学习、度量学习、目标检测、目标跟踪、动作识别或时序建模等相关方法。 2. 视频理解或视觉算法经验：具备视频理解、时序动作定位、动作分割、行为识别、目标检测、目标跟踪或视频问答等方向的项目经验。 3. 较强的算法实现能力：熟练使用 Python，熟悉 PyTorch 等深度学习框架，能够独立完成数据处理、模型训练、实验分析和算法迭代。 4. 具备多模态建模意识：对视觉语言模型、视频语言模型、Transformer、多模态预训练或大语言模型应用有理解或实践经验。 5. 重视数据质量与工程落地：能够从数据分布、标注一致性、评测指标和业务目标出发分析问题，不只关注单一模型指标。 6. 良好的问题解决能力：能够将开放性问题拆解为可验证的技术方案，并通过实验、分析和迭代推动结果落地。 7. 良好的沟通协作能力：能够与算法、数据、机器人、产品及软件工程团队协作，推动算法能力转化为稳定的数据生产能力。 如果你还会…… 1. 有具身智能、机器人、自动驾驶、智能制造或人机交互相关项目经验。 2. 熟悉视频动作分割、时序动作检测、Temporal Action Localization、Action Segmentation 等相关任务。 3. 有视觉语言模型、视频语言模型或多模态大模型微调、评测和应用经验。 4. 熟悉 CLIP、VideoMAE、InternVideo、SAM、Grounding DINO 等视觉或多模态模型及其应用方式。 5. 具备开放词汇检测、零样本识别、少样本学习、域适配或长尾学习经验。 6. 有自动标注、主动学习、弱监督学习、半监督学习或人机协同标注系统经验。 7. 熟悉动作识别、目标识别、目标跟踪、姿态估计、手—物交互分析等相关算法。 8. 有多模态数据处理经验，接触过 RGB、深度、点云、触觉、力觉或机器人状态数据。 9. 熟悉 C++、CUDA 或模型推理优化，有 TensorRT、ONNX Runtime 等部署经验。 10. 有数据平台、算法服务、分布式推理或大规模视频处理系统的工程经验。 11. 熟悉 ROS/ROS2，理解机器人任务、技能和动作数据的基本组织方式。 12. 有开源项目、论文、竞赛成果或较强的技术研究能力。
