The posting
团队介绍:AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务,覆盖数据生产全流程,包含模型评估标准的制定、数据规模化生产、数据飞轮搭建,不断提升数据质量,支持模型快速迭代。 团队由产品经理、数据工程、数据运营等跨职能人才组成,并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作,从真实场景中收集反馈并分析模型表现数据,解决 AI 前沿突破过程中的复杂数据问题,推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者,也是模型和 AI 产品的一手用户。
1、Agent评测与项目交付:负责手机助手、个人AI Agent及智能硬件相关模型能力评测,独立承接评测需求,完成方案设计、评测执行、数据分析、问题归因及结论交付,保障评测结果的准确性、可比性与交付效率; 2、自动评测体系建设:围绕复杂任务、多轮交互、工具调用、指令遵循等核心能力,设计自动评测集、Rubric和分层评估标准,建立场景化、端到端的Agent评测体系,参与真机自动化、Sandbox环境构造及评测链路建设,提升自动评测效率和稳定性; 3、前沿场景评测探索:面向个人AI助理的记忆生产与消费、真实世界Context、主动服务、跨端任务和硬件Connector等场景,探索评测方法,验证模型能力及硬件融合带来的用户体验增益; 4、模型效果分析与闭环:负责重点模型版本对比、线上回流分析、负面案例挖掘与归因,识别模型能力瓶颈,协同产品研发团队推动问题修复和效果验证。
1、本科及以上学历,计算机、人工智能、软件工程等相关专业优先,具有1年及以上AI模型评估、Agent评测相关经验; 2、熟悉大语言模型及Agent基本原理,理解Function Calling、Tool Use、多轮交互、任务规划及工具执行等核心机制; 3、具备完整的模型评测项目经验,熟悉LLM-as-Judge/Agent-as-Judge,能够独立进行评测方案设计、评测集建设、评分标准制定、rubric合成、数据分析及结果交付; 4、能够使用Python、SQL等工具进行数据处理与分析,具备自动化评测脚本或评测工具开发能力; 5、具备较强的问题分析、跨团队沟通和项目推进能力,能够主动识别风险、推动问题解决,并对交付结果负责。



