The posting
1、参与大模型评测体系落地与数据闭环建设: 协助搭建和完善大模型标准化评测体系,负责评测集管理、样本采样、机评/人评数据校验、评测结果统计复盘;跟进评测全流程,保障评测数据真实、可信、可追溯,沉淀标准化评测报告,支撑模型能力量化评估; 2、场景问题提炼与标准化评测能力沉淀: 基于日常评测数据与业务反馈,归纳模型高频问题、场景共性缺陷,协助产品经理梳理可复用的评测规则、评测维度与验收标准,区分场景定制化需求与通用标准化能力,助力评测体系规范化、可配置化升级; 3、驱动评测结果落地模型迭代优化: 不局限于分数统计,深度拆解模型评测数据,精准识别模型能力短板、推理错误、场景适配不足等核心问题;完成问题归因分析,输出模型优化、评测集迭代、增量数据生产的具体建议,推动评测结论真正落地为模型迭代动作,打通评测-分析-优化闭环; 4、日常迭代支撑与跨团队协作: 负责日常模型版本回归测试、新版本效果对比、专项评测任务落地,同步评测结论、风险问题与优化建议,高效配合产研团队完成模型快速迭代与效果验收。
1、具备优秀的问题拆解与数据洞察能力,能够从繁杂的业务案例、评测数据中提炼核心问题,输出清晰的分析结论与优化建议; 2、拥有系统化的评测思维与逻辑能力,理解标准化规则搭建的核心逻辑,能够配合团队平衡短期评测交付与长期体系沉淀; 3、具备极强的跨团队沟通与落地推动能力,可高效对接算法、研发、产品、运营,精准同步问题、推进问题闭环; 4、对大模型技术原理、模型迭代逻辑、AI场景落地有浓厚兴趣,学习能力强,能快速适配AI评测业务迭代节奏; 5、熟练使用Excel、数据统计工具,具备基础数据分析能力,有大模型评测、标注体系搭建经验者加分。



