The posting
岗位职责: ① 构建 SalesAgent 领域 Benchmark 行业里没有现成的汽车销售 Agent 评测集,核心维度包括: - 意图识别:判断客户处于哪个购买阶段(初探 / 有意向 / 临近成交 / 售后) - 幻觉检出:识别捏造车型参数、金融政策、配置信息等高风险输出 - 上下文记忆:多轮对话中正确引用客户信息,拒绝"失忆式重复提问" - 话术生成质量:跟进文案、试驾邀约、异议处理是否贴合真实销售语境 ② 设计模型迭代的测试闭环 - 搭建上线前的 Quality Gate:关键场景设定合格阈值,回归不通过不上线 - 构建「全场景 × 多版本」自动化回归框架,重点覆盖性能退化与边缘场景鲁棒性(方言、销售黑话、模糊表达) - 设计 A/B 测试方案,在专家用户小范围验证模型效果(话术采纳率、专家满意度、任务完成率) - Own 标注团队与标注规范,保证 Ground Truth 的一致性与可信度 ③ 搭建线上质量监控体系 - 建立线上问题的自动分类框架:幻觉 / 知识盲区 / 上下文偏差 / 领域术语缺失 - 构建问题优先级模型:频率 × 业务风险 × 可修复性,驱动算法团队高效排期,避免"拍脑袋修 Bug" ④ 推动专家 Skill 的标准化上线 - 设计 Skill 质量评估标准与上线前的双重检核机制 - 建立 Skill 效果追踪:使用率、采纳率、相对通用模型的质量提升幅度 - 设计灰度发布与回滚机制,防止低质 Skill 污染整体系统
任职要求: - 3+ 年算法评测、NLP 测试或 AI 质量保障经验 - 熟悉行业开源 benchmark(如 HELM、LM-Eval、MMLU、AgentBench、SWE-Bench 等)的构建思路与适用边界,并对业务 Agent 场景下的 benchmark 设计有自己的深刻见解 - 扎实的数据分析能力——能用数据清晰表达"模型好在哪里、差在哪里、差多少" - 理解 RAG、Harness Engineering、Fine-tuning 的基本原理,能与算法工程师平等对话



