The posting
团队介绍:抖音电商以“总能发现好东西”为主张,致力于成为用户发现丰富好物的首选平台。众多抖音创作者通过短视频、直播、商城等丰富的形式,给用户提供更个性化、更生动、更高效的消费体验。同时,抖音电商积极引入优质合作伙伴,为商家变现提供多元的选择。
1、负责抖音电商平台AI客服评测体系建设,深入理解售前售后场景及用户诉求,制定贴近真实用户体验的评测标准、指标和评测集,推动智能客服问题解决能力和服务体验提升; 2、负责评测指标的持续运营,结合线上服务指标、用户反馈及对话案例,开展指标拆解、异动归因和体验问题分析,识别核心问题及优化空间,明确改进方向和优先级; 3、完善人工标注、复核、标准校准及反馈回流流程,推动评测工具和数据分析能力建设,提升评测准确性、一致性及效率; 4、负责评测及标注资源管理,根据业务需求制定人力配置和任务排期,统筹人员培训、标准校准及质量爬坡,建立质量验收和持续改进机制;负责标注预算规划、成本核算及执行跟踪,保障交付质量和时效,持续提升人效; 5、联动业务、产品、算法及研发团队,将评测发现转化为可落地的优化需求,协调资源推进策略、模型和产品能力迭代,跟踪验证改进效果,持续完善评测标准与方法。
1、理解电商业务及售前售后服务链路,熟悉典型用户诉求、服务流程和业务核心指标,有电商产品、用户体验、服务策略或智能客服相关经验,能结合业务场景判断服务质量及问题解决效果; 2、具备大模型评测实战经验,熟悉LLM-as-a-Judge、Pairwise Evaluation等评测方法,能够设计评测标准、构建评测集、优化评测PE,并验证评测结果的准确性及人机一致性;具备较强的数据敏感度,能够开展指标拆解和问题归因,识别评测偏差及模型能力短板,结合线上业务指标验证优化效果; 3、有人在回路机制的实际建设或运营经验,熟悉人工评判、标注质量管理、标准校准及反馈回流,能够设计人工介入的场景和流程,并将人工反馈用于评测、模型或策略改进; 4、具备评测或标注团队的资源管理经验,实际负责过人力安排、培训及质量爬坡、预算管理,能够在多项目并行和资源约束下合理配置人力,平衡质量、效率与成本; 5、具备独立负责复杂项目和跨团队协调能力,有主导相关项目落地的经历;能够围绕业务目标拉齐问题判断和优先级、明确分工、协调资源,并推动取得可验证的结果。



