The posting
1. 构建全链路评测体系:围绕感知、规划、执行、反思与记忆等关键环节,设计评测任务、指标和错误归因框架;建设可复现、可扩展的评测工具与数据集,挖掘具有区分度和训练价值的高质量样本,重点覆盖科学、代码、搜索等场景。 2. 推动评测与训练协同优化:将评测中发现的能力短板转化为数据配方、环境反馈、过程监督和奖励信号,结合监督微调(SFT)、强化学习等方法,提升模型的事实准确性、任务完成率与执行效率,建立“评测—归因—优化—验证”的迭代闭环。 3. 研究长程任务中的上下文与记忆机制:探索上下文扩展与压缩、记忆选择与更新、任务状态追踪等方法,建立对应的评测与实验方案,改善长周期任务中的一致性衰减、状态丢失、中断恢复及长期依赖管理问题。 4. 探索下一代评测与自我改进范式:研究 自动化评测(Agentic Evaluation)、递归自我改进(RSI)等方向,探索任务自动生成、动态评测与反馈驱动优化,验证新方法的有效性与适用边界。
1. 具备扎实的算法基础与编程能力,能够独立完成实验设计、系统实现、结果分析与问题定位。 2. 熟悉大语言模型、Agent、强化学习、模型训练或评测系统中的至少一个方向,有相关研究或工程实践经验。 3. 具备较强的问题拆解与实证分析能力,能够从复杂任务和失败案例中提出可验证的假设,并通过实验推动改进。 4. 具备良好的沟通与协作能力,对开放性问题有好奇心和研究自驱力,能够持续推进探索并交付成果。
加分项 1. 主导或深度参与过高质量开源项目。 2. 在相关领域的高水平会议或期刊发表论文,或在相关竞赛中取得优秀成绩。



