The posting
1、评测体系构建:参与设计并执行文本、多模态大模型及智能体的评测框架设计,构建覆盖多场景的评测基准(Benchmark),并持续优化评测流程的效率与可靠性。 2、技术探索与集成:跟踪学术界与工业界的最新大模型及智能体评测方法与评测 benchmark,快速将其集成到现有平台。 3、评测结果分析:与大模型算法团队紧密协作,从评测结果中分析模型及智能体能力瓶颈,用于公开榜单与内部模型能力迭代。 4、跟踪AI领域前沿技术,团队协作,完成算法评测相关科研任务。
1、计算机、人工智能或相关专业研究生,具备算法理论基础。 2、具备丰富的大模型或 Agent 算法评测经验,熟悉其相关评测方法。 3、熟悉Python、GIt 等开发工具,了解 LLM、MLLM、Agent 部署等,了解自动化测试流程,了解容器化、沙盒、网络通信等。 4、在ACM/ICPC、Kaggle等编程或算法竞赛中获奖,或有开源项目贡献经验者优先。 5、在ICLR、ICML、NeurIPS、ACL等顶会顶刊发表过论文者优先。



