The posting
关于这个项目 我们正在构建一个面向复杂任务的模型融合系统。它不是简单地接入单个大模型,而是通过构建多模型并行生成、候选答案分析、强模型合成、智能路由策略、流式输出与可观测评测的完整闭环,让不同模型在推理、代码、研究、工具调用等场景中形成深度互补。 这个方向的核心命题并非“哪个模型最强”,而是如何稳定、可解释、可复现地组织多模型能力,并在质量(Quality)、成本(Cost)、延迟(Latency)之间做出极致的工程化权衡。 我们正在寻找一位能参与完整工程闭环的工程师——从 Benchmark 设计、实验执行、问题归因,到系统设计调整、核心代码实现与验收指标沉淀。
你会负责 核心系统开发:参与模型融合 Gateway、评测 Harness(测试框架)、实验 Runner、Trace/Observability(链路追踪与可观测性)等核心系统的设计与实现。 • 评测体系建设:设计与维护开发 Benchmark,覆盖代码生成、研究问答、终端操作、工具调用(Tool Calling)、多模型融合策略等关键能力维度。 • 实验与分析:跑模型组合、Scaffold(生成框架)、Routing(路由)、Reasoning 转发、Timeout/Fallback(超时与降级)等对照实验,深度分析质量、成本、延迟与稳定性指标。 • 问题归因与闭环:结合 Trace 链路、模型原始输出与用户反馈,精准定位系统失败根因,并将问题转化为可复现的 Case 和具体的工程改进项。 • 策略优化:优化融合链路中的关键环节,包括候选生成、分析摘要、合成输入构造、流式处理、Partial Salvage(部分结果抢救)、自动评分与验收逻辑。 • 知识沉淀:输出清晰的实验记录、架构设计文档和可验证的结论,让团队能基于数据持续迭代系统。
我们希望你具备 扎实的编码能力:拥有 Rust / Python / TypeScript 中至少一种语言的实际开发经验,并愿意根据项目需要灵活补齐技术栈。 • 重度 AI 用户:对模型行为、Agent(智能体)、Eval Harness、Benchmark、Tool Calling、Streaming(流式传输)、上下文结构等底层细节有浓厚兴趣。 • 独立性与灵活性:能独立设计和实现模块,也能坦然接受实验结果与预期不符,并据此调整系统设计。 • 数据驱动习惯:愿意写脚本、跑对照实验、深挖 Trace 和分析失败样本,不凭直觉拍板。 • Benchmark 怀疑精神:时刻关注 Case 质量、评分标准合理性、数据泄漏风险、过拟合、评测代表性和可复现性。 • 成本与延迟意识:理解模型系统不能只追求单点质量峰值,必须时刻关注吞吐量、响应时间、服务稳定性和 API 调用成本。 • 扎实的工程素养:重视代码质量、单元测试、技术文档、可维护性以及变更的可回滚性。
加分项 -做过 LLM、RAG、Agent、评测系统、开发者工具、IDE 插件、代码生成工具或自动化测试平台。 • 熟悉 OpenAI-compatible API、Responses API、SSE Streaming、Tool Calling、Reasoning Content 等接口细节。 • 具备 Async Rust(Axum/Tokio)、Python Eval Pipeline、CLI 工具或前端实验看板 的开发经验。 • 有过 Benchmark 设计、自动评分、人工评审、Ablation(消融实验)、误差分析或模型对比实验 的经验。 • 能阅读模型、Agent、Eval 相关的前沿论文或开源实现,并将其转化为可验证的工程实验。
我们不特别看重 • 年龄、学历标签或大厂经历。 • 是否有非常标准的“AI 岗位”过往 Title。 • 是否已经完整做过一模一样的同类系统。 我们更看重你解决问题的思路、对技术的热情,以及在复杂系统中寻找确定性的能力。



