The posting
你将负责平台整体技术架构和研发交付,统筹 API 网关、账号与租户体系、模型服务及推理链路、计量计费和开发者平台,对服务稳定性、性能、成本与开发者体验负责,并组建和带领平台研发团队。
岗位职责 1. 整体架构与技术路线 规划 MaaS 平台架构、技术演进和研发优先级,明确控制面、请求处理链路与推理服务的边界;主导关键设计、核心模块开发和代码评审。 2. API 网关与流量治理 建设统一模型接入与协议适配,负责鉴权、模型路由、负载均衡、限流配额、超时重试、熔断降级和灰度发布,统筹自研模型与外部模型服务。 3. 账号、权限与计量计费 建设用户、组织、项目、角色权限和 API Key 管理体系;负责用量采集、定价规则、余额与预算、账单和对账,保障租户隔离、权限正确性与计费一致性。 4. 模型服务与推理链路 负责模型接入、版本和端点管理、部署发布、资源调度、弹性伸缩及故障恢复;协同算法和推理优化团队,持续改善响应时延、有效吞吐与单位服务成本。 5. 多模态与实时服务 支持同步调用、流式会话和异步长任务;围绕 ASR、TTS、实时音频、图像及视频任务,设计连接管理、排队、背压、取消和结果交付机制。 6. 生产稳定性与开发者体验 建立分业务的 SLO、全链路监控、容量规划、压测、发布回滚和故障响应机制;完善控制台、API 文档、SDK 和排障工具。 7. 团队建设与跨团队交付 负责平台团队招聘、培养、技术分工和研发质量,与产品、模型、推理优化及 SRE 团队协作,推动模型能力稳定上线。
任职要求 1. 7 年以上后端、分布式系统或云平台研发经验,2 年以上技术负责人或带队经验;有突出平台交付成果者可放宽年限。 2. 主导过面向真实客户运行的 MaaS、AI 开放平台、云服务或商业化 API 平台,并有模型在线服务落地经验。 3. 精通 Go、Rust、Java、Python 等至少一种服务端语言,具备扎实的高并发、网络、数据库、缓存和消息系统实践;具备 Go 经验者优先。 4. 对网关、账号租户、权限密钥、配额、计量计费等有深入实践,至少主导其中两个核心领域,能够设计完整请求链路。 5. 熟悉 Kubernetes、容器化和模型服务部署,有主流推理框架的生产使用或集成经验,理解 batching、KV cache、显存及并行约束,能够定位推理服务瓶颈。 6. 有容量规划、性能优化和重大故障处理经验,能够说明本人负责范围、实际服务规模和量化结果;保持关键架构、代码评审与故障排查的参与深度。
加分项 - 有 ASR、TTS、实时音频或图像、视频生成平台经验。 - 有多地域、多集群、专属实例、企业 SSO、审计或私有化部署经验。 - 对 vLLM、SGLang、TensorRT-LLM、KServe、Ray Serve、Envoy、APISIX 等有深入实践或开源贡献。 - 有推理引擎、CUDA 或算子优化经验。



