The posting
1.主导大模型推理系统的整体架构设计 2.设计与优化高并发、低延迟推理服务架构 3.攻克推理性能瓶颈(首Token延迟、吞吐、显存) 4.制定推理优化技术路线,跟进前沿技术(投机解码、FlashDecoding等) 5.保障推理服务的稳定性、高可用与成本可控
•5+ 年 AI 推理系统相关经验 •深入理解 vLLM、TensorRT-LLM、TGI 等推理框架 •精通 PagedAttention、Continuous Batching 等核心机制 •有大规模推理服务(QPS 1000+)的架构设计经验 •熟悉 Kubernetes、Docker 等容器化技术 •具备 SRE 能力,保障服务可用性
加分项: •vLLM/TGI 核心贡献者 •TensorRT、CUDA 优化深度经验 •高并发推理系统实战经验



