The posting
团队介绍:字节跳动基础设施计算团队,专注构建面向大模型与 AI Agent 时代的 AI-Native Infra。我们从算力、系统到平台,围绕“AI 如何高效运行、持续进化、规模化落地”这一核心问题,重构计算基础设施。我们管理着数十万台服务器组成的超大规模集群,构建统一的异构算力调度与云原生运行体系;通过软硬协同与自研框架,持续突破大模型训练与推理的性能瓶颈;并进一步向上,打造企业级 AI Agent Infra,让 Agent 具备身份、权限、记忆、观测与治理能力,真正成为可运行在生产环境中的新型“应用形态”。 从云服务器、容器、函数,到 AI 网关、可观测与弹性体系,我们构建的是一个为 AI 而生、由 AI 驱动进化的基础设施平台,支撑集团多个业务与企业级客户的智能化升级。 如果你希望参与定义 AI 时代的 Infra 范式,而不仅是优化一个模块或服务——欢迎加入我们,一起构建下一代 AI 云原生基础设施。
1、负责构建性能领先的LLM推理服务引擎与平台,大模型推理性能优化,参与Servingkit的研发等开发工作; 2、负责LLM推理服务的全链路性能分析、瓶颈定位与优化,能够深入理解大模型推理服务,通过极致的系统优化,在满足SLO/SLA要求的前提下,最大化推理系统的吞吐、降低时延,并实现成本与性能的最佳平衡; 3、负责大模型推理前瞻性技术架构的调研和引入,技术方案不限于编译优化、模型量化等。
1、熟练掌握Linux环境下的C/C++与Python语言,有机器学习系统相关经验; 2、熟悉至少一种大模型训练/推理框架,包括但不限于:推理(vLLM、TensorRT-LLM、SGLang等)、机器学习框架(TensorFlow/PyTorch等); 3、具备定位和解决复杂系统性能瓶颈的丰富经验,善于运用各类性能分析工具(perf、eBPF、Nsight等); 4、优秀的跨团队沟通与协作能力,独立负责并推进技术项目。
加分项 1、在主流大模型推理框架(SGLang、vLLM、TensorRT-LLM等)有深入使用或二次开发经验者优先; 2、理解GPU硬件架构,理解GPU软件栈(CUDA,cuDNN),具备GPU性能分析的经验; 3、对InfiniBand/RDMA网络编程与性能调优有实践经验。



