The posting
分布式推理系统开发 1、设计并实现大规模AI模型(如LLM、多模态模型)的分布式推理框架,优化吞吐量(Throughput)和延迟(Latency)。 2、开发模型并行(Tensor/Pipeline Parallelism)、动态批处理(Dynamic Batching)和连续批处理(Continuous Batching)策略。 3、解决多节点、多GPU环境下的负载均衡和通信瓶颈问题。 4、优化计算图执行(如使用TensorRT、ONNX Runtime、vLLM等工具)。 5、实现量化(FP8/INT8)、KV Cache优化、Flash Attention等加速技术。
精通 Python/C++,熟悉PyTorch/TensorFlow推理生态。 深入理解分布式系统(NCCL/RPC通信、GPU Direct RDMA)和 并行计算(CUDA、OpenMP)。 熟悉推理加速技术(量化、剪枝、算子融合)和框架(TensorRT、vLLM 、Sglang)。



