The posting
1. 主导端侧AI推理引擎的架构设计与开发,支撑深度学习模型(含大模型)在嵌入式平台的高效部署。 2. 负责大模型(如Qwen、DeepSeek、Llama等)在端侧的全链路推理加速,包括量化、算子加速、投机采样、动态批处理及运行时调度。 3. 深入了解主流AI框架与推理引擎(如TensorRT、vLLM、llama.cpp、SGLang)底层机制,进行二次开发与定制优化。 4. 结合CUDA、HVX等硬件加速能力,实现异构计算资源的统一调度与性能极限压榨。 5. 输出推理引擎架构文档、性能分析报告及部署方案。
1. 计算机、电子工程、通信工程等相关专业,3年以上高性能计算或AI工程化经验。 2. 精通C/C++与Python,深入理解计算机体系结构,熟悉CPU/GPU/NPU等硬件特性,能够在不同平台上实现高效的推理调度与计算加速。 3. 熟悉TensorRT/vLLM/llama.cpp/SGLang等底层机制,具备推理引擎开发经验。 4. 熟悉大模型推理加速技术,如量化(INT4/INT8)、KV Cache、动态批处理、投机采样等。 5. 具备CUDA编程与优化能力,了解DSP(HVX)或NPU开发者优先。



