The posting
- 参与大语言模型、多模态模型及具身智能模型在机器人端侧芯片和云端的部署,实现低延迟、高效率的推理。
- 参与 VLA 等模型在自研芯片上的端侧部署,开展模型量化(INT8 / INT4 / FP8)、图优化与推理加速,平衡模型效果与运行效率。
- 参与模型推理服务的设计与优化,结合 vLLM、TensorRT-LLM 等框架,满足机器人场景的实时推理需求。
- 参与建立标准化部署流程,覆盖模型转换、量化、性能基准测试、端侧验证与上线发布。
- 与算法团队协作,从模型设计阶段参与部署可行性评估、性能预估及优化方案设计。
- 参与真实人形机器人平台上的部署验证、效果调试与性能评估,定位并解决实际运行中的问题。
- 计算机、人工智能、自动化、机器人等相关专业在读硕士、博士或优秀本科生。 - 具备扎实的深度学习基础,熟悉 Transformer 架构,了解 VLA 等具身模型的结构与推理流程。 - 熟悉 C++ 和 Python,具备良好的代码风格、算法实现及调试能力。 - 在以下至少一个方向具备实践经验: - 模型量化,包括 PTQ、QAT、混合精度及精度与速度的权衡优化。 - CUDA 编程与 GPU Kernel 优化。 - 嵌入式 AI 芯片部署,如高通、联发科或 NVIDIA Orin 等平台。 - 推理框架应用或优化,如 TensorRT、ONNX Runtime、vLLM、TensorRT-LLM。 - 具备良好的逻辑思维、文献阅读与问题分析能力,能够理解并实现推理框架中的关键方法。 - 每周可实习 4 天及以上,连续实习不少于 4 个月,能持续实习 6 个月及以上者优先。 加分项 - 有基于 vLLM、TGI 或 Triton 的大模型推理服务开发与生产环境运维经验。 - 有手机、车载或机器人等端侧平台的大模型量化与部署经验。 - 熟悉 KV Cache 优化、PagedAttention、投机解码等大语言模型推理加速技术。 - 有 vLLM、TensorRT-LLM 等大型开源项目贡献经验。 - 在人工智能竞赛或机器人挑战赛中取得优异成绩。



