The posting
1、负责大模型推理性能优化,设计低延时、高吞吐的推理架构 2、负责多模态大模型的轻量化设计、压缩与加速,确保模型在端侧设备上的高效运行。 3、针对无人机、无人车等实际业务场景,优化模型性能,平衡精度与效率。
1、熟悉端侧部署的技术栈(如ONNX、TensorRT、Core ML等),熟悉嵌入式环境下的模型优化。 2、了解深度学习算法基本原理,熟悉神经网络基本架构和各算子计算方式,了解至少一种深度学习训练框架及其模型文件的解析,如Pytorch、Tensorflow 3、在模型小型化、压缩与加速方面有实际经验(如量化、剪枝、蒸馏等)。



