深度学习 - TensorRT 模型部署 | Yufei Luo's Blog

[lyf35]

https://lyf35.github.io/2021/03/18/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0-TensorRT%E6%A8%A1%E5%9E%8B%E9%83%A8%E7%BD%B2/

概述 本文以部署目标检测模型YOLOv5为例，说明如何使用TensorRT C++ API部署训练好的神经网络模型，并进行推理。YOLOv5模型的输入为(batch_size, channels, image_height, image_width)，用于推理的模型输出为(batch_size, image_height / 32 * image_width / 32 * 21, num_cla