Skip to content

Latest commit

 

History

History
36 lines (26 loc) · 1.92 KB

inference.md

File metadata and controls

36 lines (26 loc) · 1.92 KB

本地Inference部署

1. 说明

本方案旨在提供一个PaddlePaddle跨平台图像分割模型的Python预测部署方案作为参考,用户通过一定的配置,加上少量的代码,即可把模型集成到自己的服务中,完成图像分割的任务。

2. 前置准备

请使用模型导出您的模型, 或点击下载我们的样例模型用于测试。

接着准备一张测试图片用于试验效果,我们提供了cityscapes验证集中的一张图片用于演示效果,如果您的模型是使用其他数据集训练的,请自行准备测试图片。

3. 预测

在终端输入以下命令进行预测:

python deploy/python/infer.py --config /path/to/deploy.yaml --image_path

参数说明如下:

参数名 用途 是否必选项 默认值
config 导出模型时生成的配置文件, 而非configs目录下的配置文件 -
image_path 预测图片的路径或者目录 -
use_trt 是否开启TensorRT来加速预测
use_int8 启动TensorRT预测时,是否以int8模式运行
batch_size 单卡batch size 配置文件中指定值
save_dir 保存预测结果的目录 output
with_argmax 对预测结果进行argmax操作

测试样例和预测结果如下 cityscape_predict_demo.png

注意: 1. 当使用量化模型预测时,需要同时开启TensorRT预测和int8预测才会有加速效果 2. 使用TensorRT需要使用支持TRT功能的Paddle库,请参考附录下载对应的PaddlePaddle安装包,或者参考源码编译自行编译