简体中文 | English

PP-PicoDet

简介

PaddleDetection中提出了全新的轻量级系列模型PP-PicoDet，在移动端具有卓越的性能，成为全新SOTA轻量级模型。详细的技术细节可以参考我们的arXiv技术报告。

PP-PicoDet模型有如下特点：

🌟 更高的mAP: 第一个在1M参数量之内mAP(0.5:0.95)超越30+(输入416像素时)。
🚀 更快的预测速度: 网络预测在ARM CPU下可达150FPS。
😊 部署友好: 支持PaddleLite/MNN/NCNN/OpenVINO等预测库，支持转出ONNX，提供了C++/Python/Android的demo。
😍 先进的算法: 我们在现有SOTA算法中进行了创新, 包括：ESNet, CSP-PAN, SimOTA等等。

即将更新

更多系列模型, 包括更大或更小，或者适配更多硬件模型。
更多场景的预训练模型。
更多功能。

基线

模型	输入尺寸	mAP^val 0.5:0.95	mAP^val 0.5	参数量 ^(M)	FLOPS ^(G)	预测时延^{NCNN^(ms)}	预测时延^{Lite^(ms)}	下载	配置文件
PicoDet-S	320*320	27.1	41.4	0.99	0.73	8.13	6.65	model \| log	config
PicoDet-S	416*416	30.7	45.8	0.99	1.24	12.37	9.82	model \| log	config
PicoDet-M	320*320	30.9	45.7	2.15	1.48	11.27	9.61	model \| log	config
PicoDet-M	416*416	34.8	50.5	2.15	2.50	17.39	15.88	model \| log	config
PicoDet-L	320*320	32.9	48.2	3.30	2.23	15.26	13.42	model \| log	config
PicoDet-L	416*416	36.6	52.5	3.30	3.76	23.36	21.85	model \| log	config
PicoDet-L	640*640	40.9	57.6	3.30	8.91	54.11	50.55	model \| log	config

其他模型的基线

模型	输入尺寸	mAP^val 0.5:0.95	mAP^val 0.5	参数量 ^(M)	FLOPS ^(G)	预测时延^{NCNN^(ms)}
YOLOv3-Tiny	416*416	16.6	33.1	8.86	5.62	25.42
YOLOv4-Tiny	416*416	21.7	40.2	6.06	6.96	23.69
PP-YOLO-Tiny	320*320	20.6	-	1.08	0.58	6.75
PP-YOLO-Tiny	416*416	22.7	-	1.08	1.02	10.48
Nanodet-M	320*320	20.6	-	0.95	0.72	8.71
Nanodet-M	416*416	23.5	-	0.95	1.2	13.35
Nanodet-M 1.5x	416*416	26.8	-	2.08	2.42	15.83
YOLOX-Nano	416*416	25.8	-	0.91	1.08	19.23
YOLOX-Tiny	416*416	32.8	-	5.06	6.45	32.77
YOLOv5n	640*640	28.4	46.0	1.9	4.5	40.35
YOLOv5s	640*640	37.2	56.0	7.2	16.5	78.05

快速开始

依赖包:

PaddlePaddle >= 2.1.2

安装

安装指导文档
准备数据文档

训练&评估

单卡GPU上训练:

# training on single-GPU
export CUDA_VISIBLE_DEVICES=0
python tools/train.py -c configs/picodet/picodet_s_320_coco.yml --eval

多卡GPU上训练:

# training on single-GPU
export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
python -m paddle.distributed.launch --gpus 0,1,2,3,4,5,6,7 tools/train.py -c configs/picodet/picodet_s_320_coco.yml --eval

评估:

python tools/eval.py -c configs/picodet/picodet_s_320_coco.yml \
              -o weights=https://paddledet.bj.bcebos.com/models/picodet_s_320_coco.pdparams

测试:

python tools/infer.py -c configs/picodet/picodet_s_320_coco.yml \
              -o weights=https://paddledet.bj.bcebos.com/models/picodet_s_320_coco.pdparams

详情请参考快速开始文档.

部署

导出及转换模型

1. 导出模型 (点击展开)

cd PaddleDetection
python tools/export_model.py -c configs/picodet/picodet_s_320_coco.yml \
              -o weights=https://paddledet.bj.bcebos.com/models/picodet_s_320_coco.pdparams --output_dir=inference_model

2. 转换模型至Paddle Lite (点击展开)

安装Paddlelite>=2.10.rc:

pip install paddlelite

转换模型至Paddle Lite格式：

# FP32
paddle_lite_opt --model_dir=inference_model/picodet_s_320_coco --valid_targets=arm --optimize_out=picodet_s_320_coco_fp32
# FP16
paddle_lite_opt --model_dir=inference_model/picodet_s_320_coco --valid_targets=arm --optimize_out=picodet_s_320_coco_fp16 --enable_fp16=true

3. 转换模型至ONNX (点击展开)

安装Paddle2ONNX >= 0.7 并且 ONNX > 1.10.1, 细节请参考导出ONNX模型教程

pip install onnx
pip install paddle2onnx

转换模型:

paddle2onnx --model_dir output_inference/picodet_s_320_coco/ \
            --model_filename model.pdmodel  \
            --params_filename model.pdiparams \
            --opset_version 11 \
            --save_file picodet_s_320_coco.onnx

简化ONNX模型: 使用onnx-simplifier库来简化ONNX模型。
- 安装 onnx-simplifier >= 0.3.6:
```
pip install onnx-simplifier
```
- 简化ONNX模型:
```
python -m onnxsim picodet_s_320_coco.onnx picodet_s_processed.onnx
```

部署用的模型

模型	输入尺寸	ONNX	Paddle Lite(fp32)	Paddle Lite(fp16)
PicoDet-S	320*320	model	model	model
PicoDet-S	416*416	model	model	model
PicoDet-M	320*320	model	model	model
PicoDet-M	416*416	model	model	model
PicoDet-L	320*320	model	model	model
PicoDet-L	416*416	model	model	model
PicoDet-L	640*640	model	model	model
PicoDet-Shufflenetv2 1x	416*416	model	model	model
PicoDet-MobileNetv3-large 1x	416*416	model	model	model
PicoDet-LCNet 1.5x	416*416	model	model	model

部署

PaddleInference demo Python & C++
PaddleLite C++ demo
NCNN C++/Python demo
MNN C++/Python demo
OpenVINO C++ demo
Android demo(NCNN) 感谢@JiweiMaster对飞桨开源的贡献）
Android demo(Paddle Lite) 感谢@marsplus-wjh对飞桨的开源贡献）

Android demo可视化：

量化

依赖包:

PaddlePaddle >= 2.2.0rc0
PaddleSlim >= 2.2.0rc0

安装:

pip install paddleslim==2.2.0rc0

量化训练 (点击展开)

开始量化训练:

python tools/train.py -c configs/picodet/picodet_s_320_coco.yml \
          --slim_config configs/slim/quant/picodet_s_quant.yml --eval

更多细节请参考slim文档

离线量化 (点击展开)

校准及导出量化模型:

python tools/post_quant.py -c configs/picodet/picodet_s_320_coco.yml \
          --slim_config configs/slim/post_quant/picodet_s_ptq.yml

注意: 离线量化模型精度问题正在解决中.

非结构化剪枝

教程:

训练及部署细节请参考非结构化剪枝文档。

应用

行人检测： PicoDet-S-Pedestrian行人检测模型请参考PP-TinyPose
主体检测： PicoDet-L-Mainbody主体检测模型请参考主体检测文档

FAQ

显存爆炸(Out of memory error)

请减小配置文件中TrainReader的batch_size。

如何迁移学习

请重新设置配置文件中的pretrain_weights字段，比如利用COCO上训好的模型在自己的数据上继续训练：

pretrain_weights: https://paddledet.bj.bcebos.com/models/picodet_l_640_coco.pdparams

`transpose`算子在某些硬件上耗时验证

请使用PicoDet-LCNet模型，transpose较少。

如何计算模型参数量。

可以将以下代码插入：trainer.py 来计算参数量。

params = sum([
    p.numel() for n, p in self.model. named_parameters()
    if all([x not in n for x in ['_mean', '_variance']])
]) # exclude BatchNorm running status
print('params: ', params)

引用PP-PicoDet

如果需要在你的研究中使用PP-PicoDet，请通过一下方式引用我们的技术报告：

@misc{yu2021pppicodet,
      title={PP-PicoDet: A Better Real-Time Object Detector on Mobile Devices},
      author={Guanghua Yu and Qinyao Chang and Wenyu Lv and Chang Xu and Cheng Cui and Wei Ji and Qingqing Dang and Kaipeng Deng and Guanzhong Wang and Yuning Du and Baohua Lai and Qiwen Liu and Xiaoguang Hu and Dianhai Yu and Yanjun Ma},
      year={2021},
      eprint={2111.00902},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

模型	输入尺寸	mAP^val 0.5:0.95	mAP^val 0.5	参数量 ^(M)	FLOPS ^(G)	预测时延^{NCNN^(ms)}	预测时延^{Lite^(ms)}	下载	配置文件
PicoDet-Shufflenetv2 1x	416*416	30.0	44.6	1.17	1.53	15.06	10.63	model \| log	config
PicoDet-MobileNetv3-large 1x	416*416	35.6	52.0	3.55	2.80	20.71	17.88	model \| log	config
PicoDet-LCNet 1.5x	416*416	36.3	52.2	3.10	3.85	21.29	20.8	model \| log	config
PicoDet-LCNet 1.5x	640*640	40.6	57.4	3.10	-	-	-	model \| log	config
PicoDet-R18	640*640	40.7	57.2	11.10	-	-	-	model \| log	config

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

README_cn.md

README_cn.md

PP-PicoDet

简介

即将更新

基线

更多的配置

其他模型的基线

快速开始

部署

导出及转换模型

部署

量化

非结构化剪枝

应用

FAQ

引用PP-PicoDet

Files

README_cn.md

Latest commit

History

README_cn.md

File metadata and controls

PP-PicoDet

简介

即将更新

基线

更多的配置

其他模型的基线

快速开始

部署

导出及转换模型

部署

量化

非结构化剪枝

应用

FAQ

引用PP-PicoDet