Skip to content

Home

Jump to bottom
myd edited this page Jun 24, 2019 · 27 revisions

模型自动压缩工具——AMC

介绍

模型自动压缩器（Auto Model Compressor, AMC）是基于Pytorch开发的，用于压缩深度神经网络计算量（浮点型乘加计算次数，Floating-Point-Fused-Multiply-Adds）的框架。 AMC主要由四个模块组成：数学压缩器（Mathematical Compressors），训练器（Trainer），超参数调整器（Hyper-Parameters Tuners）及实用工具集（Utils）。

  • 数学压缩器，是指使用数学方法对某个神经网络的卷积层进行低损压缩（减少乘加计算次数）的方法。现框架主要支持两大类型方法——通道剪枝（Channel Pruning）和低秩分解（Low-rank Decomposition）。通道剪枝是利用统计学方法分析卷积层的稀疏性，选择性地保留对卷积层计算结果影响最大的特征通道，从而减少卷积层的乘加计算次数。而低秩分解则是利用卷积层本质是矩阵运算的特点，利用矩阵分解，把一个卷积层分解为两个乘加计算次数更小的卷积层相连，从而达到减少计算量的目的。两种方法各有千秋，低秩分解能较高精度地压缩稀疏性大的卷积层，但增加了神经网络的深度，这对部署时的GPU设备并不友好。而通道剪枝能不改变原有神经网络结构的情况下，压缩神经网络的计算量，但精度却不如低秩分解高。另外，试验表明，不同应用类型的神经网络，对两种方法的敏感度也不同，需要针对性选择方法。

  • 训练器（Trainers） —— 是指对压缩后的神经网络进行再次训练（或微调，Finetune）的一般实现。训练器还实现了非常多有利于训练效果的损失函数和量化训练工具。

  • 超参数调整器（Hyper-Parameters Tuners）—— 是指用于调整网络压缩的压速率，再训练的学习率等参数的“代理者”，可通过强化学习方法（Deep Deterministic Policy Gradient, DDPG）或遗传算法（Genetic Algorithms, GA）自动化调整上述参数，解放人频繁调参的双手。

  • 实用工具集（Utils）—— 包含大量方便获取 Pytorch 神经网络图信息、计算量等有用信息的实现。包含从 Pytorch 转换模型到部署框架 Venus 所需二进制文件的实现。包括一些基础类定义。

压缩大致流程

参考文献

[1] He Y, Zhang X, Sun J. Channel pruning for accelerating very deep neural networks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 1389-1397. [2]

Clone this wiki locally