基于滤波器分布拟合的神经网络剪枝算法

摘要

随着人工智能技术的迅猛发展,深度神经网络在不断地加深与变宽,模型的计算量快速增加,神经网络模型的高存储和高功耗的需求也随之产生。网络剪枝是实现模型压缩和加速的一种有效方法。常见的剪枝方法遵循“较小规范-不重要”的标准来对滤波器进行修剪,认为范值较小的滤波器重要性较低,可以安全地修剪掉。针对删去重要性较小的滤波器容易导致滤波器范数分布不均衡的问题,文中提出了一种拟合原始滤波器范数分布的剪枝算法。该算法不仅可以筛选出拟合了原始范数分布的滤波器,还能删去冗余的滤波器。实验表明该算法在两个数据集上的模型压缩效果均优于对比实验。其中,在CIFAR-10数据集上压缩基于ResNet110的图像分类模型的效果明显,最终在减少了62%以上的FLOPs的情况下,相对准确率仅降低了0.14%。