正则化机制下多粒度神经网络剪枝方法研究

摘要

目前流行的模型压缩剪枝算法裁减的对象通常是整个卷积核.一些网络结构中存在特征图维度匹配的硬性要求,如ResNet中的残差结构主干上最后一个卷积层的卷积核个数以及Inception网络中的级联操作前所有分支上最后一个卷积层的卷积核个数都不能改变,这直接限定了剪枝的空间.本文提出一种正则化机制下的多粒度神经网络剪枝方法,针对维度匹配限制了剪枝空间的问题,设计从粗到细的多粒度剪枝策略,在稀疏化的同时维持了处于维度匹配位置的卷积层中卷积核的数量不变.并且,本文提出一种自适应L1正则化的稀疏方式,可以使网络在更新参数的同时兼顾到网络结构的变化.稀疏化后的卷积核不仅有比原卷积核更少的参数和计算量,而且拥有更加优异的结构性质,使网络具有更高的表达能力.例如,在CIFAR-10上,针对VGG-16,相比基准网络,在计算量压缩了76.73%的情况下,准确率提高了0.19%;针对ResNet-56,在计算量压缩了82.54%的情况下,准确率只下降了0.14%.在ImageNet上,针对ResNet-50,在计算量压缩了56.95%的情况下,准确率只下降了0.48%.本文方法优于现有先进的剪枝方法.