基于自适应层信息熵的卷积神经网络压缩

摘要

网络剪枝是一种有效的卷积神经网络压缩方法.多数现有压缩方法因迭代剪枝了“不重要”的网络结构,一方面破坏了网络结构的信息整体性,另一方面其迭代操作耗费了大量的计算资源与时间.为了解决上述问题,论文从网络结构全局考虑,提出基于自适应层信息熵的卷积神经网络压缩方法.首先,在获取压缩网络结构的过程中,本文设计了一种端到端的结构化网络剪枝方案,将卷积层看作一个整体,利用层信息熵之间的关联性直接确定各卷积层过滤器的保留率,避免迭代剪枝训练造成的信息损失.其次,对剪裁后的网络进行重训练时,综合考虑压缩过程中使用的层信息熵指标,通过对卷积层与批归一化(Batch Normalization,BN)层进行自适应联合嫁接,让网络学习到更多的信息,提升网络性能.针对3种主流网络在不同的数据集上进行了实验,验证了所提方法的有效性与优越性.例如在CIFAR-10上,针对ResNet-56,相比于基线网络,在计算量压缩36.2%的情况下,本文方法准确率提升了1%;针对ResNet-110,在计算量压缩52.4%的情况下,本文方法准确率提升了1.42%;针对轻量型网络MobileNetV2,在计算量压缩55.2%的情况下,本文方法准确率提升了1.29%.