基于剪枝与量化的卷积神经网络压缩方法

摘要

随着深度学习的发展,卷积神经网络作为其重要算法之一,被广泛应用到计算机视觉、自然语言处理及语音处理等各个领域,并取得了比传统算法更为优秀的成绩.但是,卷积神经网络结构复杂,参数量和计算量巨大,使得很多算法必须在GPU上实现,导致卷积神经网络难以应用在资源不足且实时性要求很高的移动端.为了解决上述问题,文中提出通过同时优化卷积神经网络的结构和参数来对卷积神经网络进行压缩,以使网络模型尺寸变小.首先,根据权重对网络模型结果的影响程度来对权重进行剪枝,保证在去除网络结构冗余信息的同时保留模型的重要连接;然后通过量化感知(quantization-aware-trai-ning)对卷积神经网络的浮点型权重和激活值进行完全量化,将浮点运算转换成定点运算,在降低网络模型计算量的同时减少网络模型的尺寸.文中选用tensorflow深度学习框架,在Ubuntu16.04操作系统中使用Spyder编译器对所提算法进行验证.实验结果表明,该算法使结构简单的LeNet模型从1.64M压缩至0.36M,压缩比达到78％,准确率只下降了了0.016;使轻量级网络Mobilenet模型从16.9M压缩至3.1M,压缩比达到81％,准确率下降0.03.实验数据说明,在对卷积神经网络权重剪枝与参数量化之后,该算法可以做到在准确率损失较小的情况下,对模型进行有效压缩,解决了卷积神经网络模型难以部署到移动端的问题.