基于特征图自注意力机制的神经网络剪枝算法

摘要

神经网络压缩为神经网络在资源受限设备上的部署提供了便利,基于特征图的神经网络剪枝算法充分挖掘数据的先验信息,表现出很好的压缩性能.现有算法在剪枝过程中通常运用特征图的全部信息,容易遭受由背景或噪声引起的精度损失.针对这个问题,提出了一种基于特征图自注意机制的剪枝算法,通过自注意力机制获取每层特征图的注意区域,计算特征图注意区域的激活能量,删除注意区域激活能量较小的特征图,进而剪枝对应的滤波器.算法有效减少由背景及噪声带来的剪枝精度损失.该算法能在几乎不损失网络精度的情况下更大限度地压缩网络,在神经网络模型的加速与压缩上都有不错的效果.