基于模型剪枝的神经网络压缩技术研究

摘要

尽管神经网络在各个领域都取得了长足的进步,但是在移动设备上的应用却受限于巨大模型所需要的计算能力以及存储空间。神经网络剪枝技术可以使训练后的网络参数减少,减少存储需求,提高计算效率。最近一些研究基于权重的绝对值(L1范数)进行剪枝,可以在不损失过多精度的情况下有效地压缩模型。本文在此基础上结合了权重的变化程度进行迭代剪枝,能够对网络模型进一步压缩。文章提出的重要性评估方法分别在结构化与非结构化剪枝策略中在全连接网络以及卷积网络进行了实验,结果表明均优于仅依靠权重绝对值的剪枝方法。