基于模型性能相关性的分级剪枝率剪枝方法

摘要

目前剪枝方法中还没有对信息量分布不均的神经网络层做不同剪枝率处理的方法,为此提出一种对不同网络层剪枝不同比例的方式.逐层恢复已经被剪枝神经网络模型的各层,得到各层与模型性能的相关性,对神经网络层进行分类级,对不同类级的神经网络标定不同剪枝率.结合FPGM剪枝方法在cifar10数据集上的实验结果表明,在总体剪枝计算量不变的情况下,不同层级不同剪枝量的方法,模型性能损失更少;在模型性能损失保持良好条件下,可对模型剪枝更高的剪枝量.