基于深度强化学习的滤波器剪枝方案

摘要

针对深度神经网络模型在终端设备上部署时面临计算和存储等资源不足的问题,模型剪枝是一种有效的模型压缩方案,在保证模型精度的前提下减少模型的参数量并降低计算复杂度。传统的剪枝方案对于剪枝率及剪枝标准的设置大多依据先验知识,忽略了深度模型中不同层的剪枝敏感度和参数分布差异,缺乏细粒度的优化。对此,提出了一种基于强化学习的滤波器剪枝方案,在满足目标稀疏度的基础上最小化模型剪枝后的精度损失,并采用参数化深度Q学习算法求解构建混合变量的非线性优化问题。实验结果表明,所提方案能够为深度模型每一层选择合适的剪枝标准与剪枝率,减小了模型剪枝后的精度损失。