动态修剪深度神经网络权重和权重共享的压缩方法

摘要

本发明提出一种动态修剪深度神经网络权重和权重共享的压缩方法，它在非结构化剪枝的基础上，在保证精度稳定的情况下进一步降低深度神经网络模型的参数冗余。本发明先对深度神经网络模型进行动态修剪操作，主要分为剪枝和剪接两个部分，剪接可以最大程度保留网络中重要的权重连接，避免修剪过程中存在的误操作，另外为了提高模型修剪后的精度，在修剪过程中加入L1正则化；然后对修剪后的网络进一步K‑Means量化，使得权重共享。本发明提出的压缩方法，可以保证模型的精度没有损失的情况下，大大减少深度神经网络中的冗余参数，降低模型的存储内存。本发明在基于ImageNet数据集的AlexNet网络上进行本压缩方法实验，将原始网络压缩了52倍，并且没有造成精度的损失。