一种LSTM网络的压缩加速方法及FPGA加速器

摘要

本发明提出一种LSTM网络的压缩加速方法，包括以下步骤：步骤1)，模型初始化，模型初始化后进行归一化操作，所有权值在0～1的范围内服从正太分布；步骤2)，使用原始权值矩阵的部分参数构造分块的Toeplitz矩阵去代替原始矩阵。除此之外，激活函数采用分段线性近似的方法，接着进行训练至网络收敛；步骤3)，对训练后的网络进行分组量化，接着分组训练至收敛；步骤4)，对量化后的网络进行轻微的剪切操作，最后训练至收敛，得到最终压缩后的网络。本发明通过对网络参数进行压缩，能够仅仅使用片内资源对网络进行实现，并且几乎不会对精度造成影响。