一种基于权值缩减克服IR-Drop的忆阻器阵列神经网络训练方法

摘要

忆阻器阵列(Memristor-Based Crossbar)能够有效地加速神经网络中的矩阵运算。然而,忆阻器阵列会受到IR-Drop的影响,降低到达忆阻器的计算电压,导致计算精度下降。为减轻IR-Drop对忆阻器阵列计算精度的影响,提出了一种基于权值缩减的神经网络训练方法。首先,在网络训练中添加L2正则化,使训练后的神经网络权值尽可能分布在较小值范围,以此提高计算精度对IR-Drop的鲁棒性。然后,利用基于行列约束的映射算法将大权值映射到受IR-Drop影响小的忆阻器上,减小忆阻器阵列精度损失。最后,迭代减小受到IR-Drop影响大的大权值,再通过重训练调整被减小值的附近权值,提升忆阻器阵列的计算精度。实验结果表明,所提方法能够有效地提高忆阻器阵列的计算精度,最多可以将忆阻器阵列计算精度提升至接近理想状态,精度损失小于1%。