一种多头注意力提高神经网络泛化的方法

摘要

针对目前许多神经网络模型存在泛化能力较差现象,提出一种多头注意力方法以缓解神经网络泛化问题。该方法利用多头注意力从并行的长短期记忆网络(LSTM)中选择性激活并进行信息交流。在信息交流过程中既保留了普遍性信息,又加强了鲁棒性,从而提高神经网络的泛化能力。在对比传统并行LSTM实验中,该方法在4种数据集的平均测试误差比传统方法约低1.39%。另外与3种相关研究进行对比,该方法在4种数据集的平均测试误差比次优算法约低0.21%,并且在加噪情况下平均测试误差也比次优算法约低0.73%。理论分析和实验证明该方法能够有效提高神经网络泛化能力。