一种基于双前向传播算法的记忆归一化网络层方法

摘要

本发明公开了一种基于双前向传播算法的记忆归一化网络层方法，以提升神经网络的训练稳定性和网络性能。所述方法包括：计算每个batch的统计信息，所述的batch指的是一组数据样本，所述的统计信息包括数据的均值和方差；根据每个batch的统计量估计存储记忆中连续多个batch的整体均值和整体方差，并用该统计量对训练过程中每一代训练数据进行归一化操作；在每次迭代中执行完一次标准的前向传播和反向传播之后，再额外执行一次前向传播以减小由于模型更新引起的网络中间层信息的分布偏移。本发明能够获得更加准确且更加稳定的统计信息，同时在训练和测试中始终保持一致的行为，最终能够大幅度的提高深度网络的泛化能力。