神经网络的训练方法和通过该训练方法获得的神经网络

摘要

本发明提供了一种神经网络的训练方法和神经网络。该方法包括：对输入的一组训练样本重复进行多次运算处理，每次运算处理包含：对于每个激活节点，根据选择概率值，随机地从线性运算和非线性运算之中选择出第一选择结果，来进行第一次网络训练，以获得第一训练损失值；对于每个激活节点，根据选择概率值，随机地从线性运算和非线性运算之中选择出第二选择结果，来进行第二次网络训练，以获得第二训练损失值；当第一训练损失值小于第二训练损失值时，增加每个感兴趣节点的第一选择结果的概率值；以及当第二训练损失值小于等于第一训练损失值时，增加每个感兴趣节点的第二选择结果的概率值。本发明通过引入随机性，提高了神经网络的精度。