基于误差函数的自然梯度法及其在MLP学习中的应用

摘要

在激活函数选为误差函数的条件下，给出了求Fisher信息矩阵逆的算法，并进行仿真验证．首先将自然梯度法应用于多层感知器学习中，并与BP（back-propagation）算法进行了比较，说明了自然梯度法能够加快学习速度，并且可能避免学习中出现平坦区现象，即使出现平坦区，也不会很严重．仿真验证了自然梯度法上述良好的学习性能，并且它渐近的逼近Cramer—Rao下界，从而验证了自然梯度学习是Fisher优效的，而通常的梯度法则不是Fisher优效的．另外，仿真札证实了自然梯度对训练样本中存在的噪声具有很好的鲁棒性．