零代价函数条件下的前馈神经网络统计灵敏度分析

摘要

讨论了输入层和输出层为恒等变换神经元.隐层为非线性变换神经元的三层神经网络的统计灵敏度,给出了权值和输入样本的加性扰动灵敏度计算的理论公式.当输入扰动较小时,通过选择多种不同的隐层神经元函数,按照本文理论结果计算出来的灵敏度数值与仿真实验的结果十分吻合,说明了本文理论分析结果的正确性.当输入扰动较小时,隐层取不同函数时灵敏度的值是不同的,但数值基本上稳定不变.对于某些隐层函数,当输入扰动值较大时,网络的灵敏度数值迅速下降,但是网络输出的平均相对误差却迅速增加.在求灵敏度时,网络的权值是用代价函数为0的精确算法求得的.