带正则项Pi-sigma神经网络梯度学习算法研究

摘要

Pi-sigma神经网络是一种高阶神经网络,其网络结构中通过引入求积节点增强了网络的非线性映射能力,有效提高了网络的泛化性能。然而,Pi-sigma神经网络结构相当复杂,对网络学习提出了更高的要求。笔者通过引入光滑化L1/2正则项,建立一种新的带稀疏约束的Pi-sigma神经网络,从而克服了学习过程中的震荡现象,提升了网络的学习效率,最后通过计算机仿真实验对比几种带不同正则项的网络算法的学习效果,验证了该算法的有效性。