递增的稀疏神经网络学习算法研究

摘要

人工神经网络是解决许多问题的有利工具，但目前研究的神经网络大多是全连接网络，在实际应用中出现了一些问题，比如连线太多，硬件实现比较困难；网络结构不易选取，容易出现过拟合等。针对这些问题，研究人员提出了许多新的网络结构和学习算法，稀疏神经网络就是其中之一。稀疏神经网络是对人类大脑稀疏连接结构的一种模拟，具有减少计算时间，提高泛化能力，降低硬件实现难度等优点。 本文针对稀疏神经网络应用中连接度和中间节点数不易选取的问题，并根据生物神经网络的实际特点，设计出递增结构的稀疏神经网络学习算法，并通过仿真验证了算法的有效性。首先，提出了固定中间节点数，在学习中增加网络连接的学习算法。根据学习得到的网络连接权值的不同，向网络中增加连接，解决了连接度不易选取的问题。在增加连接学习算法的基础之上，研究了同时改变神经网络的连接度和隐含节点数的学习算法。模拟大脑皮层由薄到厚的发育过程，根据当前的学习结果，改变网络的拓扑结构，逐步增加网络中的连接和节点，最终学习得到满意的稀疏神经网络。最后，针对神经网络同构对网络冗余和拟合能力的影响，研究减少重复连接向量的连接选择算法，并通过仿真算例分析不同学习参数对网络学习效果的影响。