粒子群算法在神经网络参数优化中的应用

摘要

近年来，研究学者们从自然现象中不断获得启示，提出了许多优秀的智能算法，如遗传算法、蚁群算法、模拟退火算法以及粒子群优化算法等等，智能算法有了长足的发展。
　　 神经网络用于优化计算采用BP算法作为连接权学习的工具，但是由于其是按误差的梯度下降方向搜索，所以易陷入局部最小而造成成熟前收敛的问题；用GA算法来优化神经网络的参数，可以达到搜索的遍历性，但是是以增加迭代次数为代价的，因此收敛速度比较慢。基本PSO算法应用到神经网络参数优化中既可以达到搜索的遍历性，又省去了GA算法中选择、交叉、变异等基本操作。在搜索速度上有所提高，但是由于群中的粒子都按照同一规则进行最优位置的更新和运动，在粒子陷入局部极小后，动作的一致性反而阻碍了算法跳出局部极小。
　　 基于这一问题，本文提出了一种改进的粒子群算法：聚集-重置粒子群算法(FRPSO)。FRPSO主要思想是在原算法的种群产生聚集现象的时候，改变那些适应值最差的粒子。通过不断重新初始化种群中适应值最差的那些粒子，来避免算法陷入局部极小。
　　 作者对改进的粒子群算法做了大量的研究，通过实验证明了改进的FRPSO算法能有效地帮助算法跳出局部极小，比原来的算法在性能上有了很大的提高，并将改进的FRPSO算法应用到神经网络参数优化中。通过对BP算法、GA算法和FRPSO算法的分析比较，结果验证了改进的FRPSO算法的有效性、优越性及可行性。