基于粒子群算法的LeNet-5卷积神经网络优化研究

摘要

近年来，无论在学术领域，还是在工业领域，深度神经网络模型都是一个热门的话题。各种顶级期刊和会议上每年都有大量深度神经网络的论文发表，同时，国外的谷歌、微软和Facebook等巨头，以及国内的百度、阿里巴巴和腾讯等大公司都投入了大量的资源去研究深度神经网络模型。
　　目前，深度神经网络的训练采用最多的还是经典的误差反向传播算法（BP），该算法的核心思想是梯度下降，容易陷入局部最优解，模型越复杂，陷入局部最优解的概率越大。深度神经网络模型参数动辄上百万，陷入局部最优的情形只会愈加严重。粒子群算法（PSO）是一种全局搜索算法，它使用多个粒子按一定策略对解空间进行并行搜索，并同时避免局部最优解陷阱，从而可以得到更优质的解。基于此，本论文尝试用PSO算法来优化深度神经网络，以缓解其局部最优问题。由于实验室资源的不足，论文选择了结构较为简单的LeNet-5深度卷积神经网络作为研究对象。LeNet-5是由深度学习的大师Yann LeCun提出，是最为经典的一种深度卷积神经网络模型，在手写数字识别领域取得了重大突破，本论文也是在手写数字标准库上做实验。
　　由于在卷积神经网络上直接调节PSO参数相当耗时，论文首先在复杂的标准函数上做优化仿真实验，以获取较佳的PSO参数。接着，论文比较了不同类型的PSO算法优化LeNet-5模型的性能，实验发现，局部版本的PSO性能优于全局版本的PSO，这印证了局部PSO的探索能力优于全局PSO的观点；在不同局部版本的PSO比较实验中，发现带环拓扑结构的PSO比采用随机拓扑结构的PSO性能更好。最后，论文在不同规模的数据集上，用PSO算法去优化LeNet-5模型。实验表明，粒子群算法在中小规模样本下训练得到的模型，相比BP算法有了很大的提升；然而，在大规模样本下，并没有取得期待的效果。对于PSO优化深度学习网络方法在大规模样本下的问题，论文有针对性的改进了PSO算法，以增强其探索能力。同时，将PSO算法与BP算法相结合，提出了一种混合算法。改进算法的性能最后在实验中得到了验证。