基于协同粒子群算法的卷积神经网络优化研究

摘要

近年来，卷积神经网络作为深度学习领域一个重要的工具，应用在许多计算机视觉任务上，并取得了卓越的性能。但卷积神经网络的训练还是一个挑战。
　　卷积神经网络的训练问题本质上是一个大规模的优化问题，当问题规模增大时，很多启发式优化算法失去了其在低维问题上性能。通过使用多个模块同时对问题子空间进行搜索，模块之间进行信息交换，合作协同策略能提高该类算法在求解高维问题时的能力。
　　本文首先介绍卷积神经网络的基本原理、网络结构。接下来介绍基本粒子群优化（Particle Swarm Optimization，PSO）算法的原理、算法流程，分析了将协同策略用于PSO算法的协同粒子群优化（Cooperative Particle Swarm Optimization，CPSO）算法，讨论了几种不同CPSO算法的优缺点，并在此基础上提出了层次CPSO（Hierarchy Cooperative Particle Swarm Optimization，HCPSO）算法。该方法通过将多个不同分组大小的CPSO算法以一种层次递进的方式综合在一起，充分利用分组大小不同时CPSO算法的特性，使得该算法既能保留一定的收敛速度，又能具有逃离局部最优值的能力。多个复杂标准测试函数上的实验结果表明HCPSO算法具有较优的性能表现。
　　最后文中使用多种CPSO算法在CIFAR-10数据集上来训练LeNet-7网络，并比较各种训练方法的性能。结果表明，单纯的CPSO算法相比梯度下降算法有明显的劣势，但在使用各种CPSO算法的比较中发现，HCPSO算法的表现优于其他CPSO算法。在高维复杂的场景中，CPSO算法在早期快速降到平缓的区域导致收敛停滞，发生大量粒子的聚集，导致陷入局部最优点。本文提出了改进算法，将CPSO与梯度下降法结合，利用梯度下降法的局部搜索能力，促使CPSO算法跳出停滞状态而继续进行探索，结果表明该方法在多数情况下获得了性能提升，其中使用层次CPSO算法和梯度下降法的混合方法获得了最优的结果。

目录

声明

1 绪论

1.1 研究背景与意义

1.2 粒子群优化算法的国内外研究现状

1.3 本文的主要工作和内容安排

2 人工神经网络和卷积神经网络

2.1 人工神经网络

2.2 卷积神经网络概述

2.3 卷积神经网络的结构

2.4 卷积神经网络的训练

2.5 本章小结

3 层次协同粒子群优化算法

3.1 粒子群优化算法

3.2 协同粒子群优化算法

3.3 层次协同粒子群优化算法

3.4 实验设计与结果分析

3.5 本章小结

4 协同粒子群算法优化卷积神经网络

4.1 现有训练方法概述

4.2 协同粒子群算法训练卷积神经网络的可行性分析

4.3 协同粒子群算法训练卷积神经网络

4.4 实验与结果分析

4.5 本章小结

5 总结与展望

5.1 全文总结

5.2 课题展望

致谢

参考文献

附录 攻读学位期间取得的成果