基于粒子群算法优化卷积神经网络结构

摘要

卷积神经网络（Convolutional Neural Network,CNN）在各领域应用非常广泛.训练的神经网络分类器的性能取决于其结构,而寻找一个最优CNN结构非常困难,这成为CNN应用的一大阻碍.首先,CNN的结构复杂多样,决定CNN结构的是超参数,这些超参数无法通过网络训练得到,需要人工设定且组合方式多样,而现有的方法多依赖于经验.其次,CNN训练的初始权重对CNN的学习有一定影响,一个好的CNN结构具有鲁棒性,可削弱初始权重对其影响.最后,对于不同的问题,CNN结构不同,需要重新选择CNN结构.本文针对CNN结构优化存在的问题做了以下研究: （1）研究了CNN的结构以及现有优化CNN的算法,通过分析算法原理和实验结果,讨论了优化CNN结构的重要性. （2）研究了现有粒子群算法（Particle Swarm Optimization,PSO）优化CNN结构的方法.在此基础上,提出了改进的基于粒子群算法优化卷积神经网络结构（Improved Particle Swarm Optimization Convolutional Neural Network,IPSOCNN）算法,增加超参数的个数,丰富了CNN结构的多样性,使CNN结构的优化更加自动化,解决了人工选择的不确定性问题.实验表明,在MNIST数据集和AR数据集上,相比人工选择的最佳CNN结构及现有优化CNN算法,IPSOCNN算法的结果正确率更高. （3）经过研究及实验分析,IPSOCNN算法存在进一步优化空间.由于量子粒子群优化算法（Quantum Particle Swarm Optimization,QPSO）的性能优于PSO算法,并且其参数通过学习自动选择,本文提出了基于量子粒子群算法优化卷积神经网络结构（Quantum Particle Swarm Optimization Convolutional Neural Network,QPSOCNN）算法.实验结果表明,QPSOCNN算法比IPSOCNN算法有更高的正确率.

目录

声明

第一章 绪论

§1.1 研究背景与意义

§1.2 国内外研究进展

§1.3 本文工作及内容安排

第二章 预备知识

§2.1 卷积神经网络

§2.2 粒子群算法

§2.3 本章小结

第三章 基于粒子群算法优化卷积神经网络结构

§3.1 卷积神经网络结构分析

§3.2 基于粒子群算法优化卷积神经网络结构(IPSOCNN)

§3.3 基于量子粒子群算法优化卷积神经网络结构(QPSOCNN)

§3.4 本章小结

第四章 实验分析

§4.1 实验环境

§4.2 实验设置

§4.3 实验结果与分析

§4.4 本章小结

第五章 总结与展望

§5.1 全文总结

§5.2 课题展望

参考文献

致谢

攻读硕士学位期间完成的论文