基于样本分布的卷积神经网络的研究

摘要

随着信息技术的高速发展，图像作为一种描述目标物体十分形象有力的表达方式，慢慢变成从业者获取信息、分析信息和利用信息的重要手段。经过这些年的发展，深度学习方法取得了非常大的进步和发展，在多个领域取得了最新的成果，为多个领域的发展带来了新的机遇，如图像分割、图像分类和目标识别等，并促进了各种商业应用的发展。作为其中一个典型代表，应用在自动驾驶、智能监控等领域的以深度学习为基础的图像分类算法逐渐成为科学研究中的重要方向。
　　在深度神经网络的训练过程中，科研人员或开发人员往往可以通过多次调整网络的参数得到一个比较好的结果，但是，尤其是初学者，在使用深度卷积神经网络时常常会遇到一些问题。传统机器学习中的两个代表性问题是优化问题和泛化问题，由于反向传播算法的改善以及网络结构的改进（包括激活函数，连接方式等），优化已经不是迫在眉睫的问题。而且实际应用依赖于网络的泛化能力，它决定了一个网络是否真正的有效。正则化是解决深度学习中泛化问题的一个关键方法，因为它允许研究人员训练更复杂的模型，同时使网络保持较低的过拟合。在本文中，针对图像分类问题，通过预训练和隐式正则化两个训练阶段完成对深度卷积神经网络的特征边界的调整，以达到减轻网络的过拟合问题，强化网络的泛化能力的目的。首先通过预训练模型完成对样本的异常分析，然后在第二个训练阶段完成对网络的正则化，两个过程相互配合直至网络彻底收敛在合适的位置。算法通过改善样本分布及判决边界来达到增强网络泛化能力的目的，并且对于算法中的超参数具有很强的鲁棒性。同时针对目前各种网络初始化方法，两阶段训练后的网络模型的分类能力几乎不会受到影响。实验结果证实，我们的算法在MNIST，SVHN和USPS三个手写体数字图像数据库及CIFAR10和CIFAR100两个自然图像数据库取得了良好的结果。在大规模图像数据库ILSVRC2012上面也取得了相当有竞争力的表现。理论上，基于更先进的网络模型的两阶段训练算法能取得更好的实验结果。在最后，还运用了多种策略分析与讨论了深度卷积神经网络的两阶段训练过程中带来的正则化效果是如何发挥作用的。
　　本文的研究内容的创新点主要包括以下三处。创新点一:通过分析源域训练样本的分布特性，提出了基于样本密度的异常检测方法，为网络的隐式正则化训练阶段建立基础。创新点二:在网络第二个训练阶段建立了新颖的正则化方法用来减轻网络的过拟合。创新点三:通过可视化技术，从理论到实验上证明了两阶段训练方法对于神经网络训练过程的影响。
　　实验结果表明，即使与一些更先进的网络相比，我们的两阶段方法仍然有优势。事实上，本文提出的训练策略并不限于此。在未来的工作中，计划将这种训练策略应用到更先进的深度网络结构中。

目录

声明

摘要

1．1 研究背景与意义

1．2 国内外研究现状综述

1．3 主要研究内容

1．4 本文体系结构

第二章 深度卷积神经网络介绍及应用

2．1 深度卷积神经网络的结构

2．1．1 AlexNet

2．1．2 VGGNet

2．1．3 GoogLeNet

2．1．4 Network in Network

2．2 激活函数

2．3 优化方法

2．3．1 批量梯度下降

2．3．2 随机梯度下降

2．3．3 小批量梯度下降

2．4 实验平台

2．4．1 Caffe平台

2．4．2 Tensorflow平台

2．5 本章小结

第三章 预训练：样本异常检测

3．1 网络的预训练

3．2 异常样本检测

3．3 算法性质的证明及分析

3．4 本章小结

第四章 隐式正则化训练阶段

4．1 隐式正则化方案

4．2 算法性质分析

4．3 算法的合理性解释

4．3．1 与L2正则化的不同

4．3．2 解释为数据增强

4．3．3 解释为模型集成

4．4 本章小结

第五章 实验结果及分析

5．1 实验设置

5．2 实验结果对比

5．2．1 手写体分类

5．2．2 自然图像分类

5．2．3 异常检测结果及分析

5．3 异常检测算法对比

5．4 不同初始化设置对比

5．5 隐式正则化效果的验证

5．6 超参数敏感度

5．7 可视化分析

6．1 系统创新总结

6．2 技术展望

参考文献

致谢

攻读硕士学位期间发表论文