基于深度学习的小样本图像分类方法研究

摘要

随着深度学习的快速发展，基于大数据的图像分类已取得了重要进展，在很多数据集上，已经超越了人类的识别水平。然而，小样本图像分类任务仍有很大的提升空间。鉴于现实世界中事物的数量是符合长尾分布的，即大部分事物的数量是很少的；并且人类学习一个概念并不需要成千上万的训练数据，小样本图像分类已经成为了当下计算机视觉和机器学习领域的研究热点。本文主要基于深度学习，研究少量训练样本下图像分类方法，主要工作包括如下几个方面： (1)提出了一个用于小样本图像分类的神经网络损失函数。虽然基于交叉熵损失函数的神经网络在许多领域取得了巨大的成功，但是当数据较少时，很难避免过拟合问题。为了解决这个问题，本文提出了一个新的神经网络损失函数。在模型训练过程中，所提出的损失函数能够自适应地调整决策边界之间的距离，从而使得模型提取出更有判别力的特征。在三个小样本数据集上的实验结果表明，所提出的方法与现有的正则化方法相比，有更好的泛化能力。 (2)提出了一个用于小样本图像分类的正交分类层。深度神经网络通常建模了一个巨大的函数空间，当训练数据较少时，将遭遇严重的过拟合问题，模型的不稳定性也会增加。为了解决这个问题，本文提出了一个正交分类层，移除传统全连接层中的部分连接，使得模型在训练和测试过程中，不同类别之间的权重向量保持正交。在四个小样本图像分类数据集上的实验结果表明，所提出方法具有较好的泛化能力，并且提高了模型的稳定性。 (3)提出了一个用于小样本图像分类的交互式神经网络。深度神经网络通常包含大量参数，需要大量的训练数据。当训练数据较少时，包含大量参数的神经网络很容易过拟合训练数据，出现模型方差大和泛化能力差等问题。为了解决这个问题，本文提出了一种用于小样本图像分类的新的集成方法，称为InterBoost。在训练过程中，InterBoost首先随机生成两个互补的数据集，分别训练相同结构的两个基分类器，然后通过两个基分类器之间的交互，生成两个互补数据集进行进一步的训练。这个交互式训练过程将迭代进行，直到满足停止条件。在测试阶段，结合两个网络的输出，得到最终预测。在四个小样本数据集上的实验结果表明，该集成方法优于现有的集成分类方法。 (4)提出了一个用于小样本图像分类的有选择的快照集成方法。快照集成方法在训练过程中，通过寻找损失函数的多个局部最小，获得不同的基分类器，在测试阶段进行集成预测。然而，当训练数据较少时，模型的初始化参数将极大的影响快照集成的分类性能，导致模型稳定性下降。为了解决这个问题，本文提出了一个新的集成学习方法，称作有选择的快照集成方法。在训练过程中，通过设置阈值，监控并舍弃较差的模型初始化。在两个小样本分类数据集上的结果表明，该集成方法优于快照集成方法和其它的集成方法。

目录

声明

插图索引

附表索引

第1章绪论

1.1研究背景与意义

1.2小样本图像分类的国内外研究现状

(1)数据增强与领域自适应研究现状

(2)神经网络的正则化方法研究现状

(3)基于神经网络的集成学习方法研究现状

1.3本论文的主要研究内容

1.4本论文的结构安排

第2章大边界正则化的交叉熵损失函数

2.1引言

2.2大边界正则化的交叉熵损失函数

2.3实验结果及分析

2.3.1数据集及其预处理

2.3.2对比方法及其实现

2.3.3分类准确率

2.3.4特征可视化

2.3.5不同激活函数对方法的影响

2.4本章小结

第3章面向小样本图像分类的正交分类层

3.1引言

3.2正交分类层

3.2.1Dropout与 DropConnect

3.2.2正交分类层的数学解释

3.3实验结果及分析

3.3.1数据集及其预处理

3.3.2对比方法及其实现

3.3.3分类准确率

3.3.4在递减训练数据集下的分类准确率

3.3.5双样本T检测

3.3.6特征可视化

3.4本章小结

第4章面向小样本图像分类的交互式神经网络

4.1引言

4.2交互式神经网络-InterBoost

4.2.1数据集权重的初始化

4.2.2 InterBoost训练过程

4.2.3 InterBoost预测过程

4.2.4 InterBoost的讨论

4.3实验结果及分析

4.3.1数据集及其预处理

4.3.2 InterBoost的实现细节

4.3.3分类准确率

4.3.4在递减训练集下的分类准确率

4.3.5实验结果的讨论

4.4本章小结

第5章面向小样本图像分类的有选择的快照集成方法

5.1引言

5.2快照集成方法的初始化选择策略

5.3实验结果及分析

5.3.1数据集及其预处理

5.3.2对比方法及其实现

5.3.3分类准确率

5.3.4在递减训练集下的分类准确率

5.3.5阈值对所提出方法的影响

5.3.6实验结果讨论

5.4本章小结

总结与展望

参考文献

致谢

附录A：攻读硕士学位期间发表学术论文和参与项目