视觉印象深度学习算法研究

摘要

视觉印象是储存在人们记忆中的视觉信息，它是视觉认知过程中的一种重要形式。人类通过视觉获得的感官刺激，经由大脑的信息处理之后，形成有关认知客体的形象。这个形象以记忆的形式储存在脑海中，构成能够帮助人类理解与认知的视觉印象。视觉印象是人类大脑能够准确高效地完成各种各样复杂任务的基础。大脑在大部分时候直接借助于记忆中的视觉印象帮助视觉信息的处理，而不是通过盲目地计算。由于人类在认知客观事物时，八成以上的信息都来源于视觉并且在进行目标识别等任务中，人们总是通过已有的视觉印象去认知当前的事物，因此研究视觉印象机制对于模式识别、计算机视觉等领域具有重要的作用。
　　深度学习通过堆叠单层模块构建一种深层的非线性网络，能够实现对复杂函数的无限逼近。深度学习能够以非监督的形式逐渐学习出不同抽象级别的特征，提供一种更具表现力的分布式表示方式。由于其自动学习特征的特性，使得相对于传统特征选择方法来说，深度学习节省了人工设计特征的代价。深度学习高度有效的特征提取方式，使其在目标识别等领域的应用都带来了突破性的结果。
　　人类视觉皮层具有一个深度的结构。从模拟生物机制的角度，这成为支持深度学习技术的一个强有力的证据。从某种程度上，深度学习对人类逐层进行的认知过程进行了模拟。人脑的深度结构决定了视觉印象是对视觉信息逐步抽象的过程。这意味着逐层抽象的视觉印象能够与深度学习逐层提取的隐藏特征相对应。因而，将视觉印象机制与深度学习技术相结合是十分有潜力的研究方向。如何利用深度学习方法模拟人类视觉认知过程中产生的视觉印象是一个亟待解决的问题。这个问题要求设计的深度学习算法一方面要能够体现视觉印象的一些特点，另一方面也要能够完成视觉印象的相关功能。在深度学习的基础上，如何能够有效地提取出具有层次结构的视觉印象以及如何保证获得的视觉印象对微小扰动的鲁棒性，都是在设计深度学习算法时需要面临的主要问题。
　　视觉印象深度问题是深度学习的核心问题之一，本文针对视觉印象深度问题的层次特征和稳定特征等方面进行研究，取得的成绩主要包括:
　　第一，本文在视觉印象的基础上，提出了两种视觉印象模型:再认模型和泛化模型用来模拟人类视觉系统的认知过程。本文给出利用一个深度神经网络学习到的视觉印象如何能够被有效地迁移到其他视觉认知任务中。通过复用以非监督的方式训练得到的隐藏层，提出的算法能够在目标任务中大幅度地减少需要被标注图像样本的数量。实验证实了在源任务中估计的参数的确能够帮助网络在目标任务中提高目标分类的结果。
　　第二，本文利用视觉印象给出一个用于训练拓扑深度神经网络的全新的方法。通过结合降噪自动编码器以及带有Hessian正则化项的收缩自动编码器，能够获得一个对输入数据的小幅度变化十分鲁棒的自动编码器。利用切传播算法来展示本文提出的方法如何能够捕获视觉印象的流形结构并且建立一个拓扑图册的图集。然后，利用学习到的特征去初始化一个深度网络，使用相对于其他模型更小的参数集合获得了更好的分类结果。
　　第三，给出了本文开发的一个捕获视觉印象李群流形结构的新算法。通过设计单层李群模型，验证该表示学习算法如何能够被堆叠出一个深层的架构。另外，本文还设计了一个基于李群的梯度下降算法来解决神经网络权重的学习问题。实验结果表明本文提出的方法能够获得更加适用于深度网络的特征并且该特征的计算是十分有效的。
　　综上所述，本文的创新点包括:(1)提出了李群视觉印象深度学习的表示新方法。(2)提出了视觉印象深度学习的度量方法，包括视觉印象深度学习的层次度量、拓扑度量和李群度量。(3)提出了视觉印象深度学习新算法。

目录

声明

摘要

第一章 引言

1．1 视觉印象的研究进展

1．2 深度学习研究进展

1．3 李群学习的研究进展

1．4 问题提出

1．5 研究内容与目标

1．6 内容安排

第二章 视觉印象深度学习的表示

2．1 引言

2．2 视觉印象深度学习的基本概念

2．3 视觉印象的公理系统

2．4 视觉印象深度学习的表示方法

2．4．1 视觉印象深度学习的层次表示

2．4．2 视觉印象深度学习的拓扑表示

2．4．3 视觉印象深度学习的李群表示

2．5 本章小结

第三章 视觉印象深度学习的度量方法

3．1 引言

3．2 视觉印象深度学习层次表示的度量

3．3 视觉印象深度学习拓扑表示的度量

3．4 视觉印象深度学习李群表示的度量

3．5 本章小结

第四章 视觉印象深度学习模型

4．1 引言

4．2 视觉印象层次深度学习模型

4．2．1 再认模型

4．2．2 泛化模型

4．3 视觉印象拓扑深度学习模型

4．4 视觉印象李群深度学习模型

4．5 本章小结

第五章 视觉印象深度学习算法

5．1 引言

5．2 视觉印象层次深度学习算法

5．3 视觉印象拓扑深度学习算法

5．4 视觉印象李群深度学习算法

5．5 本章小结

第六章 实例验证与分析

6．1 引言

6．2 视觉印象层次深度学习实验

6．3 视觉印象拓扑深度学习实验

6．4 视觉印象李群深度学习实验

6．5 本章小结

第七章 结论与展望

7．1 结论

7．2 展望

参考文献

攻读学位期间参与的科研项目与发表(录用)论文情况

附录

致谢