基于深度自动编码器的特征提取算法研究

摘要

机器学习在人工智能领域中扮演着极为重要的角色，它使得机器能够对各种事物构建模型，通过这些模型，机器就能够对我们的世界形成“认识”。近年来，机器学习能力得到了突飞猛进的发展，一方面归功于计算机硬件技术迅速发展使得存储成本大幅降低、计算速度大幅提升;更重要的是关于机器学习算法的研究获得了突破性进展，尤其是近年深度学习算法的提出，使得机器对世界的认识能力有了质的飞跃。
　　深度自动编码器是深度学习算法之一，它是一种深层神经网络，其最大的特点就是通过一种非监督的逐层预训练使得网络有一个较好的初始值，再通过有监督的微调训练调整整个网络的权值，最终能够有效地提取数据中关键信息，形成特征。本文在研究深度自动编码器算法的同时，也注重研究各类常用特征提取算法与分类器算法，通过实验比较各类算法差异，并探索改进深度自动编码器的方式。本论文主要研究内容如下:
　　(1)研究了多种征特征提取算法，包括经典的特征提取算法:主成分分析、线性判别分析、核主成分分析，为区别深度学习算法，本文中将其概括为“浅层”学习算法。除了深度自动编码器外，本文还研究了基于受限玻尔兹曼机的深度学习算法，包括自动编码器的几种改进。通过图像识别实验对各个算法性能进行比较。
　　(2)研究了多种分类器，包括Softmax、支持向量机以及K最近邻。将深度自动编码器与各种分类器结合，通过实验比较分类性能。
　　(3)为了进一步提升深度自动编码器的特征学习能力，提出一种基于栈式去噪自动编码器的边际Fisher分析算法，该算法将边际Fisher分析运用于深度自动编码器有监督微调阶段，通过描述同类样本紧凑性的本征图与描述异类样本分离性的惩罚图来优化数据到特征空间的映射关系，通过实验验证了该方法可行性。

目录

声明

摘要

第一章 绪论

1．1 本文研究的目的及意义

1．2 监督学习

1．3 非监督学习

1．4 半监督学习

1．5 本文主要研究内容

第二章 图像特征提取的一般方法

2．1 图像特征提取概述

2．2 浅层学习算法

2．2．1 主成分分析方法(PCA)

2．2．2 线性判别分析(LDA)

2．2．3 基于核的主成分分析方法(KPCA)

2．3 深度学习算法

2．3．1 深度学习的概念

2．3．2 受限玻尔兹曼机(RBM)

2．3．3 深度信念网络

2．4 分类器

2．4．1 Softmax

2．4．2 支持向量机(SVM)

2．4．3 K最邻近规则分类(KNN)

2．5 本章小结

第三章 基于深度自动编码器的特征提取方法

3．1 深度自动编码器

3．1．1 自动编码器

3．1．2 深度自动编码器的结构与训练

3．2 自动编码器的改进

3．2．1 稀疏自动编码器

3．2．2 降噪自动编码器

3．3 深度自动编码器的特征形成研究

3．4 实验与结果分析

3．4．1 CIFAR-10噪声图像识别实验

3．4．2 结合不同分类器的深度自动编码器实验

3．5 本章小结

第四章 基于深度自动编码器的边际Fisher分析图像识别算法

4．1 边际Fisher分析

4．2 基于深度自动编码器的边际Fisher分析

4．3 手写数字识别实验

4．4 CIFAR-10图像识别实验

4．5 本章小结

第五章 结论和展望

参考文献

致谢

附录