基于深度玻尔兹曼机的特征学习算法研究

摘要

近几年来，深度学习在图像、语音、视频等非结构化数据领域中获得了前所未有的成功，已成为人工智能和机器学习研究的热点。深层网络的优越性主要体现在更丰富表述信息的特征且具有更大的知识表示空间对客观世界进行表示。
　　伴随着大数据的到来，数据的获取变得更加容易，数据的格式也花样辈出，其学习的模型结构也越来越复杂，针对深度学习模型算法效率的提升的研究越来越受到关注。现如今常用的深层网络模型中，深度信念网络(Deep Belief Networks，DBN)是较为成熟的模型，它是由多个受限波尔兹曼机堆叠而成，通过隐藏层逐层向上抽取使信息能更抽象表达，故深层网络对输入有更好的描述能力。海量的数据可以使其深度学习模型的学习算法特征提取性能不断提高，所以在算法提升方面的研究显得尤为重要。
　　深度学习本质上仍然属于监督学习模型。通过大量的训练实例来不断的训练神经元之间的权重，最终使得整个神经网络按照最大的概率来生成训练数据，成功的深度学习应用往往要求较大的高质量的训练集。由于原始数据存在的错误和不规范，在现实中往往还需要对数据进行预处理。在当今大数据时代，这个预处理工作往往占据了全部项目的大部分时间和资源，大大限制了深度学习的实际应用。
　　本文主要贡献在于:
　　1.提出了一种新的基于深度置信网络模型学习算法改进，能够使模型提取特征的效率提高，使模型能更优的描述数据集的几何表示。在向上逐层贪婪算法中加入阈值来选择性的更新全局参数。在反向传播微调算法中在微调后期对网络最高层和最高N层的参数周期性更新迭代，这两种形式相结合来提高学习效率，减少模型的学习时间，并在最终的特征提取的效果上与改进前几乎相同。
　　2.针对特定假设条件下，引入了半监督的思想来解决一些特殊数据集的原始标识缺失导致的模型初始训练困难，这样能更有效的解决现实中时间和资源的浪费。结合半监督学习的思想，使用较少的训练集提高深度网络模型的分类准确性显得尤为重要。由于改进学习算法的方式有很多，其核心都是训练合适的权重使得整个网络的能量尽可能得达到最大值。
　　最后，实验结果表明，通过新的改进算法，训练模型的时间得到了有效的减少，同时模型的特征提取的学习效果基本不变。在前提假设的情况下DBN模型引入半监督思想之后，通过三种方法的半监督前期学习，在模型的最终的特征提取精度上得到了有效的提高。

目录

声明

摘要

第一章 绪论

1．1 目的与意义

1．2 国内外研究现状

1．2．1 机器学习概述

1．2．2 深度学习最新进展

1．3 论文组织结构

1．3．1 本文主要贡献

1．3．2 组织结构

1．4 本章小结

第二章 受限玻尔兹曼机模型及学习算法

2．1 RBM模型

2．2 RBM模型训练算法

2．2．1 对比散度算法

2．2．2 RBM的训练算法

2．3 RBM模型学习评估

2．4 本章小结

第三章 DBN网络模型与迭代策略

3．1 DBN网络模型介绍

3．2 网络模型训练过程与流程

3．3 网络模型的特征学习算法

3．4 学习迭代策略

3．5 本章小结

第四章 DBN学习算法改进及分析

4．1 基于T-RBM的DBN学习算法改进

4．1．1 改进学习算法动机

4．1．2 改进学习算法描述

4．2 基于BP算法DBN模型迭代策略

4．2．1 改进算法分析

4．2．2 改进算法描述

4．3 实验结果

4．4 本章小结

第五章 半监督DBN深度网络学习算法

5．1 半监督学习算法

5．1．1 半监督支持向量机

5．1．2 pHash算法

5．1．3 k-近邻(KNN)算法

5．2 引入半监督学习方式的DBN网络模型

5．2．1 前提条件

5．2．2 半监督的DBN网络模型

5．3 实验结果

5．4 本章小结

第六章 结束语

6．1 本文主要贡献

6．2 进一步研究工作

参考文献

致谢

研究成果及发表的论文

作者与导师简介