基于Theta纯相关的受限制玻尔兹曼机改进方法

摘要

随着深度学习的不断发展，深度网络模型在近年来的信号及信息处理等多个领域取得了引人瞩目的成绩。受限制玻尔兹曼机作为深度置信网络中的基本学习单元，在深度学习领域起着非常重要的作用。对于受限制玻尔兹曼机来说，最棘手的问题就是模型选择。在模型中选择一个不恰当的隐节点个数或者随着受限制玻尔兹曼机的堆叠造成的过大的自由参数空间都会轻易地导致模型过拟合问题的出现。 为了改善过拟合问题，本文提出了纯相关受限制玻尔兹曼机。相比于标准的受限制玻尔兹曼机，纯相关受限制玻尔兹曼机对不同的数据能够自动地调整自身的网络结构。这样做的目的是为了使模型自身的复杂度更好地适应给定的数据，从而增强模型的泛化能力，控制过拟合风险。具体做法是：对数据进行预训练以此获取数据特征间的统计相关性，在模型结构的构建阶段，本文提出一种新型构建算法，该算法可以利用已经获得地相关性信息来构建纯相关受限制玻尔兹曼机。 本文中，我们利用Theta纯相关模型来挖掘数据特征间的相关性。Theta纯相关模型是定义在信息几何理论基础上的用于检测变量之间统计相关性的模型。信息几何采用微分几何方法研究概率及统计模型。它把一族概率分布看作高维空间里的一个黎曼流形，通过微分几何方法分析流形的几何结构，以此获得概率分布。 实验部分，我们利用MNIST手写数字集来验证纯相关受限制玻尔兹曼机的有效性。在实验阶段，我们设计了三组实验从不同的角度检验纯相关受限制玻尔兹曼机，实验结果显示，纯相关受限制玻尔兹曼机能够有效地改善过拟合问题，提高模型的分类准确率。

目录

声明

第1章 绪论

1.1研究背景及研究意义

1.2国内外研究现状

1.3本文的研究内容

1.4本文组织结构

第2章 纯相关模型概述

2.1信息几何原理概述及相关应用简述

2.2高阶纯依赖谱系

2.3 Theta纯依赖检验方法

第3章 受限制玻尔兹曼机概述

3.1受限制玻尔兹曼机的基本模型

3.2基于对比散度的RBM快速学习算法

3.3受限制玻耳兹曼机在深度学习中的应用

第4章 纯相关玻尔兹曼机

4.1纯相关玻尔兹曼机模型概述

4.2纯相关玻尔兹曼机构建算法

第5章 实验

5.1 MNIST手写数字集介绍

5.2手写参数设置

5.3模型性能分析

第6章 总结和展望

参考文献

致谢