通过信息几何方法挖掘玻尔兹曼机的不变性

摘要

在机器学习领域,不变性是指学习模型从原始数据及原始数据经过某种变换而得到的变异体数据中获得相同结果的能力。
　　深度信念网络模型是近年来机器学习领域理论研究上最重要的突破,该模型已经被经验地发现具有一定程度的不变性,但仍然缺乏合理的理论解释。深度信念网络的基本组成元素是一种叫做受限玻尔兹曼机的能量模型,在这篇论文中,我们将通过信息几何方法从受限玻尔兹曼机的稳态分布来入手研究其不变性,而这种研究方法与前人从受限玻尔兹曼机的隐含层变量状态入手的方法有显著的区别。由于受限玻尔兹曼机与深度信念网络是紧密联系的,我们期望本论文的工作可以对未来进一步研究深度信念网络的不变性作出良好的启发。
　　具体地说,本论文基于信息几何方法提出了一种关于概率模型不变性的度量方法;基于这种度量,从理论和仿真实验两个方面证明了当数据及其变异体数据在局部信息上相似时,单层玻尔兹曼机具有部分不变性;同时,我们经验地发现受限玻尔兹曼机具有比单层玻尔兹曼机更好的不变性。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 介绍

1.2 研究内容

1.3 全文安排

第二章 研究背景

2.1 深度学习与深度信念网络

2.2 深度学习模型的不变性

2.3 信息几何

第三章 信息几何理论基础

3.1 参数坐标系的概念

3.2 参数坐标系的费舍尔信息矩阵

第四章 玻尔兹曼机理论基础

4.1 能量模型概念

4.2 波尔兹曼机

4.3 受限波尔兹曼机

4.4 对比分歧算法

第五章 通过信息几何度量受限玻尔兹曼机的不变性

5.1 通过信息几何方法度量概率流形上的不变性

5.2 单层玻尔兹曼机的不变性

5.3 单层玻尔兹曼机与受限玻尔兹曼机的联系

第六章 实验

6.1 实验数据

6.2 实验设定

6.3 实验结果

第七章 总结

参考文献

发表论文和参加科研情况说明

致谢