面向分类和排序任务的波尔兹曼机模型研究

摘要

波尔兹曼机（BM）是一种常用于分布估计的随机图模型。本文研究波尔兹曼机在数据分类和信息检索任务中的新颖改进及应用。
　　文中首先针对分类限制波尔兹曼机（ClassRBM）的判别型学习目标函数，提出并分析了一种基于Rényi散度的泛化方法。具体的，我们将条件对数似然（CLL）目标进行了扩展，得到了一种更一般化的学习目标。可以证明，通过调节参数到特定值，这个泛化学习目标可以推导出一些已有的流行训练方法。更进一步的，我们证明了所提出的泛化学习目标实际上可以看作是在CLL学习目标的基础上引入一个基于Rényi散度的规则化项。另外，用基于样本的分布取代在基于散度的规则化项中的均匀分布，我们称这种改进为一般化的边际损失。文章所提出的泛化学习目标提供了一个可行的模型选择方法，有助于提升在数据分类的实验效果。在信息检索领域中，我们也提出一种新颖的利用BM进行检索的方法。我们利用全可见波尔兹曼机（BM）进行文档建模，目标是一般化传统语言模型所用的分布假设。该模型可以表示一类波尔兹曼分布，该分布比多项分布更为一般化。我们提出的文档波尔兹曼机（DBM）可以天然地获取词项之间的联系，进而获得更有效地查询似然。我们形式化地证明了在特定条件（只学习一阶参数）下，DBM具有和传统文档语言模型相同的查询效果。文中还讨论了DBM与信息检索领域中其他图模型（比如马尔科夫随机域模型）的关系。文档重排实验的结果显示了所提出的DBM在信息检索中的潜力。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 引言

1.1波尔兹曼机简介

1.2波尔兹曼机的研究现状

第二章 分类限制波尔兹曼机的泛化学习方法

2.1判别型学习目标的泛化

2.2目标函数的梯度

2.3基于散度的分析

第三章 文档波尔兹曼机模型

3.1利用波尔兹曼机的文档建模过程

3.2基于文档波尔兹曼机的查询生成

3.3利用去语料库全局信息对模型的平滑

3.4文档波尔兹曼机的分析

第四章 数据分类实验

4.1实验设置

4.2人脸识别实验

4.3文档分类

4.4一般化边际损失的有效性

第五章 信息检索实验

5.1实验设置

5.2文档模型比较

5.3包含平滑方法的文档模型比较

5.4实验分析

第六章 总结

参考文献

发表论文和参加科研情况说明

致谢