基于多流形正则化非负矩阵分解的多视图聚类

摘要

聚类的目的是根据数据点的相似性将一个数据集分割成组，在机器学习和数据挖掘中是一个基本主题。很多现实世界数据集是由不同视图组成的，不同的视图通常提供兼容和互补信息。因此，结合多视图的信息来获得更好的聚类性能比仅依赖单个视图更加自然。在过去的10年中多视图聚类已经成为热门话题，并且很多算法被提出。
　　多视图聚类结合多个试图中的相互补充的信息来得到更好的聚类表现，而不是只依赖单个视图。基于非负矩阵分解(NMF)的多视图聚类在众多不同的多视图聚类算法中显示出它们的竞争力。但是纯粹的非负矩阵分解并不能保护数据空间的局部几何结构。
　　在这篇文章中我们提出了一种多流形规范非负矩阵分解框架（MMNMF），它能保护流形的局部几何结构。直观上，对于多视图聚类，每一个视图都可以看做一个流形，那么数据集固有的流形自然就可以看做多个流形的混合物。假设数据集固有的流形镶嵌在所有视图的凸包中，我们框架的主要思想是寻找一个这样的本质流形和一个本质的（一致的）系数矩阵，然后用一个多流形正规因子合并它们以达到保护多视图数据空间的局部几何结构。
　　也就是说MMNMF认为数据集固有的本质流形镶嵌在所有视图的凸包中，并且将这样一个固有的流形与一个固有的（一致的）系数矩阵相结合，并用一个多流形正则项来保护多视图数据空间的局部几何结构。我们利用线性结合来构造这个固有的流形，并提出两种寻找固有系数矩阵的策略，从而得到MMNMF框架的两种实例化。实验结果显示我们提出的算法比其他现有的基于NMF算法更有效。另外我们还添加了判别信息和流形正规化判别信息来进一步提升我们提出算法的准确率。

目录

声明

摘要

1 绪论

1．1 聚类概述

1．2 非负矩阵分解简介

1．3 多视图聚类

1．4 主要工作

2 非负矩阵分解

2．1 NMF概念和性质

2．2 基本NMF及算法

2．2．1 相似度测量和目标函数

2．2．2 经典的最优化框架

2．2．3 优秀的算法

2．2．4 新视角

2．2．5 其他的一些开放性问题

2．3 约束NMF及其算法

2．3．1 稀疏NMF

2．3．2 正交NMF

2．3．3 判别式NMF

2．3．4 流形NMF

2．4 结构化NMF及其算法

2．4．1 权重NMF

2．4．2 卷积NMF

2．4．3 非负三矩阵分解

2．5 广义的NMF及其算法

2．5．1 半NMF

2．5．2 非负张量分解

2．5．3 非负矩阵集分解

2．5．4 核NMF

3 多流形正则化非负矩阵分解

3．1 多流形和NMF

3．2 框架概览

3．3 MMNMF1算法

3．3．1 目标函数

3．3．2 解决方案

3．4 MMNMF2算法

3．4．1 目标函数

3．4．2 解决方案

4 半监督多流形正则化非负矩阵分解

4．1 SMMNMF1算法

4．2 SMMNMF2算法

5 多流形正则化判别非负矩阵分解

6 实验

6．1 基准数据集

6．2 基本算法

6．3 评价标准

6．4 参数设置

6．5 算法收敛性

6．6 聚类结果

6．7 实验拓展：对参数的设置讨论

结论

参考文献

攻读硕士学位期间发表学术论文情况

致谢