基于正则化方法的非负矩阵分解算法及其应用研究

摘要

近年来，随着识别技术在自然资源分析、天气预报、导航、地图与地形配准、环境监测等领域的广泛应用，各种理论和方法也被大量应用于其中，非负矩阵分解方法作为一种代表性的矩阵分解方法也被受到了广泛的关注。非负矩阵分解方法是一种子空间分析方法，其本质是一种特征提取和选择的方法。其基本思想是在样本空间中寻找合适的子空间，通过将高维样本投影到低维子空间上，从而在子空间上获得样本的本质特征，利用这些特征实现分类识别。非负矩阵分解方法作为一项数据处理技术，揭示了数据的本质，已经被广泛应用到人脸检测与识别、文本分析和聚类等诸多方面的研究中。流形学习目前已经成为机器学习及模式识别等领域的研究热点之一，其主要目标是发现高维空间数据的低维光滑流形。基于流形学习的矩阵分解方法是应用比较广泛的一种特征抽取方法。本文通过挖掘数据本身固有的几何结构及利用少量监督信息，对基于流形学习的矩阵分解算法进行了研究，提出了几种新的矩阵分解算法，同时在提升分解矩阵稀疏表示能力方面对非负矩阵分解算法作出了一些改进。
　　本文的主要工作和创新成果点集中在以下几个方面:
　　(1)在基于交替非负最小二乘的非负矩阵分解(ANLS-NMF)算法的框架流程、投影梯度算法的算法结构和非负矩阵下逼近分解(NMU)算法的基础上。以减少算法时间复杂度为目标，将投影梯度方法和非负矩阵下逼近分解方法相结合，提出了基于投影梯度非负矩阵的下逼近分解(PGNMU)算法。
　　(2)在基于正交子空间非负矩阵分解(NMFOS)算法的基础上，考虑分解所得矩阵的稀疏表示能力，引入对分解矩阵的平滑l0范数约束，提出了基于平滑l0范数约束的正交子空间非负矩阵分解(NMFOS-SL0)算法。在该算法中，通过对分解矩阵引入平滑l0范数的约束，使得分解所得矩阵的稀疏性得以增强。
　　(3)在流形正则化的非负矩阵分解(NMF-KNN)算法的基础上，利用模糊集理论，提出了基于模糊K最近邻图的非负矩阵分解(NMF-FKNN)算法。在该方法中，首先根据模糊K最近邻算法来构造类内和类间KNN图，即类内模糊KNN图和类间模糊KNN图，然后将这两个图嵌入至非负矩阵分解的目标函数中，最后通过交替迭代更新规则来进行求解，并证明了在该交替迭代更新规则下目标函数的收敛性。
　　(4)在概念分解模型框架下，同时考虑了数据流形和特征流形的几何结构，并分别在数据空间和特征空间创建两个近邻图来反映它们各自的分布流形结构，提出了一种双图正则化的概念分解框架。在此框架下，首先给出了该双图正则化的概念分解模型，其次推导了该模型的交替迭代更新规则，最后证明了在该交替迭代更新规则下目标函数的收敛性。

目录

声明

摘要

1 绪论

1．1 模式识别的研究意义

1．2 机器学习

1．3 基于子空间的特征抽取方法

1．3．1 线性子空间学习方法概述

1．3．2 非线性子空间学习方法概述

1．4 人脸识别

1．4．1 统计方法

1．4．2 神经网络方法

1．4．3 模糊集方法

1．4．4 多分类器组合方法

1．5 文本聚类

1．6 本文研究工作概述

1．7 本文的内容安排

2 基于投影梯度非负矩阵的下逼近分解

2．1 引言

2．2 相关工作

2．2．1 非负矩阵分解

2．2．1 基于交替非负最小二乘法的NMF算法框架

2．2．2 投影梯度法

2．2．3 非负矩阵的F逼近分解

2．3 基于投影梯度非负矩阵的下逼近分解

2．3．1 改进的投影梯度法

2．3．2 基于投影梯度非负矩阵的下逼近分解

2．4 本章实验

2．5 本章小结

3 基于平滑l0范数约束的正交子空间非负矩阵分解

3．1 引言

3．2 相关工作

3．2．1 正交非负矩阵分解

3．2．2 正交子空间非负矩阵分解

3．3 基于平滑l0范数约束的正交子空间非负矩阵分解

3．3．1 平滑l0范数

3．2．2 NMFOS-SL0算法

3．3．3 NMFOS-SL0算法与梯度下降方法之间的关系

3．4 本章实验

3．5 PGNMU算法与NMFOS-SL0算法在分解矩阵稀疏性方面的比较

3．6 本章小结

4 基于模糊K最近邻图的非负矩阵分解

4．1 引言

4．2 相关工作

4．2．1 局部非负矩阵分解

4．2．2 Fisher非负矩阵分解

4．2．3 流形正则化的非负矩阵分解

4．3 基于模糊K最近邻图的非负矩阵分解算法

4．3．1 类内、类间模糊K最近邻图

4．3．2 NMF-FKNN模型

4．3．3 迭代更新规则

4．3．4 收敛性分析

4．4 本章实验

4．5 本章小结

5 双图正则化的概念分解

5．1 引言

5．2 相关工作

5．2．1 图正则化的非负矩阵分解

5．2．2 双正则化的联合聚类

5．2．3 双图正则化的非负矩阵分解

5．2．4 概念分解

5．2．5 局部连续概念分解

5．3 双图正则化的概念分解

5．3．1 数据图和特征图

5．3．2 双图正则化的概念分解模型

5．3．3 迭代更新规则

5．3．4 收敛性分析

5．3．5 复杂度分析

5．3．6 GCF算法与梯度下降算法之间的关系

5．3．7 面向一般数据矩阵的算法

5．4 本章实验

5．5 NMF-FKNN方法与GCF方法的比较

5．6 本章小结

6 结束语

6．1 总结

6．2 展望

致谢

参考文献

附录

攻读博士学位期间发表和录用的论文

攻读博士学位期间参加的科学研究情况