稀疏约束非负矩阵分解算法及其应用研究

摘要

近年来，矩阵分解方法在高维数据处理如人脸特征提取与信息重建等领域快速发展，它通过将高维数据映射到低维子空间，在实现降维的同时寻找原始数据的局部表示。非负矩阵分解是一种基于部分的矩阵分解方式，它通过寻找两个低秩的非负矩阵来逼近原始数据矩阵。由于非负矩阵分解中的非负性约束，其分解结果中没有负值，同时能够找到数据中的局部特征，这种基于部分的、纯加性的表示特点使其优于其它特征提取方法。非负矩阵分解能够发现原始数据的内在关联性，揭示数据的本质特征，自Lee和Seung提出该算法之后，就被广泛运用于计算机视觉、文本聚类和信号处理等领域。虽然非负矩阵分解能够无监督地对原始数据进行相对稀疏或局部化的描述，但是它分解结果的稀疏性只是非负性约束的副产品，并不是非负矩阵分解的目标，稀疏程度无法保证。因此如何提升非负矩阵分解的稀疏表达能力成为了研究热点。本文对稀疏性约束的矩阵分解方法进行了相关研究，在原始的算法模型中引入强稀疏约束，常用的方法是通过在基矩阵或者系数矩阵上添加L1范数约束来得到稀疏表示。与L1范数相比，L0范数是一种更直观的稀疏测度方式，它直接地反映矩阵中非零元素的个数。通过在非负矩阵分解的基矩阵和系数矩阵上施加L0范数约束，提出了一种强约束的矩阵分解方法。由于L0范数的非凸性，该稀疏非负矩阵分解模型求解是NP-hard问题，需要详尽的组合搜索，本文提出了一种近似求解方式。 本文的主要工作和创新点主要如下： (1)针对正交子空间非负矩阵分解(NMFOS)方法的稀疏表达能力较弱的问题，在NMFOS的模型中引入了L1范数约束，提出了稀疏约束正交子空间非负矩阵分解。该算法通过对NMFOS算法模型添加正则化的稀疏约束，使得矩阵分解结果更加稀疏，提高分解质量。文中给出了迭代更新规则，并通过文本聚类和人脸特征提取实验证明了该算法具有很好的聚类效果以及稀疏表达能力。 (2) Hoyer提出的稀疏约束非负矩阵分解是在非负矩阵分解的目标函数中添加了L1范数约束的正则化项，从而将非负矩阵分解和稀疏表示有机结合起来，建立了一个能够平衡重建误差的基于稀疏的非负矩阵分解线性模型。本文是在非负矩阵分解的模型中添加L0范数约束，因为L0范数能够更直观地度量矩阵的稀疏度，它直接反映矩阵非零元素的个数。在系数矩阵H上施加约束时，由于L0范数的非凸性，导致在稀疏编码阶段，求解L0范数优化问题是个NP-hard问题。为了解决该问题，本文采用逆向匹配的思想对非负最小二乘(NNLS)算法略做改进，提出了逆向稀疏的非负最小二乘(rsNNLS)方法。当L0范数约束作用在基矩阵W上时，将基向量投影到空间中最近的非负向量上，在每一次的迭代中，删除向量中的最小项，直至达到预期的稀疏度。通过在人脸识别和人脸特征提取的数值实验，证明了本文算法不仅识别率高，而且能够更加局部化地表示人脸图像。

目录

第一章 绪论

1.1 课题的研究背景及意义

1.2 基于子空间的特征提取

1.3 NMF的国内外研究现状

1.4 人脸识别

1.5 文本聚类

1.6 本文主要工作以及内容安排

第二章 非负矩阵分解算法

2.1 非负矩阵分解的发展及原理

2.2 非负矩阵分解模型

2.3 非负矩阵分解算法

2.4 本章小结

第三章 稀疏约束正交子空间非负矩阵分解

3.1 正交子空间非负矩阵分解(NMFOS)

3.2 稀疏约束正交子空间非负矩阵分解(NMFOS-SC)

3.3 数值实验

3.4 本章小结

第四章 基于L0范数约束的稀疏非负矩阵分解

4.1 稀疏非负矩阵分解算法

4.2 基于L0范数约束的稀疏非负矩阵分解

4.3 算法的实验结果

4.4 本章小结

第五章 总结与展望

5.1 论文总结

5.2 工作展望

参考文献

攻读硕士期间发表论文及参加科研情况

致谢