高维稀疏矩阵中非负隐特征分析的优化方法研究

摘要

随着信息技术的飞速发展，大数据时代的互联网应用系统涉及到的实体数量非常庞大，其中绝大多数实体间关系尚未可知，这样的信息网络具备高维、稀疏的特性，称作高维稀疏网络。高维稀疏矩阵是一种有效描述网络中实体以及实体间关系的重要数据结构。由于这些数据真实地反映了用户的历史行为，故蕴含大量有用信息，具有非常高的挖掘价值。非负隐特征模型高效地从含有非负数据的高维稀疏矩阵中挖掘知识，是目前最具前景的非负隐特征分析方法之一。单元素非负乘法更新算法基于高维稀疏矩阵构建非负隐特征模型，具有很高的计算和存储效率。然而，该算法本质上基于梯度下降算法优化目标，容易造成训练过程收敛速度过慢。针对上述问题，本文重点研究了一些优化方法来改善算法的收敛能力，进而提高非负隐特征模型的性能。主要包含以下研究：　　① 提出可变学习深度的单元素非负乘法更新算法。本算法通过线性和非线性控制策略隐式地调整学习率，进而达到控制算法学习深度的目的。本文给出了上述方法的更新规则，并通过严格的数学推导证明其收敛性。在真实高维稀疏数据集上测试了控制学习深度对非负隐特征模型性能的影响。实验结果表明学习深度的改变会显著影响模型性能。　　② 提出广义动量方法，构建快速收敛的非负隐特征模型。标准的动量方法能显著提升梯度下降算法的收敛速度，其更新规则明确地依赖于梯度项。在非负限定条件下，单元素非负乘法更新算法不再显式地包含梯度项。为了使动量方法与之相兼容，本文提出了广义动量的概念，推导并提出动量方法的广义形式。基于广义动量提出结合动量的单元素非负乘更新算法，构建快速收敛的非负隐特征模型。实验结果表明本文通过引入广义动量方法显著提升了单元素非负乘法更新算法的收敛速率，同时提高了非负隐特征模型对缺失值的预测准确性。　　③ 研究了Nesterov 快速梯度方法，结合该方法提出了另一种加速收敛的非负隐特征模型。本方法类似于动量方法，但是在计算速度向量时本质上考虑了二阶梯度信息，因此在理论上具备更有效的加速效果。本文推导了基于Nesterov方法加速的单元素非负乘法更新算法，构建加速收敛的非负隐特征模型。并在此基础上提出一种适应性调整动量超参数的策略。大规模数据集上的实验结果表明本文提出模型加速效果明显，同时能够提升非负隐特征分析模型的准确性。

目录

1 绪论

1.1 课题研究背景与意义

1.2 研究现状概述

1.3 主要研究内容和贡献

1.4 论文的结构安排

2 正则非负隐特征分析方法概述

2.1 非负矩阵分解

2.1.1 非负矩阵分解的基本概念

2.1.2 非负矩阵分解优化模型

2.1.3 非负矩阵分解算法求解

2.1.4 非负矩阵分解问题的最优性条件

2.2 正则非负隐特征分析

2.2.1 高维稀疏矩阵概念

2.2.2 正则非负隐特征分析的优化模型

2.2.3 正则非负隐特征模型的KKT条件解

2.2.4 带偏差的正则非负隐特征模型

2.3 隐特征模型评估标准

2.4 仿真实验

2.5 小结

3 基于学习深度变化的非负隐特征模型

3.1 引言

3.2 基于β更新策略的学习深度可变的NLF模型

3.3 基于β更新策略的学习深度可变的NLF模型

3.4 算法收敛性证明

3.5 实验验证

3.5.1 性能评价标准

3.5.2 实验数据集

3.5.3 实验总体设置

3.5.4 实验结果

3.6 小结

4 基于广义动量方法的非负隐特征模型

4.1 引言

4.2 动量方法概述

4.2.1 梯度下降算法的缺陷

4.2.2 经典动量方法

4.3 广义动量形式推导

4.4 基于SLF-NM2U算法的快速NLF模型

4.5 带偏差的快速NLF模型

4.6 算法设计与分析

4.7.1 性能评估标准

4.7.2 实验数据集

4.7.3 实验总体设置

4.7.4 超参数敏感性测试与结果分析

4.7.5 模型对比与结果分析

4.8 小结

5 基于Nesterov快速梯度方法的非负隐特征模型

5.1 引言

5.2.1 Nesterov 快速梯度方法原理

5.2.2 FGM和动量方法的联系

5.3 基于FGM的加速NLF模型

5.4 算法设计与分析

5.5 自适应动量参数的学习策略

5.6.1 性能评估标准

5.6.2 实验数据集

5.6.3 实验总体设置

5.6.4 超参数敏感性测试与结果分析

5.6.5 模型对比与结果分析

5.7 小结

6 总结与展望

6.1 总结全文

6.2 展望

参考文献

附录

A. 作者在攻读学位期间发表的论文目录

B. 作者在攻读学位期间取得的科研成果目录

C. 学位论文数据集

致谢