带非光滑凸正则化项矩阵函数的加速梯度下降算法改进

摘要

带非光滑凸正则项的矩阵函数优化问题是一类在许多领域都有应用的问题,目前已有众多关于这类问题的工作。对于这类问题,人们通常会利用梯度下降法对光滑函数进行近似,得到原函数的近似函数列,近似函数列的优化问题为线性约束核范数最小化问题(Linearly Constrained Nuclear Norm Minimization),在假设线性约束核范数最小化问题可以快速精确恢复的前提下,梯度下降法的收敛速度可以达到与光滑问题一样的O（1/k）,而在[1]中求解向量函数的优化问题之时,使用加速梯度下降法进行了加速,收敛速率可以达到O（1/k2）。在前人的工作中使用梯度下降法解决这类矩阵优化问题之时,通常在求解线性约束核范数最小化问题之时采用的是半定规划方法[45]或奇异值分解法[8],它们在计算大型矩阵之时代价较大,本文针对这一点选用不动点延拓迭代算法(Fixed Point Continuation)[17]加以改进,改进之后的算法可以更有效地针对较大的矩阵计算情况。

目录

声明

摘要

1 绪论

2 背景

2．1 多任务学习

2．2矩阵填充

3 问题分析

3．1梯度下降法

3．2加速梯度下降法

3．3 收敛速率

4 模型改进：不动点迭代延拓算法

5 数值实验

6总结与展望

参考文献

致谢