主成分追踪的一阶优化算法研究

摘要

压缩感知和稀疏表示理论被广泛应用在信号和图像处理、计算机视觉和模式识别等领域。在实际应用中，因为涉及到高维数据的分析和处理，所以要充分合理地利用数据矩阵行和列之间的相关性，即矩阵的低秩性。低秩模型优化求解是NP问题，但可通过凸松弛将目标函数转换为凸函数，凸优化求解。主成分追踪是是本文的研究重点，该模型被广泛应用于计算机视觉，如视频前景提取和人脸识别图像预处理等。
　　凸优化问题可以通过一阶方法或二阶方法求解。虽然二阶方法求解迭代次数较少，但每步迭代过程复杂，很难有效求解大规模问题；而一阶方法只涉及矩阵或向量乘积的计算，无需对维数很大的矩阵求逆或矩阵分解，所以算法效率高，更适应于大规模实际应用问题。因此，本文重点研究图像和视频实际应用的一阶方法。
　　针对一阶方法收敛速度取决于目标函数的平滑性，本文采用Nesterov平滑技术，对主成分追踪的非平滑目标函数进行光滑处理。此外，本文在交替方向法的框架下，对一阶方法进行相应改进。首先，将近端梯度项引入算法，通过子问题近似求解，提高每步迭代收敛速率；接着，算法引入快速算子，基于对偶理论，对称求解拉格朗日乘子，进一步提高算法收敛速率。大规模主成分追踪的合成数据仿真实验表明，改进的一阶优化交替方向法迭代次数少、收敛快和稳定性高。在视频前景目标提取和人脸识别图像预处理实验中，一阶光滑交替方向法具有较好的效果，较高的计算效率。
　　主成分追踪的计算代价主要在每次迭代的奇异值分解上，而奇异值分解的计算复杂度高达O(n3)；因此，本文采用低秩矩阵分解方法来求解核范数，降低算法的复杂度。在视频前景目标提取实验中该方法有很好的提取效果；而在稀疏矩阵恢复实验中，该方法大大缩短了求解时间；且在加入噪声情况下，该方法比传统方法的恢复效果更好。

目录

封面

声明

中文摘要

英文摘要

目录

专用术语注释表

第一章 绪论

1.1研究背景和意义

1.2研究现状

1.3研究内容和结构安排

第二章 相关理论背景

2.1一阶方法

2.2主成分追踪

2.3本章小结

第三章 主成分追踪的快速交替方向法

3.1快速交替方向法

3.2仿真实验

3.3本章小结

第四章 平滑处理及主成分追踪应用研究

4.1平滑技术及主成分追踪算法

4.2应用研究

4.3本章小结

第五章 主成分追踪的核范数求解新方法

5.1核范数求解新方法

5.2仿真实验

5.3本章小结

第六章 总结与展望

6.1总结

6.2展望

参考文献

附录1 程序清单

附录2 攻读硕士学位期间撰写的论文

致谢