无约束最优化问题与非线性方程组的若干解法研究

摘要

本文主要研究求解大规模无约束最优化问题的非线性共轭梯度法和谱梯度法及它们的推广形式，并进一步扩展和构建求解大规模非线性单调方程组问题的无导数投影法，建立方法的全局收敛性定理，并利用大量的数值试验展示方法的有效性和稳定性。
　　我们首先在第1章回顾了将要研究问题的背景和已有结果，然后阐述了本文的选题动机和主要工作。在第2-3章，我们从不同角度研究了求解无约束优化问题的杂交LS-DY共轭梯度法和三项HS共轭梯度法，分别记为HLSDY方法和TMHS方法。这两种方法的重要性质是HLSDY方法的搜索方向即满足D-L共轭条件又与牛顿搜索方向一致，TMHS方法的搜索方向即满足传统共轭条件又具有充分下降性质。重要的是，这些性质不依赖于线搜索条件。在精确线搜索下，HLSDY方法和TMHS方法分别退化为传统的LS方法和HS方法。
　　对于非线性共轭梯度法，搜索方向的性质对于算法的收敛性研究和数值效果具有重要影响，我们在HLSDY方法中采用了著名的Powell重新开始准则，在强Wolfe线搜索条件下也证明了HLSDY方法能产生充分下降方向，且对一般无约束最优化问题具有全局收敛性。在适当的假设条件下，我们证明了TMHS方法在标准Wolfe线搜索下用于求解无约束最优化问题的全局收敛性。通过对CUTEr函数库中大量的无约束测试问题进行试验，大量数值结果表明，HLSDY方法和TMHS方法是非常有效的。
　　我们在第4章提出一种修正的谱梯度法，该方法的一个重要特征是在没有任何线搜索时总能产生充分下降方向。在Armijo线搜索条件下，所提方法对求解无约束最优化问题具有全局收敛性。特别是，我们结合两阶段法将该方法应用于脉冲噪音去噪问题。在两阶段算法的第一阶段，采用自适应中值滤波方法来检测图像中的噪声点；在第二个阶段中采用修正的谱梯度法求解一个极小化问题来恢复检测到的噪声点。
　　在第5章，基于一种修正的HS方法，我们首先提出一种求解大规模无约束优化问题的三项共轭梯度法，该方法的搜索方向满足D-L共轭条件，并在一定条件下与无记忆BFGS方法的搜索方向保持一致。然后，在Solodov和Svailter提出的投影技术基础上，我们推广上述方法建立求解大规模无约束非线性单调方程组问题的三项无导数投影法，记为TTDFP方法。在适当的假设条件下，我们证明了TTDFP方法的全局收敛性和R-线性收敛速度。
　　在第6章，基于传统DY方法的稳定性和多元谱梯度方法的有效性，我们讨论了求解大规模非线性方程组问题的无导数多元谱DY型投影法，记为MSDYP方法。在适当的假设条件下，无需借助评价函数，我们证明了MSDYP方法对带凸约束条件的非线性单调方程组是全局收敛的，并且具有R-线性收敛速度。
　　在第7章，针对压缩感知中的A1正则化问题，在CGD方法的基础上我们研究了一种修正的无导数投影法。在适当的条件下，我们建立了方法的全局收敛性定理，并且给出了数值试验结果。
　　最后，简要总结了本文内容，并且提出了一些遗留的问题和今后准备思考的问题。

目录

封面

中文摘要

英文摘要

目录

符号表

1 绪 论

1.1 非线性共轭梯度法

1.2 谱共轭梯度法

1.3 无导数投影法

1.4 本文的主要工作

1.5 本文的基本假设与重要引理

2 一种杂交的LS-DY方法

2.1 引言

2.2 算法及其充分下降性

2.3 全局收敛性分析

2.4 数值试验

3 一种修正的三项HS方法

3.1 引言

3.2 算法及其充分下降性

3.3 全局收敛性分析

3.4 数值试验

4 一种谱梯度法在脉冲噪声去噪中的应用

4.1 引言

4.2 算法及其充分下降性质

4.3 全局收敛性分析

4.4 数值试验

5 求解无约束非线性方程组的三项无导数投影法

5.1 引言

5.2 算法

5.3 全局收敛性和R-线性收敛速度

5.4 数值试验

6 求解约束非线性方程组的无导数多元谱DY型投影法

6.1 引言

6.2 算法

6.3 全局收敛性和R-线性收敛速度

6.4 数值试验

7 一种修正无导数投影法在压缩感知中的应用

7.1 引言

7.2 动机和算法

7.3 全局收敛性

7.4 数值试验

8 总结与展望

致谢

参考文献

附录

A. 作者在攻读博士学位期间发表的论文目录

B. 作者在攻读博士学位期间已完成但尚未发表的论文目录

C. 作者在攻读博士学位期间参加科研项目情况