求解最优化问题的非线性共轭梯度法和自调比拟牛顿法

摘要

本文研究求解无约束优化问题和非线性方程组的非线性共轭梯度法和自调比拟牛顿法，建立这些方法的全局收敛性定理，并通过大量的数值试验对所提出的算法进行检验． 在第2章我们提出一类修正的共轭梯度法。算法具有下列优点：(1)算法产生的搜索方向满足dTkgk=-∥gk∥2.这种性质不依赖所采用的线性搜索；(2)当采取精确线性搜索时，修正的共轭梯度法还原为标准的共轭梯度法。我们还着重研究了修正的YT方法。我们证明在较弱的条件下修正的YT方法在标准的Armijo线性搜索下求解凸极小化问题时全局收敛．而且修正的YT+方法在强Wolfe线性搜索下求解非凸极小化问题时全局收敛．我们所做的大量数值试验结果表明该算法优于已有的数值结果最好的CG_DESCENT方法。 在第3章，我们提出一个修正的PRP方法。我们在较弱的条件下证明修正的PRP方法在一种Armijo型线性搜索下求解非凸极小化问题时全局收敛．同时我们证明修正的PRP+方法在强Wolfe线性搜索下求解非凸极小化问题时全局收敛．数值结果显示该方法比CG_DESCENT方法有更好的数值表现． 在第4章，基于Zhang，Zhou和Li[22]提出的三项修正PRP方法和本文第2章提出的修正PRP方法，我们提出求解非线性方程组的一类无导数非线性共轭梯度法。在较弱的条件下，我们证明该方法具有全局收敛性．数值结果表明该方法可与DF-SANE[90]相媲美． 在本文第5章，我们提出一种新的调比策略．通过利用谱系数直接调比拟牛顿方程，我们提出一种谱调比BFGS算法。谱调比．BFGS方法有一个比较好的自调比性质，能有效地校正大的特征值．在精确线性搜索下谱调比BFGS算法极小化严格凸二次函数具有二次终止性；并且单步法的收敛速度确保不比最速下降法的慢，而标准的BFGS算法在某些步可能会比最速下降法慢．我们同时证明谱调比BFGS算法在Wolfe线性搜索下求解凸问题时是全局收敛的并且收敛速度是R线性收敛的．数值结果表明谱调比BFGS算法比标准的BFGS算法有更好的数值表现． 在本文第6章，我们将第5章的算法加以推广提出谱调比Broyden族算法。同时我们考虑了Brorden族算法中参数取负值的情况．我们证明谱调比Broyden族算法具有谱调比BFGS算法的所有性质． 在第7章，基于第5章的谱调比BFGS算法我们提出一种求解大规模无约束优化的谱调比有限记忆BFGS算法。我们证明该算法用于求解一致凸最优化问题时具有全局收敛性．数值结果显示我们的方法可与有限记忆BFGS算法相媲美．

目录

文摘

英文文摘

声明

第1章绪论

1.1非线性共轭梯度法

1.2自调比拟牛顿法

1.3本文的主要工作与创新性

第2章 基于共轭条件的充分下降的共轭梯度法

2.1引言

2.2算法

2.3全局收敛性

2.4数值结果

第3章 一种两项的下降PRP方法

3.1引言

3.2算法

3.3收敛性分析

3.4数值结果

第4章 一族无导数非线性共轭梯度法求解非线性方程组

4.1引言

4.2算法

4.3收敛性分析

4.4数值结果

第5章 一种谱调比BFGS方法

5.1引言

5.2算法与性质

5.3收敛性分析

5.4数值结果

第6章 谱调比Broyden族拟牛顿法

6.1引言

6.2算法与性质

6.3收敛性分析

6.4数值结果

第7章 谱调比L-BFGS求解大规模无约束优化问题

7.1引言

7.2算法与收敛性分析

7.3迭代矩阵表示

7.4数值结果

结论

参考文献

附录A攻读学位期间所发表和投稿的学术论文目录

致谢