具有超线性收敛性质的一类广义拟牛顿算法

摘要

拟牛顿算法是求解最优化问题的常用方法,拟牛顿算法的构造基于所谓的拟牛顿方程.传统的拟牛顿方程只利用了目标函数的梯度信息而未使用目标函数值的信息,这无疑是对信息资源的浪费.本文提出了一种广义拟牛顿方程,新方程不仅利用到了目标函数的梯度信息,而且用到了目标函数值的信息.在此基础上推导出了一族广义拟牛顿校正公式,并给出了相应的广义拟牛顿算法.新算法是伪拟牛顿算法和拟牛顿算法的组合,具有很强的广泛性,它不仅包含了Zhang和焦宝聪提出的算法,还使得著名的Broyden族成为它的一种特殊形式.本文证明了新的广义拟牛顿算法只需选取充分小的ε就能保证迭代序列具有对称正定性以及在精确搜索下的线性不变性.当目标函数为二次函数时,算法具有方向共扼性和二次终止性.另外,本文还证明了在较弱的条件下算法具有整体收敛性和局部超线收敛性.数值实验结果表明新算法不仅可行而且效果较好.较为有趣的是,我们从另一个角度验证了这么一个事实:BFGS方法的确是到目前为止最有效的算法之一.

目录

文摘

英文文摘

承诺书

第一章绪论

1.1问题的来源

1.2拟牛顿算法

1.3凸函数的相关性质

1.4本文工作

第二章广义拟牛顿算法

2.1推导广义拟牛顿方程

2.2秩1校正

2.3秩2校正

第三章算法的性质分析

3.1算法的对称正定性

3.2算法的二次终止性

3.3算法的线性不变性

第四章整体收敛性和局部超线性收敛性

4.1整体收敛性

4.2超线性收敛性

第五章数值实验

图6.1：ROSENBROCK函数

表6.1

表6.2

表6.3

表6.4

表6.5

第六章总结与展望

参考文献

致谢