求解大规模优化问题的有限记忆拟牛顿法

摘要

拟牛顿法是一类有效的求解无约束优化问题的方法.然而实例表明拟牛顿法被用于求解非凸函数极小值问题时不一定全局收敛，为此人们提出了拟牛顿法的许多修正形式，如保守BFGS(CBFGS)方法、修正BFGS(MBFGS)方法等，但这些修正仍存在某些不足.为求解大规模优化问题人们对拟牛顿法进行改善得到了有限记忆拟牛顿法，但该类方法在求解病态问题时几乎失效，因此人们在有限记忆类方法中使用正规化策略改善其数值效果，但在其修正公式中，初始矩阵通常只能取常量矩阵而丢失了某些与迭代有关的有用信息，基于已有拟牛顿法和有限记忆拟牛顿法的不足，在本文中，我们提出了带比例因子的BFGS(SBFGS)修正方法以及其有限记忆类形式(L-SBFGS)，理论分析和数值测试表明，本文所提出的方法是有效的和数值稳定的.
　　 本文首先介绍无约束优化问题的求解方法，重点介绍BFGS算法和有限记忆BFGS算法的研究及发展现状，并且提出了本文的工作设想.
　　 其次我们在CBFGS方法基础上，提出了带比例因子的修正BFGS(SBFGS)算法，与CBFGS方法比较，SBFGS方法产生的拟牛顿矩阵能随迭代进行而被有效修正，因而能更好地近似Hessian矩阵.而且我们证明SBFGS方法在求解非凸函数极小值问题时无论使用Wolfe搜索准则还是Armijo搜索准则来计算步长都具有全局收敛性.
　　 再次我们基于Byrd、Nocedal等给出的紧凑表示公式，将提出的SBFGS公式推广到有限记忆框架内，提出了一种求解大规模无约束优化问题的紧凑有限记忆SBFGS(L-SBFGS)算法，特别考虑了包含迭代信息的初始矩阵的选取技巧，然后分别证明该算法在Wolfe搜索准则和Armijo搜索准则下均有全局收敛性以及R-线性收敛速度.
　　 最后分别对所提出的SBFGS算法和L-SBFGS算法进行数值测试，并与已有的同类方法进行了数值比较.数值结果表明SBFGS算法和L-SBFGS算法改善了已有方法的数值效果.

目录

声明

摘要

符号说明

第1章 绪论

1．1 引言

1．2 线性搜索法则

1．3 拟牛顿法

1．3．1 拟牛顿法概述

1．3．2 拟牛顿法的研究现状

1．4 大规模无约束优化问题

1．4．1 有限记亿方法概述

1．4．2 有限内存方法的研究现状

1．5 本文主要工作及结构安排

第2章 SBFGS公式及其算法的收敛性分析

2．1 BFGS修正公式—SBFGS

2．2 SBFGS算法的导出

2．3 SBFGS算法的收敛性分析

第3章 L-SBFGS公式及其算法的收敛性分析

3．1 L-SBFGS公式的推导

3．2 L-SBFGS算法的导出

3．3 迭代矩阵的表示

3．4 算法的导出

3．5 算法的收敛性分析

第4章 数值试验

4．1 CBFGS算法与SBFGS算法数值结果比较及其分析

4．2 L-CBFGS算法与L-SBFGS算法数值结果比较及其分析

结论

参考文献

致谢