求解无约束优化问题的一类带线搜索的自适应信赖域算法

摘要

对一般的无约束优化问题及其特殊的非线性最小二乘问题而言，信赖域方法是一类有效的方法．由于它具有较好的可靠性和很强的收敛性，在近三十年来受到了最优化研究界的重视．目前，信赖域方法已经和传统的线搜索方法并列为非线性规划的两类主要数值方法．信赖域半径的选取对信赖域方法的效率有着很大的影响．黑龙在文[1]中给出了一类自适应信赖域算法，该算法利用R-函数以变化的速率来调整信赖域半径的大小，章祥荪在文[2]也给出了一类自适应信赖域算法，利用当前迭代点的梯度和海赛阵信息来选取当前迭代步的信赖域半径．数值实验表明，这两种方法都比传统的信赖域方法有效． 1991年Jorge Nocedal和袁亚湘合作首创性地提出了用信赖域方法和传统的线搜索方法相结合来构造新的方法，并以此给出了一个利用信赖域以及回溯(back-tracking)技巧的求解无约束优化问题的算法[3]．受[3]的启发，本文中的第一部分将文[1]中的方法与传统的线搜索方法结合起来，给出了一类求解无约束最优化问题的带线搜索的自适应信赖域算法．文中证明了新方法的全局收敛性，数值实验表明与文[1]中的信赖域算法相比，新算法更有效．本文中的第二部分把自适应信赖域算法与当前流行的非单调技术结合，构造了一类求解无约束最优化问题的带线搜索的非单调自适应信赖域算法，从而使第一部分得到推广． 在第一章中，简要地介绍了最优化问题的提出以及判断最优解常用的最优性条件，回顾了无约束优化问题常用的几类线搜索方法． 在第二章中，简要的介绍了信赖域方法，回顾了信赖域算法的主要发展过程，并进行简单的分析和说明． 在第三章中，把Wolfe线搜索与自适应信赖域算法结合起来构造了一类带线搜索的信赖域算法，并在适当的条件下证明了算法的全局收敛性． 在第四章中，把非单调技术应用到自适应信赖域方法中，给出了带线搜索的非单调自适应信赖域算法，并证明了算法的收敛性．

目录

文摘

英文文摘

首都师范大学学位论文原创性声明及授权使用声明

1非线性优化问题简介

1.1最优化问题的提出及最优性条件

1.2无约束优化问题的主要方法简介

1.3本文的创新点

2信赖域算法的研究简介

2.1信赖域算法

2.2子问题的性质及解法

2.3信赖域算法的全局收敛性

3Wolfe线搜索下的自适应信赖域算法

3.1引言

3.2算法

3.3主要结果

3.4数值实验

4无约束优化的带线搜索的非单调自适应信赖域算法

4.1引言

4.2算法

4.3主要结果

4.4数值实验

4.5结束语

5本文的后注说明

6参考文献

致谢