非线性最优化超记忆梯度算法与GLP梯度投影算法研究

摘要

最优化方法是运筹学的一个重要组成部分,在自然科学,社会科学,生产实践,工程设计和现代化管理中具有广泛的应用.很多实际问题都可以归结为最优化问题来解决.最优化问题的一个核心是设计有效的算法.该文研究非线性最优化中的超记忆梯度算法.首先给出求解无约束最优化问题的超记忆梯度下降算法,研究了算法的全局收敛性,并对算法进行数值实验.其次结合Rosen投影矩阵,广义投影矩阵和GLP投影等技术将无约束最优化问题的新的超记忆梯度算法进行推广,对约束最优化问题设计超记忆梯度投影算法,并对算法进行收敛性分析和数值实验.论文的创新点有六个:一.给出无约束最优化问题中的三项记忆梯度算法中的参数的取值范围,以保证得到目标函数的充分下降方向,设计求解无约束最优化问题的超记忆梯度下降算法,在去掉迭代点列有界的条件下研究了算法的全局收敛性,并证明新算法在目标函数是凸,伪凸,拟凸时具有较强的收敛性质.同时给出结合拟牛顿方程的三项记忆梯度算法,从而给出需要向量存储且具有全局收敛性的拟牛顿算法的修正形式.数值例子表明算法是有效的.二.利用Rosen投影矩阵,建立求解带线性或非线性不等式约束优化问题的三项记忆梯度Rosen投影下降算法,并证明了算法的收敛性.同时给出了结合FR,PR,HS共轭梯度参数的三项记忆梯度Rosen投影算法,从而将经典的共轭梯度法推广用于求解约束规划问题.数值例子表明算法是有效的.三.利用广义投影矩阵,建立求解非线性等式和不等式约束优化问题的一个三项记忆梯度广义投影算法,并在较弱条件下证明了算法的收敛性.数值例子表明算法是有效的.四.利用广义投影矩阵与处理任意初始点的技巧结合建立求解非线性不等式约束优化问题的一个初始点任意的三项记忆梯度广义投影算法,并在较弱条件下证明算法的收敛性.数值例子表明算法是有效的.五.对闭凸集约束的非线性规划问题构造了一个修正GLP梯度投影下降算法,在一维精确步长搜索和去掉迭代点列有界的条件下分析了算法的全局收敛性,并证明了算法具有较强的收敛性质.数值例子表明该算法是有效的.六.对闭凸集约束的非线性规划问题构造了一个修正GLP梯度投影下降算法,在广义Armijo步长直线搜索下分析了算法的全局收敛性,并证明了算法具有较强的收敛性质.数值例子表明该算法是有效的.

目录

文摘

英文文摘

0前言

0.1最优化问题

0.2超记忆梯度算法简介

0.3研究内容

参考文献

1.一类新的三项记忆梯度算法

1.1引言

1.2三项记忆梯度算法及性质

1.3算法全局收敛性

1.4广义凸规划的收敛特征

1.5算法讨论与数值实验

参考文献

2一个新的三项记忆梯度Rosen投影算法

2.1引言

2.2三项记忆梯度Rosen算法及性质

2.3算法全局收敛性

2.4数值实验

参考文献

3一个新的三项记忆梯度广义投影算法

3.1引言

3.2问题与假设

3.3算法及性质

3.4收敛性

3.5数值例子

参考文献

4任意初始点的的三项记忆梯度广义投影算法

4.1引言

4.2问题与算法

4.3全局收敛性

4.4数值实验

参考文献

5一维精确步长搜索的修正GLP梯度投影算法

5.1引言

5.2投影算子P(.)的性质

5.3算法及其性质

5.4算法收敛特征

5.5数值实验

参考文献

6直线步长搜索的修正GLP梯度投影算法

6.1引言

6.2投影算子P(.)的性质

6.3算法

6.4算法收敛特征

6.5广义凸规划的收敛特征

6.6数值例子

参考文献

攻读博士学位期间发表论文

论文创新点摘要

致谢

大连理工大学学位论文版权使用授权书