基于二阶导数的非凸约束优化的微分方程方法

摘要

本文旨在研究求解非凸约束优化问题的基于二阶导数的微分方程方法．原因有三个：一是很多最优化问题的人工神经网络方法都是由微分方程系统来刻画的，系统地研究微分方程方法可能为后者提供理论支撑；二是可以把有效的微分方程的数值解法用于求解非凸约束优化问题；三是二阶导数的微分方程方法往往具有快速的收敛性．本文主要研究基于一具体空间变换的微分方程系统，修正的 Evtushenko-Zhadan 系统和基于非线性 Lagrange 函数的微分方程系统． 取得的结果可概括如下: 1．第 2 章，基于一具体的空间变换，构造求解不等式约束优化问题的基于问题函数的一阶导数和基于二阶导数的微分方程系统．我们证明这两个系统具有性质：约束优化问题的KKT点是它们的渐近稳定的平衡点，且当初始点是可行点时，解轨迹将全部落于可行域中．我们还证明了两个微分方程系统欧拉离散迭代格式的局部收敛性和基于第二个系统的离散迭代格式的局部二次收敛性质．最后用两个离散迭代算法计算了若干个算例，数值结果表明基于二阶导数系统的算法具有较快的收敛速度． 2．第3章分两部分．第一部分分别给出求解等式约束优化问题的基于问题函数的一阶导数和二阶导数的修正的 Evtushenko-Zhadan 系统，证明了约束优化问题的KKT 点是两个系统的渐近稳定的平衡点；建立了这两个系统的Euler离散迭代格式，证明了它们的局部收敛性和基于二阶导数的微分方程系统的欧拉迭代方法的二阶收敛性．我们还构造了搜索方向由两个微分系统计算，步长采用Armijo线搜索的算法并证明了算法的收敛性．我们用采用Armijo步长的算法和龙格库塔法求解两个微分方程系统计算若干算例，数值结果表明龙格库塔的微分方程算法具有较好的稳定性和更高的精确度，基于二阶导数的微分方程系统的算法具有更快的收敛速度．第二部分讨论一般约束的优化问题的求解，分别给出基于问题函数的一阶导数和二阶导数的修正的 Evtushenko-Zhadan 系统，得到第一部分的所有的相应结果． 3．第 4 章，通过一类非线性Lagrange函数，分别基于问题函数的一阶导数和二阶导数建立求解不等式约束优化问题的两个微分方程系统．在适当的条件下，证明出这两个系统的渐近稳定性和 Euler 离散迭代格式的收敛性，包括基于二阶导数的微分方程算法的二阶收敛性．在此框架下，我们对由指数Lagrange函数和修正障碍函数生成的微分方程系统进行具体的讨论.

目录

文摘

英文文摘

声明

1绪论

1.1引言

1.2非线性最优化微分方程方法的研究现状

1.3常微分方程稳定性理论

1.3.1基本定义

1.3.2主要定理

1.3.3简单迭代格式的收敛性

1.4本文的主要工作

2一个空间变换下的微分方程方法

2.1几种空间变换的形式

2.2一阶导数的微分方程系统

2.3二阶导数的微分方程系统

2.4数值结果

3修正的Evtushenko-Zhadan系统

3.1求解等式约束优化问题的微分方程算法

3.1.1一阶导数的微分方程系统

3.1.2二阶导数的微分方程系统

3.1.3数值结果

3.2求解约束优化问题的两个微分方程算法

3.2.1一阶导数的微分方程系统

3.2.2 二阶导数的微分方程系统

3.2.3数值结果

4基于非线性Lagrange函数的微分方程方法

4.1一类基于非线性Lagrange函数微分方程系统的理论体系

4.1.1一阶导数的微分方程系统的理论结构

4.1.2二阶导数的微分方程系统的理论结构

4.2指数形式的Lagrange函数产生的微分方程系统

4.2.1一阶导数的微分方程系统

4.2.2 二阶导数的微分方程系统

4.2.3数值结果

4.3修正障碍函数产生的微分方程系统

4.3.1一阶导数的微分方程系统

4.3.2二阶导数的微分方程系统

4.3.3数值结果

5结论与展望

5.1 结论

5.2 今后研究工作展望

参考文献

创新点摘要

附录

攻读博士学位期间发表学术论文情况

致谢