新型拉格朗日神经网络解决非光滑最优化问题的研究

摘要

优化问题是科学与工程应用中的一类重要问题，它包括组合优化问题和函数优化问题。研究者们已对优化问题开展了大量的研究工作并提出了很多解决方法。然而，在科学与工程应用中往往需要实时解，由于问题的复杂性，使用传统方法求解的速度已不能满足要求。一个解决此类问题颇具前景的方法便是使用人工神经网络。由于其内在的大规模并行机制以及快速执行的硬件结构使之执行效率显著优于传统优化算法。
　　最近几十年，研究学者提出了一些能够解决最优化问题的模型，但是这些模型大多都是基于早期的固定惩罚项系数的方法，在网络计算之前就必须得到具体的惩罚项系数值才能保证网络能够收敛到最优解集。然而很多情况下，这些数值都是难以计算的。本文拟借鉴拉格朗日乘子罚函数的思想提出一种解决非光滑非凸优化问题的神经网络模型，该网络模型的惩罚项系数是变量，且无需事先计算惩罚项系数的初始值仍能保证神经网络收敛到优化问题的最优解。具体内容如下:
　　本文首先分析了约束函数是线性受限的李普西斯函数。然后提出了一个新的拉格朗日神经网络模型，理论证明了当网络经过一定时间以后状态向量x会停留在可行域内，并且能够收敛到问题的关键点集。最后通过仿真实验来验证结论。
　　然后，本文又针对约束函数为非线性不等式的李普西斯函数情况进行了分析。利用Clarke广义梯度的理论和拉格朗日乘子法的思想，建立了一个微分包含的神经网络模型。首先通过函数的性质说明了网络解的存在性，接着利用能量函数的思想证明了网络是有平衡点的，并且平衡点属于问题的关键点集，当目标函数是凸函数的时候，平衡点就是问题的最优点。

目录

声明

摘要

第一章 绪论

1．1 人工神经网络的发展

1．1．1 人工神经网络的历史

1．1．2 人工神经网络结构

1．1．3 人工神经网络的学习方法

1．2 人工神经网络解决最优化问题的研究

1．3 课题研究意义

1．4 论文的组织结构

第二章 相关理论知识

2．1 相关基础概念

2．2 相关基本性质与定理

2．3 本章小结

第三章 神经网络解决线性受限李普西斯优化问题的研究

3．1 背景介绍

3．2 问题介绍

3．3 模型描述

3．4 主要结果

3．5 实验仿真

3．5．1 实验1简单约束条件

3．5．2 实验2分式约束条件

3．6 本章小结

第四章 神经网络解决非线性李普西斯优化问题的研究

4．1 背景介绍

4．2 问题介绍

4．3 模型描述

4．4 主要结果

4．5 实验仿真

4．5．1 实验1简单约束条件

4．5．2 实验2多个约束条件

4．5．3 实验3多元问题求解

4．6 本章小结

第五章 总结与展望

5．1 主要工作总结

5．2 下一步工作

参考文献

致谢

攻读硕士学位期间发表的学术论文