时变问题求解的神经动力学新方法、模型及理论分析

摘要

实时(数学)问题的求解在科学、工程和经济等领域中应用较为广泛。它在许多科学问题求解的过程中起着基础性作用，例如矩阵/向量计算、优化问题、控制理论、运动学、信号处理和模式识别。近年来，随着对神经网络的不断深入研究，人们已经研究和开发了许多基于梯度法的递归神经网络(RNN)。特别地，一些简单的、用于实时(在线)求解线性规划问题神经网络模型已经在硬件电路上实现了。而且，由于神经网络具有并行性、自适应能力和易于硬件实现等特点，神经动力学方法如今已经成为一种有效的在线求解和优化途径(或工具)之一。
　　 然而，基于传统梯度法的神经网络(GNN，简称梯度神经网络)对于实时(数学)问题的求解基本上都是考虑定常(即静态)情况的(而不是时变的)，或将时变问题借助于短时不变性假设而近似为定常(或静态)问题去处理。换句话说，在实践中，由时变因素引起的影响经常被忽略。这对于精度要求不是很高的工程项目，或许可以通过一些措施(如对相关设计参数提高要求)得以改善。但与此同时也可能需要付出额外的代价(如软硬件成本升高、分析/测试/运算时间加长和计算精度下降等)；更有些时候，就算付出了上述代价也不一定能克服因时变因素所带来的负面影响。因此，对于能否实时在线准确有效地求解时变问题将具有较为重要的理论研究价值和工程实践意义。本文主要是针对在工程实践应用中经常遇到而又无法避免的时变问题求解，提出了一种能实时在线准确有效地求解时变问题的神经动力学新方法而开展相关的研究工作。本文的主要工作如下：
　　 ⑴设计和分析了一种能实时准确有效地求解时变矩阵问题的新型神经网络(ZNN)。通过定义一种基于矩阵取值的、不定无界的误差函数，我们提出了一种能够实时求解时变Lyapunov矩阵方程的新型神经网络模型，并对该网络进行了详细的理论分析与论证，也与基于传统梯度法的递归神经网络模型进行了比较。仿真结果表明，由于利用了时变系数的导数信息，新型神经网络能够准确有效地求解时变Lyapunov矩阵问题；而梯度神经网络则是滞后地适应各时变参数的变化而被动调整。因此，梯度神经网络只能近似趋近于实时“运动”的准确解。
　　 ⑵根据等式约束的优化理论，通过构造一个Lagrange函数，我们提出了一种能实时在线求解时变凸二次规划问题的新型神经网络模型。通过对该网络详细的理论分析论证和仿真实验结果表明，该新型网络能够有效求解此类时变二次规划问题。
　　 ⑶根据新方法的设计理论，我们提出了一种实时求解非线性时变标量方程问题的动力学模型。与梯度神经动力学模型乘以一个导数项不同的是，新方法的数学模型是除以一个导数项。因此，对于新型动力学模型来说，初始值的选取成为该问题求解的关键所在。另外，根据时变线性方程组的求解模型，本文提出了其求解定常问题的简化模型及其相关的网络结构和电路实现方案图，并将时变的求解模型应用于机械臂逆运动学控制的实例中。
　　 ⑷为了能够硬件(如数字电路)实现，在新型神经网络定常矩阵求逆的连续模型基础上，根据等间隔的多点后向差分公式，我们研究了该类新型神经网络辅以线搜索算法的多点离散模型。分析和仿真研究表明，经典的牛顿迭代法可以看作是新型神经网络多点离散模型的一种特例。这或许可以成为牛顿迭代法来源的又一种合理诠释。

目录

文摘

英文文摘

论文说明：图表目录

声明

第1章绪论

1.1人工神经网络

1.2递归神经网络

1.2.1收敛性和稳定性定义

1.2.2四种基本类型的激励函数

1.3时变问题的研究综述

1.3.1研究背景和意义

1.3.2国内外研究现状

1.3.3时变问题求解的新方法

1.4论文主要的工作和创新点

1.5论文的章节安排

第2章实时求解线性规划问题的原对偶神经网络

2.1引言

2.2 LP原问题和它的对偶问题

2.3 PDNN模型的表述

2.4计算机仿真研究

2.5小结

第3章新型递归神经网络求解时变Lyapunov矩阵方程的设计与分析

3.1引言

3.2 Lyapunov矩阵方程的有关背景

3.3时变Lyapunov矩阵方程

3.4新型神经网络及收敛性分析

3.4.1新型神经网络求解器

3.4.2收敛性分析与结果

3.5梯度神经网络及其与ZNN模型的比较

3.5.1梯度神经网络模型

3.5.2与ZNN模型比较

3.6计算机仿真实验

3.6.1 MATLAB编程方法

3.6.2 Simulink建模与验证

3.7小结

第4章时变凸二次规划的实时求解

4.1引言

4.2时变二次规划问题

4.3神经网络求解器及比较

4.3.1新型神经网络(ZNN)

4.3.2梯度神经网络(GNN)

4.4收敛性理论分析与结果

4.5 MATLAB仿真实例

4.6 Simulink建模仿真

4.7小结

第5章新方法求解非线性标量和定常问题及其应用

5.1引言

5.2非线性标量方程

5.2.1梯度神经动力学模型

5.2.2新型神经动力学模型

5.2.3简化模型

5.2.4 ZD的收敛性分析

5.2.5计算机仿真实例

5.3线性定常方程组的求解

5.3.1简化动机

5.3.2线性时不变方程组

5.3.3数值仿真实例

5.4一个应用实例：逆运动学控制

5.5小结

第6章新型神经网络多点离散模型

6.1引言

6.2 ZNN模型和牛顿迭代法

6.3基于线搜索算法的ZNN多点迭代模型

6.3.1 ZNN多点迭代模型

6.3.2线搜索算法

6.4仿真实验结果

6.5小结

第7章总结与展望

参考文献

攻读博士学位期间论文发表及获奖情况

致谢