改进启发式动态规划算法在球杆系统控制中的应用

摘要

球杆系统可用来检验控制策略的效果，是控制理论研究中较为理想的试验手段。球杆系统本身是一个典型的非线性不稳定系统。它是一个通过控制杆的仰角而使杆上的小球稳定在任何指定位置上的装置。杆的一个很小的倾角就会使小球在杆上以一个正比于杆倾角正弦值的加速度运动。主要的控制目的就是把小球随时定位在杆的指定位置。
　　 近似动态规划（Approximate Dynamic Programming，ADP）是用近似的方法求次优解而非最优解，其最大的好处是可以避免动态规划产生的“维数灾”问题，并使这个理论的实际应用成为可能。启发式动态规划（Heuristic Dynamic Programming，HDP）是近似动态规划中最常用的一种表现形式。
　　 本文首先介绍了球杆系统的概念及研究现状，近似动态规划方法的概况以及发展阶段。其次，系统阐述了近似动态规划方法的理论基础，以及该方法的原理结构，并对其中的一种表现形式启发式动态规划的基本原理，基于神经网络训练过程做了详细的介绍，然后，具体介绍了球杆系统的原理及特性，对本文所采用的两种球杆系统的结构、参数做了具体的说明。
　　 作为本文的重点与核心部分，先是对HDP算法进行了改进，接着利用改进的HDP算法对两种球杆系统进行了仿真控制。对于线性化的支点位于中间的球杆系统，设计了改进的HDP控制器，介绍了训练的过程，设计步骤，并进行了控制效果分析；通过非线性系统引例引入，利用改进的HDP算法对非线性的支点位于左侧的球杆系统进行了仿真控制研究，同时也说明了神经网络训练的过程，以及控制器设计的步骤。结果表明，利用改进的HDP算法可以把小球稳定控制在杆的中心处，获得了较好的控制效果，验证了该算法的有效性。

目录

文摘

英文文摘

声明

第一章 绪论

1.1球杆系统简述及研究现状

1.2近似动态规划方法及其发展阶段

1.2.1近似动态规划方法简介

1.2.2近似动态规划方法的发展阶段

1.3本文的主要工作

第二章 近似动态规划方法

2.1近似动态规划方法的理论基础

2.1.1最优化原理

2.1.2动态规划

2.2近似动态规划方法

2.2.1近似动态规划方法原理

2.2.2启发式动态规划(HDP)

2.3本章小结

第三章 球杆系统

3.1球杆系统简介

3.2支点位于中间的球杆系统

3.2.1球杆系统的运动方程

3.2.2球杆系统的线性化方程

3.3支点位于左侧的球杆系统

3.4本章小结

第四章 基于改进的HDP算法的线性球杆系统控制

4.1线性球杆系统模型

4.2线性系统的改进的HDP算法

4.3线性球杆系统的改进的HDP控制器训练

4.4线性球杆系统的改进的HDP控制器设计步骤

4.5改进的HDP算法控线性球杆系统仿真及分析

4.6传统的HDP算法与改进的HDP算法的区别

4.7本章小结

第五章 基于改进的HDP算法的非线性球杆系统控制

5.1非线性球杆系统模型

5.2非线性系统的改进的HDP算法及收敛性分析

5.2.1非线性系统的改进的HDP算法

5.2.2非线性系统的改进的HDP算法收敛性分析

5.3非线性系统的改进的HDP算法引例

5.4非线性球杆系统的改进的HDP控制器训练

5.5非线性球杆系统的改进的HDP控制器设计步骤

5.6改进的HDP算法控非线性球杆系统仿真及分析

5.7本章小结

第六章 总结

参考文献

致谢

攻读学位期间发表的学术论文