基于强化学习的扑翼飞行机器人控制设计与研究

摘要

近些年来，随着微机电技术、机器人技术、新材料技术和新能源技术的快速发展，对扑翼飞行机器人的研究也逐渐进入快车道，并得到了来自很多国家的关注。相比较传统的飞行方式，扑翼式飞行在能源利用率、灵活性以及伪装性方面都有较大的优势。因此，研发新型的扑翼飞行机器人将是未来飞行器研究的重要方向。与此同时，更智能化、更高效的控制方式的研究也迫切需要。本篇论文主要研究强化学习在扑翼飞行机器人的姿态控制和位置控制方面的应用。 首先，本文将从扑翼飞行机器人的系统建模出发，考虑一个六自由度的仿蜂鸟模型作为研究对象，再通过建立合适的坐标系和运动学分析，得到系统的动力学方程。然后再基于仿蜂鸟扑翼飞行机器人的系统动力学方程，引入强化学习的典型框架：Actor-Critic算法进行控制策略的设计，并根据Lyapunov稳定性理论证明了系统的稳定性。鉴于神经网络在处理不确定性和非线性方面的良好特性，神经网络被用于搭建Actor网络和Critic网络，并且基于Actor网络设计了强化学习控制器。其中Actor神经网络用于实现对连续策略空间的逼近，Critic神经网络则用于实现对值函数的逼近。此外，PD控制器被设计用于和强化学习控制器进行比较，并通过MATLAB仿真平台进行了控制器可行性和控制效果的验证。 此外，本文还对扑翼飞行机器人的姿态运动和位置运动分别进行了研究。对于姿态运动，系统模型是未知的，因此通过引入神经网络来处理系统的不确定性，同时考虑系统状态变量全部已知和部分已知两种情况，分别设计全状态反馈神经网络控制器和输出反馈神经网络控制器来实现对姿态运动的控制。对于位置运动，系统模型是已知的，因此设计基于模型的控制器来实现对位置运动的控制。系统的稳定性和控制器的可行性和控制效果分别通过Lyapunov理论和MATLAB仿真平台得到了验证。

目录

第一章 绪 论

1.1 课题研究的背景和意义

1.2 扑翼飞行机器人国内外研究现状

1.2.1 扑翼飞行机器人国外研究现状

1.2.2 扑翼飞行机器人国内研究现状

1.3 扑翼飞行机器人的应用前景

1.4 课题研究的主要内容和创新点

1.5 论文的结构安排

第二章 理论基础概述

2.1 引理和假设

2.2 强化学习理论

2.3 神经网络控制

2.4 稳定性分析方法

2.5 本章小结

第三章 扑翼飞行机器人的强化学习控制

3.1 扑翼飞行机器人的建模

3.2 强化学习控制器设计

3.2.1 Critic神经网络的设计

3.2.2 Actor神经网络的设计

3.2.3 稳定性分析

3.3 MATLAB仿真

3.3.1 PD控制仿真

3.3.2 强化学习控制仿真

3.4 仿真结果对比分析

3.5 本章小结

第四章 扑翼飞行机器人的神经网络控制

4.1 扑翼飞行机器人的姿态控制

4.1.1 全状态反馈神经网络控制器设计

4.1.2 输出反馈神经网络控制器设计

4.2 扑翼飞行机器人的位置控制

4.3 MATLAB仿真

4.3.1 全状态反馈神经网络控制仿真

4.3.2 输出反馈神经网络控制仿真

4.3.3 基于模型的控制仿真

4.4 控制器对比与分析

4.5 本章小结

第五章 总结与展望

5.1 全文总结

5.2 未来工作展望

致谢

参考文献

硕士期间取得的研究成果