多智能体Q学习在多AUV协调中的应用与仿真

摘要

AUV(Autonomous Underwater Vehicle，简称AUV)作为一种高技术手段，在海洋环境监测、海底资源调查、科学考察、危险环境作业和打捞救生等方面起到了至关重要的作用。随着执行任务的复杂性日益增加，单AUV在大范围内作业的时效性、鲁棒性和柔性等方面就表现出明显不足。需要多个AUV构成系统来共同完成任务，而多AUV的协调控制成为关键问题，本论文主要讨论了一种新的多AUV协调控制方法、系统设计及仿真。 本文首先介绍了多AUV技术的发展动态以及课题研究的意义，然后根据多AUV协调控制系统的需要建立AUV运动模型、多智能体Q学习模型，在此基础上建立了面向任务的多AUV系统结构。对比分析了近几年的几种重要的多智能体强化算法，然后提出了一种新的多智能体Q学习算法，这种算法结构简单，能够大大简化状态空间，加快收敛速度。试验表明，本文提出的多智能体Q学习方法是有效的。 然后对多智能体Q学习算法实现多AUV协调的系统进行了设计，用多个仿真实例说明了多智能体Q学习算法在多AUV系统中的应用，试验证明，此本文提出的多智能体Q学习协调算法在满足Nash均衡的同时，避免了研究多个均衡点同时存在的问题，收敛速度快并且非常有效。

目录

文摘

英文文摘

声明

第1章绪论

1.1引言

1.2多AUV技术研究现状

1.3多智能体技术

1.4多智能体Q学习理论基础

1.5研究内容及意义

第2章AUV模型与多AUV系统结构

2.1 AUV建模

2.2面向任务的多AUV系统结构

2.3本章小结

第3章多智能体Q学习协调算法研究

3.1几种重要的多智能体Q学习算法

3.2改进的多智能体Q学习协调算法

3.3算法验证仿真试验与结果分析

3.3.1有障碍物方格仿真实验

3.3.2仿真实验结果

3.4本章小结

第4章基于多智能体Q学习的多AUV协调系统设计

4.1引言

4.2多AUV协调系统模块设计

4.2.1通讯模块

4.2.2栅格化地图模块

4.2多智能体Q学习模块

4.2.1输入状态空间压缩模块

4.2.2个体动作选择模块

4.2.3整体行为选择模块

4.2.4编队任务内外强化信号模块

4.3 AUV运动模块

4.4本章小结

第5章多AUV协调控制仿真研究

5.1基于多智能体Q学习的多AUV仿真设计

5.2多智能体Q学习二维仿真试验与结果分析

5.2.1仿真案例一

5.2.2仿真案例二

5.2.3仿真结果分析

5.3多智能体Q学习的三维虚拟仿真

5.3.1多智能体Q学习的多AUV三维仿真开发流程

5.3.1多智能体Q学习的多AUV三维仿真框架

5.3.2六个AUV虚拟仿真案例

5.4本章小结

结 论

参考文献

攻读硕士学位期间发表的论文和取得的科研成果

致 谢