自主移动平台自适应运动规划与学习方法研究

摘要

自主移动平台以其无人系统下具有海上作业、陆地搜索、空中侦查等优点，在海洋资源开发、海防建设等方面发挥越来越多的作用。而移动平台具备较强的运动规划系统，能够自适应环境，对完成作业任务十分重要。本文主要针对无人水下航行器(Unmanned Underwater Vehicle, UUV)的自适应运动规划问题，结合人工势场法和强化学习方法，开展了对UUV在环境中的规划与学习研究，对于自主移动平台自适应运动规划与学习方法研究具有重要理论与实际意义。
　　本文首先概括UUV在环境中的运动规划的研究现状及常见方法，针对人工势场法动态规划所存在极小值和目标不可达问题，提出设计优化偏转角等改进方法，通过仿真实验验证了改进方法的可行性。其次，针对静态环境下UUV的运动规划问题，将强化学习方法引入人工势场运动规划，根据静态环境建立模型，结合观测的环境信息划分了状态空间和动作空间，设计强化函数。通过仿真实验证明了UUV在静态环境中的运动规划具有自适应学习能力。再次，针对动态环境，基于预测思想设计了障碍物的避碰范围层，提出UUV的运动评价方法。在强化学习方法中引入资格迹(Eligibility trace)，并改进了强化学习方法的信度分配问题，仿真实验结果表明，该方法具有在动态环境中的自适应避障规划和学习的优点。最后，采用自主移动机器人(UGV)模拟UUV验证水平面自主运动规划方法，设计了典型环境案例，通过UGV所配置的传感器和自主控制器完成未知环境下自适应运动规划，以便验证所研究方法在未知环境下实现自主规划的学习能力。验证了人工势场和强化学习相结合的运动规划算法的有效性和可行性，试验结果表明所开发的规划系统，自主移动平台可以完成对环境的不断强化学习而得到更好的自适应运动规划。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪论

1.1 课题研究背景和意义

1.2 强化学习发展历史及研究现状

1.3 运动规划研究现状

1.4 运动规划常见方法

1.5 主要内容与方法

1.6 论文的组织结构

第2章 自主移动平台的运动规划.

2.1 引言

2.2 自主移动平台基于人工势场法的运动规划

2.3 改进人工势场法的自主平台运动规划仿真实验

2.4 本章小结

第3章 静态环境中UUV基于强化学习方法的运动规划

3.1 引言

3.2 强化学习基本原理

3.3 静态环境中UUV强化学习运动规划方法设计

3.4 静态环境中仿真实验

3.5 本章小结

第4章 动态环境中UUV基于强化学习方法的运动规划

4.1 引言

4.2 强化学习中的资格迹

4.3 动态环境中UUV强化学习运动规划方法设计

4.4 动态环境中UUV的运动规划

4.5 动态环境中运动规划仿真实验

4.6 本章小结

第5章 自主移动平台实物试验验证和模拟仿真实验

5.1 引言

5.2 自主移动平台组成

5.3 UGV平台配置

5.4 UGV基于强化学习方法的运动规划实物验证

5.5 UGV模拟仿真试验

5.6 本章小结

结论

参考文献

攻读硕士学位期间发表论文和取得的科研成果

致谢