基于强化学习的AUV路径跟踪方法研究

摘要

近年来自主式水下机器人(Autonomous Underwater Vehicle，AUV)已成为人类探索海洋的重要装备，并且随着人类对海洋认知的不断深入，AUV相关技术得到了不断发展，更高的自主性与机器智能成为AUV的发展目标。针对提升AUV的自主性与智能性这一实际要求，本文依托于十三五装发预研项目“智能系统设计技术”，基于强化学习方法，对AUV的路径跟踪问题展开研究。具体研究内容包括: 首先，为了分析强化学习理论如何用于提高控制自主性与智能性，本文首先对强化学习理论进行介绍，并基于强化学习理论设计Q学习控制器，设计相关仿真试验，分析该控制器用于AUV速度与艏向控制的优缺点。针对Q学习控制器存在的控制精度差的问题，重新对强化学习四元组定义，设计了强化学习S面控制器，并在此基础上针对训练速度慢的问题设计神经网络强化学习S面控制器，通过仿真试验验证其控制性能与训练速度。 其次，本文基于神经网络强化学习理论对视线法路径跟踪方法展开研究。由于视线法(Line-of-Sight，LOS)的跟踪性能在极大程度上取决于底层控制器的性能，本文以神经网络强化学习S面控制器为视线法路径跟踪的底层控制器开展仿真试验，验证其在无干扰与海流干扰下的控制效果。 然后，本文对基于跟踪误差动力学推导的路径跟踪方法进行公式推导，根据神经网络强化学习参数优化方法设计了神经网络强化学习路径跟踪控制器，针对控制器的直线与曲线路径跟踪开展了仿真试验，以验证改进路径跟踪控制期对于提升AUV控制自主性与智能性的效果。 最后，通过对本文改进的两种跟踪方法的对比，分别从控制性能、控制器设计难易程度以及对强化学习方法优化的敏感程度三个方面对其各自性能进行了阐释，分析两种跟踪方法的适用条件。

目录

声明

摘要

第1章绪论

1．1概述

1．2国内外AUV研究现状

1．2．1国外AUV研究现状

1．2．2国内AUV研究现状

1．2．3 AUV发展趋势

1．3 AUV路径跟踪研究现状

1．4强化学习理论研究现状

1．5论文研究背景与意义

1．6论文主要内容与章节安排

第2章自主式水下机器人数学模型

2．1引言

2．2自主式水下机器人运动数学模型

2．2．1坐标系与运动基本参数定义

2．2．2自主式水下机器人运动学方程

2．2．3自主式水下机器人动力学方程

2．3自主式水下机器人运动模型简化

2．4海流干扰模型

2．5本章小结

第3章基于强化学习的控制方法研究

3．1引言

3．2强化学习原理方法介绍

3．2．1马尔可夫决策过程

3．2．2强化学习方法介绍

3．3强化学习控制方法

3．3．1 Q学习控制器设计

3．3．2 Q学习控制器仿真试验

3．4基于强化学习的参数优化技术

3．4．1强化学习参数优化设计思路

3．4．2强化学习S面控制器设计

3．4．3强化学习S面控制器仿真试验

3．5基于神经网络强化学习的参数优化技术

3．5．1神经网络方法介绍

3．5．2基于神经网络强化学习参数优化的控制器设计

3．5．3神经网络强化学习控制器设计

3．5．4神经网络强化学习控制器仿真试验

3．6海流干扰下的控制器仿真试验

3．6．1海流干扰力模型

3．6．2干扰环境下的强化学习S面控制器仿真试验

3．6．3干扰环境下的神经网络强化学习S面控制器仿真试验

3．7本章小结

第4章基于强化学习的视线法路径跟踪方法

4．1引言

4．2视线法路径跟踪控制

4．3路径跟踪控制器设计

4．4基于神经网络强化学习S面控制器的视线法路径跟踪

4．4．1直线路径跟踪仿真

4．4．2折线路径跟踪仿真

4．5海流干扰下的视线法路径跟踪

4．6本章小结

第5章基于跟踪偏差的强化学习路径跟踪方法

5．1引言

5．2基于跟踪偏差的路径跟踪控制

5．3神经网络强化学习路径跟踪方法

5．4神经网络强化学习路径跟踪控制仿真试验

5．4．1直线路径跟踪仿真试验

5．4．2曲线路径跟踪仿真试验

5．5干扰环境下的直线路径跟踪控制

5．6基于强化学习的AUV跟踪控制方法对比分析

5．7本章小结

结论

参考文献

攻读硕士学位期间发表的论文和取得的科研成果

致谢