基于深度强化学习的自主水下航行器轨迹跟踪控制方法

摘要

本发明提出了一种基于深度强化学习的自主水下航行器轨迹跟踪控制方法，属于深度强化学习和智能控制领域。首先定义AUV轨迹跟踪控制问题；然后建立AUV轨迹跟踪问题的马尔科夫决策过程模型；接着构建混合策略‑评价网络，该网络由多个策略网络和评价网络构成；最后由构建的混合策略‑评价网络求解AUV轨迹跟踪控制的目标策略，对于多个评价网络，通过定义期望贝尔曼绝对误差来评估每个评价网络的性能，在每个时间步只更新性能最差的一个评价网络，对于多个策略网络，在每个时间步随机选择一个策略网络，并采用确定性策略梯度进行更新，最终学习到的策略为所有策略网络的均值。本发明不易受到恶劣AUV历史跟踪轨迹的影响，精度高。