一种基于值函数的参数化深度强化学习算法

摘要

本发明属于深度强化学习技术领域，具体为一种基于值函数的参数化深度强化学习算法。本发明是将强化学习中的状态动作值函数(Q值)分解为状态值函数(V值)和优势函数(A值)之和，V值用于估计各离散动作下的期望累计奖励，A值用于估计各连续动作带来的累计奖励偏差；通过构建单个神经网络，同时输出最优离散动作和连续动作选择。本发明算法同时解决了Q值过估计问题，在动作决策时离散动作V值仅取决于其对应的连续动作，在神经网络训练过程中连续动作更新仅与其对应的离散动作有关。仿真实验结果表明，相比于其余参数化强化学习算法，本发明具有更快的收敛速度和更好的收敛效果。