DDPG优化算法的机械臂轨迹规划

摘要

针对传统深度确定性策略梯度算法(Deep Deterministic Policy Gradient,DDPG)在机械臂轨迹规划中学习效率低、规划时间长的问题,提出了一种基于SumTree数据结构的加权采样DDPG算法.首先,对Q-learning的动作价值函数进行优化并引入OU随机噪声模型;其次,对经验池中的样本添加一个优先权,优先权大的样本有更大的概率被采样出来进行训练,从而提高样本的利用率;最后,基于ROS平台搭建虚拟机器臂的实验环境进行仿真.实验结果表明,在优化后的DDPG算法下,智能机械臂达到最大累积奖励时间提前了53.8％,学习效率提高了一倍以上,明显优于传统的DDPG算法.