基于改进深度Q网络算法的移动机器人路径规划

摘要

针对深度Q网络(deep Q-network,DQN)算法收敛速度慢、规划路径不平滑及样本利用率低的问题,对其进行了改进。首先,在DQN算法的动作引导策略中引入了改进的人工势场引力函数和目标引导动作函数,同时设计了一种分段奖励函数,以此提出了启发式深度Q网络(heuristic deep Q-network,HDQN)算法,有效地减少了算法训练过程中的碰撞次数,提高了算法的收敛速度,使规划出的路径更优。然后,将HDQN算法与改进的优先级采样策略相结合,提出了一种贪心采样的启发式深度Q网络(greedy sampling heuristic deep Q-network,GSHDQN)算法,有效地提高了样本利用率。最后,对DQN、HDQN、GSHDQN这3种算法在Ubuntu系统进行了路径规划仿真。仿真结果表明,与DQN算法相比,GSHDQN算法平均总迭代时间可降低28.0%,平均路径长度可减少34.7%,碰撞次数可减少32.4%。