基于增量式发育深度强化学习的无人机路径规划

摘要

为了克服深度强化学习训练时间长、收敛速度慢的问题,针对密集动态障碍环境下的无人机(UAV)路径规划,引入了增量式发育知识库,对深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法进行改进。首先,根据模糊匹配的思想建立威胁模式知识库,将飞行过程中遇到的密集动态障碍作为知识进行增量式存储,避免对相似障碍环境的重复训练。其次,在底层DDPG算法规划安全航路的基础上构建避障策略知识库,根据威胁模式直接输出避障策略,缩短训练时间。最后,搭建发育式的威胁-避障映射关系,实现“线上实时避障,线下自主寻优”,不断提升UAV避障性能。对比实验结果表明,所提方法能极大提高DDPG训练效率,满足UAV在密集动态障碍环境中实时避障的需求。