基于延迟经验优先回放机制的强化学习无人机航迹规划方法

摘要

本发明公开的一种基于延迟经验优先回放机制的强化学习航迹规划方法，属于航迹规划技术领域。本发明实现方法为：考虑无人机动力学、飞行性能、地形和威胁约束构造无人机避障航迹规划问题模型，并以此设计航迹规划问题的强化学习状态‑动作‑奖励三要素；构建基于最大化熵策略的局部航迹规划训练与应用框架，通过“离线训练‑在线规划”分层机制降低局部信息驱动下航迹规划的计算耗时；结合非稀疏设计引导奖励函数，利用局部信息引导无人机逐渐趋近目标。引入策略延迟更新机制与优先经验回放机制，在网络参数的训练过程中，分阶段训练以加快强化学习训练收敛速度。本发明能够提升强化学习训练过程中的训练速度与稳定性，实现毫秒级在线航迹规划。