基于强化学习的冲压发动机飞行器爬升段轨迹优化控制

摘要

冲压发动机飞行器爬升过程中发动机性能随飞行状态时变,且易受动力性能偏差、气动偏差和风干扰的耦合影响,传统的方法难以给出能量最优的爬升段轨迹解。针对该问题,提出了一种基于强化学习的轨迹优化控制方法。首先构建了基于近端策略优化(PPO)的强化学习任务模型,将轨迹优化问题转化为基于状态给出最优动作策略的强化学习问题,提出了对未到达目标区域样本赋予广义距离奖励的方法来解决奖励稀疏性问题;通过在控制器训练中引入初值采样来降低初值敏感性;提出了将线性扩张状态观测器(LESO)与强化学习相结合的方法,通过对干扰进行观测和补偿提升控制器抗干扰能力。仿真结果表明,采用所提出的算法后,终端约束误差缩小了60%,可为复杂环境下的冲压发动机轨迹优化控制提供参考。