基于事后经验的信赖域策略优化方法、装置及相关设备

摘要

本发明公开了一种基于事后经验的信赖域策略优化方法、装置及相关设备，方法包括：S100，将经验数据中已到达的目标点作为虚拟目标点，生成虚拟的事后经验数据；S200，基于事后目标滤波算法，完成对虚拟目标的过滤，获取所对应的训练数据；S300，基于虚拟经验数据，通过加权重要性采样修正虚拟经验数据与原始经验数据的分布偏差；S400，基于加权重要性采样修正虚拟经验数据与原始经验数据的分布偏差，以此估计策略间KL散度值；S500，通过KL散度修正策略梯度方向，并通过最大KL散度步长计算更新策略步长。该方法以使智能体能够基于少量的交互数据和简单设计的奖励函数，能够对环境和任务完成有效的探索过程，并对行为策略进行高效的学习和更新。