一种基于随机微分方程的连续性强化学习系统及方法

摘要

本发明公布了一种基于随机微分方程的连续性强化学习系统及方法，系统包括动作策略生成器APG、环境状态估计器ESE、值估计器VE，记忆存储模块MS和外部环境EE；具体步骤如下：初始化动作策略生成器APG、环境状态估计器ESE和值估计器VE；动作策略生成器APG计算输出动作值增量Δa_k；外部环境EE输出下一步动作值a_k+1、下一步环境状态值s_k+1以及当前步奖励值R_k，并存储至记忆存储模块MS中；环境状态估计器ESE更新环境状态参数集θ_p和预测未来环境状态估计值s′_k；VE优化器更新Q函数网络并预测未来奖励估计值R′_k；APG优化器更新动作值参数集θ_v。本方法基于随机微分方程作为基础模型，能实现动作控制的连续性且能控制训练过程方差，能够通过预测环境的变化来选择动作以实现更好的环境交互。