部分可观测MDP强化学习

摘要

在学习单元对环境信息未知的序贯决策问题中,强化学习(RL)是一种被广泛用于建立环境模型以及求解最优控制策略的有效技术.许多RL的理论及实际应用均集中于其学习环境可被描述为一马氏决策过程(MDP)的情形.然而,在一些实际问题中,环境却是非马氏的,即对学习单元而言,它所能获得的环境状态的信息是不完全的.本文给出了一种新的算法:R(λ)学习,以求解这类非马氏环境的决策问题.环境本身是马氏的,但是学习单元却不能感知全部的状态信息,此时我们也称其为部分可观测马氏决策过程(POMDP).