自然方策勾配法に基づくオフポリシー型強化学習法

摘要

強化学習法には"探索搾取問題"と呼ばれる問題がある.これは，過去に得た知識の最良の方策を実行（搾取）するか，存在するかも知れないより良い方策を探索するかを決定する問題である．本報告では，この探索搾取問題に対する一つの解決策としてオフポリシー型の自然方策勾配法を提案する．提案手法では，behavior policyと呼ばれる現在の方策とは異なる任意の方策でサンプリングされた状態と行動の系列から方策勾配を推定できるため，behavior policyの生成過程を変更することで，探索搾取問題を扱うことができる．