重み付けされた複数の正規分布を用いた政策表現最適行動変化に追従できる実時間強化学習と環状ロボットへの適用

摘要

本論文では，５リンク環状ロボットの移動動作獲得問題を取り上げ，実機による試行錯誤が許容できる実時間で強化学習することを目指す．本学習問題では，１）学習の実時間性，２）状態観測にノイズが存在する環境の扱い，３）最適な行動が学習の進行に伴って変化していく環境の扱い，以上の３点をクリアすることが求められる．そこで本論文では，前述のように連続状態-行動空間を持ち，状態観測にノイズが存在する問題に対し有望な接近法であるactor-critic 法を適用する．しかし，従来のactor-critic による実装では，上記の３つの問題点を同時にクリアすることが困難だった．そこでactor の政策表現を工夫し，上位が離散的，下位が連続的行動選択を行う階層的な構造とする方法を提案する．正規分布をactor の確率的政策とする先行研究のactor-criticでは，有望と思われる探索領域を絞り込hでいくまでの過程に時間がかかり過ぎる．別の先行研究で提案された確率的2 分木による階層的なactor-critic 法では，階層化によって有望と思われる探索領域をすみやかに絞り込hで効率的な学習が行えるが，学習が進むにつれて最適と見積もられる政策や行動が変化する場合には，問題が生じる．本論文の提案手法は，行動空間中で有望と思われる領域を上位層の行動選択で大まかに探索し，さらにその行動を下位層で微調整していくことにより，効率的な学習を行えると同時に動的な環境の変化にも追従することが期待できる．