強化学習の最近の発展 第4回：部分観測マルコフ決定過程と強化学習

摘要

このように，情報の不十分性によって意思決定·学習が困難になる問題は不完全知覚問題と呼ばれている．意思決定者からみると，対象となるシステムの挙動にマルコフ性を仮定できないことが難しさの要因である．センサを増やすなどの工夫によってマルコフ性が回復できればよいのだが，そうでない場合には残念ながらそのままモデル化して問題を解かざるをえない．本稿が焦点を当てるPOMDP は，このような問題をモデル化する道具立てである．POMDPはMDPと比べて問題設定が厳しい．問題を解くにあたっては，事前知識や利用可能な計算資源に対する仮定や，要求される性能に応じて手法を選ぶことが必要である．本稿では，近年のPOMDPにおける強化学習研究のいくつかを取り上げ，解説を試みる．