強化学習の最近の発展：第5回 応用志向の「試行錯誤に基づく目的指向学習」Exploitation-oriented Learning; XoL

摘要

これまでに著者らは，XoL手法として，1種類の報酬のみが存在する問題クラスを対象にProfit Sharing （PS）の合理性定理を証明した後，合理的政策形成アルゴリズム（Rational Policy Making algorithm; RPM），PS-r，PS-rを提案してきた．さらに，報酬と罰を同時に扱うことができる手法としては，罰回避政策形成アルゴリズム（Penalty Avoiding Rational Policy Making algorithm; PARP）を提案している．また，連続な状態空間や行動空間に対応した手法を文献において提案している．本解説では，これらの手法を外観した後，XoLの応用例を2例示す．また，実応用に際し特に重要となる「報酬と罰の設計指針」についても述べる．