マルチエージェント連続タスクにおける報酬設計の実験的考察－RoboCup Soccer Keepaway タスクを例として

摘要

本論文では，keepawayにおける従来の報酬設計の問題点を，いくつかの実験を通じて指摘し，これに代わる報酬設計法を提案する．また，提案手法によってボールキープ時間が大幅に改善される理由を考察し，マルチエージェント連続タスクの報酬設計法の指針を与えることを目的とする．以下，第2章では，keepawayの問題設定と，強化学習を適用する際の問題の特徴を述べる．第3章では，keepawayを例として，マルチエージェント系における連続タスクにおいて考慮すべき報酬設計問題を列挙し，このタイプのタスクに適した報酬設計を提案する．第4章では実験方法，および，提案した報酬設計法と従来法による性能を，キープ時間の長さと獲得された行動の側面から比較する．また，5章では提案手法の妥当性を考察し，本タスクにおける報酬設計指針をまとめる．最後に第6章で結論と今後の課題を述べる．