多リンクロボットの経路決定を行う強化学習に関する研究－状態価値を用いて状態空間を構築する強化学習

摘要

環境の状態が連続的である現実問題を扱う強化学習において，過去に遭遇した状態と全く同じ状態に遭遇することはほとhどないため，類似した状態を集めたクラスタ単位で学習を進める必要がある．また，学習を通して適切な状態空間を自動的に構築できることが必要である．Fuzzy-ARTは漸増的状態空間構築法であり，強化学習における状態判別器として利用できる．Fuzzy-ARTは遭遇した状態を既存のカテゴリに分類するが，もし適切なカテゴリが無い場合は，新たなカテゴリを生成する．しかし，状態空間を遭遇頻度の高い領域ほど細かく分割するものの，その領域の重要度を考慮したものではない．また，カテゴリは単調増加するため，多数のタスクを学習させる場合にカテゴリの増大を招く．よって本研究では，状態価値に基づいて状態空間分割サイズの変更し，さらに重要度の低いカテゴリを整理できるようにFuzzy-ARTを改良した．そして，これを状態判別器に用いた強化学習法を提案する．