状態の複数の抽象化による方策こう配法の高速化: トンネル状の障害物が存在する追跡問題への適用

摘要

マルチエージェントシステムにおける強化学習にはエージェント数の増加に伴い状態数が著しく増加する問題があり，現実的な計算資源の範囲内で学習を行うには環境の状態表現を工夫する必要がある.本論文では，複数の抽象化された状態表現に基づく状態・行動ルールを統合することにより，方策こう配法による強化学習の高速化を図った.この統合は方策中の目的関数を各抽象化空間内でのルール重みの和で定義することにより容易に実現できる.提案手法の有効性を検証するために，自律分散的なマルチエージェント環境の標準的な問題として知られている追跡問題への適用を試みた.本論文で取り上げた追跡問題にはトンネル状の静止障害物が加えられている.したがって，トンネル内で獲物を捕獲するには獲物をトンネル内へ追い込んだ後，複数ハンターが両側から挟撃するという協調行動の学習が必要となる.このような難しい間敷こ対しても本手法により学習速度が向上し，捕獲までのステップ数が短縮されることをシミュレーション実験で示した.