パレート報酬を考慮した政策群アーカイブに基づくマルチエージェント強化学習

摘要

多数の強化学習エージェントを有する学習環境の利用に際しては，エージェントの数に応じて多数の報酬を設定することによる報酬の組の増大が考えられる．多数の報酬を設定することは多彩なタスク割り当てを考慮した上で学習結果が得られる利点がある反面，報酬の組の増大によって最適でない政策を獲得する可能性が増大し，さらには最適な政策が単一にならない可能性が高まる．また，いくつかの報酬の組がエージェントの行動を誘引することが局所的な政策を獲得する要因となる．そういった理由から，従来の強化学習のフレームワークのように試行錯誤により一つの価値関数（例えば，Qテーブル）を更新することで「一つ」の政策を獲得する方法では有効な学習結果を得ることが困難である．この問題を解決するために，学習途中で見つけた有望な政策を「複数」記憶して，それを学習中に利用することによって局所的な政策の獲得を避け，大局的な最適政策を獲得するエージェントの構築を行うことを目的とする．有望な政策としてはパレート報酬をもたらす政策を扱い，非パレート最適な政策の獲得を抑制し，同時に複数のパレート最適な政策を獲得できることを検証する．具体的には，多数の報酬の組み合わせのあるマルチステップ４タスク問題という例題に適用し，提案エージェントの有効性を検証する．