エージェント間の情報交換に基づく群強化学習法

摘要

強化学習とは，ある現境内におけるエージェントが現在の状態を観測し，最適な行動を決定する問題を扱う機械学習の一種である．一般の強化学習法やは，－つのエージェントがエピソードを繰り返して学習を行なう．そのため，状態数が多い場合などの複雑な学習間題に対しては，学習に時間がかかったり，最適な方策が得ら九ないことがある．一方，最適化の分野では，遺伝アルゴリズムやParticle　 Swarm　 Optimimtion（PSO）のように，多数の個体を用いて並列に解を更新することによって最適解を得ようとする解法が注目を集めており，これらの解法が広い探索空間を有する多峰性関数に対して短時間に最適解を発見できる能力を有していることが知られている．そこで，強化学習においても，複数のエージェントが並列に異なるエピソードを繰り返し，各エージェントが情報交換によりほかのエージェントの学習成果を参照して自分の行動価値や状態価値を良い値へ修正していけば，より優れた方策を短い学習時間で得ることができると考えられる.