寿命のある自己最良値を用いたParticle Swarm Optimization に基づく群強化学習法

摘要

PSO の更新式を用いた情報交換法では，各エージェントの価値の良し悪しを何らかの方法で評価し，各エージェントがこれまでに発見した最良の価値（自己最良価値）と全エージェントがこれまでに発見した最良価値（全体最良価値）を用いて各エージェントの価値を更新する．しかし，価値の評価は必ずしも適切に行われるとは限らないために，価値が過大評価されることがあり，そのような過大評価された最良価値によって学習速度が低下すると考えられる．そこで，自己最良価値に寿命を設定し，寿命分のエピソードが経過したときは自己最良価値を現在の価値で置き換える方法を提案し，最短経路問題に適用した結果を示した．提案方法の性能は自己最良価値がどの程度過大評価されているかに依存すると考えられるが，これまでにそのような考察は行われていない．そこで，本稿では，最短経路問題における過大評価の大きさを調べ，提案方法の性能を評価する．