グリッドベース地図誤差に基づく好奇心を内部報酬とする強化学習

摘要

The present paper proposes to make reinforcement learning efficient by using internal rewards based on curiosity in addition to external rewards at goal in a goal reaching task. Here, curiosity is defined by the decrease in prediction error, which is defined by the difference between grid-based map and the sensory information at each grid. Simulation experiments indicate that the performance of the proposed method is superior to the conventional reinforcement learning in terms of the number of goals reached and the number of actions needed to reach the goal in a transient state. How parameter values affect the performance and learning of the environment is also analyzed.%ゴールまでの最適行動を強化学習によって求めるという課題に対し，ゴール到達時の環境からの外部報酬に加えて，好奇心を内部報酬とすることにより，強化学習を効率化することを目的とする．ここで予測誤差の減少により好奇心を定義し、センサー情報から推定したグリッドベース地図と、各グリッドでのセンサー情報との差を予測誤差と定義する.シミュレーション実験の結果，強化学習と比較して過渡状態におけるゴール回数や行動回数に関して性能の向上が見られた．併せて、提案手法で用いた各パラメータ値が行動獲得や環境学習に与える影響についても検討した．