Actor-Criticを用いた遺伝的ネットワークプログラミングの小型移動ロボットの行動生成における性能評価

摘要

本論文では，強化学習の一手法であるActor-CriticをGNPに適用し(GNP with Actor-Critic, GNP-AC)，入力情報を適切に判定するパラメータおよび行動決定に用いるパテメータを学習する方式を提案する．Actor-Criticは強化学習の特長である将来の報酬を予測した学習が可能であることに加え，連続値を効率的に扱える手法でありパラメータをオンラインで逐次調整できる特長があるため，適切な状況判断が可能かつプログラムの生成を効率的に行なうことが可能である．これまでのGNP-RLは，ノード遷移中に実行する判定および処理の内容を選択する手法であるが，本手法では判定および処理に使われるパラメータの生成，およびその調整を行なえるという点が異なる．さらに提案手法をKheperaロボットのコントローラに適用し，Kheperaシミュレータを用いたシミュレーションを行ないその汎化能力の評価を行なった．