選択的不感化ニューラルネットを用いた強化学習の効率化

摘要

強化学習は，状態空間が広いと学習に非常に時間がかかるという深刻な問題を抱えているが，その最大の原因は価値関数を効率的に近似する方法がないことにある．本報告では，選択的不感化ニューラルネットを用いて関数近似器を構成することによってこの問題の解決を図る．本手法を4次元の連続状態空間をもつ台車型倒立振子の安定化制御に適用したところ，学習効率が大幅に向上すると共に制御の安定性も向上することがわかった．このことは，構成した関数近似器が高い汎化能力をもつと共に分解能の点でも優れていることを示している．