強化学習とリカレントネットを用いた並列で柔軟な学習制御システムの枠組み

摘要

筆者らは、センサからモータ（アクチュエータ）までをニューラルネットでつなぎ、強化学習で学習することで、自律的、合目的的にさまざまな機能が並列かつ調和的に創発すると考えている。近年、強化学習とニューラルネットを用いた柔軟な学習制御システムが提案されているが、通常、学習制御部分がすべての処理を担うのではなく、柔軟な学習部とは別にフィードバック制御部などの柔軟性の低い部分が存在している。本稿では、センサからモータまでをリカレントニューラルネットで直接つなぎ、それを強化学習で学習させることで、フィードバック制御の成分を含めたさまざまな要素を並列に、かつ必要に応じて柔軟に考慮した制御を学習する能力を持つことを主張する。そして、簡単な、投げ上げ物体の捕獲問題において、リカレントネットを用いることによる文脈を考慮した行動生成とともに、一定の外力に対する適応能力、ランダムな外力に対する補償能力も学習によって獲得されることを示した。