強化学習とリカレントネットを用いた並列で柔軟な学習制御システムの枠組み

摘要

筆者らは、センサからモータ（アクチュエータ）までをニューラルネットでつなぎ、強化学習で学習することで、自律的、合目的的にさまざまな機能が並列かつ調和的に創発すると考えている。近年、強化学習とニューラルネットを用いた柔軟な学習制御システムが提案されているが、通常、学習制御部分がすべての処理を担うのではなく、柔軟な学習部とは別にフィードバック制御部などの柔軟性の低い部分が存在している。本稿では、センサからモータまでをリカレントニューラルネットで直接つなぎ、それを強化学習で学習させることで、フィードバック制御の成分を含めたさまざまな要素を並列に、かつ必要に応じて柔軟に考慮した制御を学習する能力を持つことを主張する。そして、簡単な、投げ上げ物体の捕獲問題において、リカレントネットを用いることによる文脈を考慮した行動生成とともに、-定の外力に対する適応能力、ランダムな外力に対する補償能力も学習によって獲得されることを示した。%The authors think that constructing the whole process from sensors to motors by a neural network and learning it by reinforcement learning enable to realize autonomous, purposive, harmonious and parallel function emergence. Recently, some flexible learning systems using a neural network and reinforcement learning have been proposed. However, the learning module does not usually process the whole, but there exists some inflexible module other than the flexible learning module. In this paper, a recurrent neural network connects sensors and motors directly, and is trained by reinforcement learning. The authors claim that the system has the ability to learn the control considering various factors flexibly and in parallel according to necessity. In a simulated thrown-up-ball catching task, it is shown that adaptability to a constant external force and compensation of random external forces together with the generation of context-considered behaviors due to the use of a recurrent network emerge through learning.