モデルベース強化学習を用いた六脚ロボットの前進行動獲得

摘要

本研究では，より複雑な六脚ロボット（Fig.1参照）を対象として，強化学習を用いることで効率良く前進するための行動をロボット自身が獲得することを実現する．対象とする六脚ロボットは安定性を維持しやすく，高精度かつ高トルクのサーボモータで構成されている．これらの特性を考慮して状態行動空間を設計することで，現在の状態が状態空間内のどこにあっても，サーボモーターの目標値が位置する状態に必ず遷移する性質をもつ．本研究では，報酬は確率的であるが状態遷移が決定的となるこのような状態行動空間を設計し，モデルベース強化学習の一つである価値反復により，六脚ロボットが効率良く前進する行動を少ない試行回数で獲得できることを明らかにする．