強化学習を用いたヒューマノイドロボットによる転倒回避ステップ動作の学習

摘要

本研究では低次元の状態·行動空間でステッビングによる転倒回避動作を学習する手法を提案する．本提案手法はステップ時のロボットの重心運動が低次元の倒立振子モデルに従うよう制御器を構築し，学習ではその簡単なモデルに従った状態·行動空間で強化学習を通用する．制御器は，片足支持期におけるロボットの重心ダイナミクスを倒立振子に近似させるための支持脚制御器と，目標支持点（接地位置）を入力変数としてステップ動作を一意に生成する遊脚制御器のほか，補助的な要素としてステップ開始·停止時における両脚支持動作を生成する体幹制御と姿勢の安定化を図る制御器によって構成される．これにより比較的少ない試行回数でヒューマノイドロボットによる転倒回避動作を獲得できるものと期待される．本稿では提案手法の有効性を検証するため，シミュレーションによる学習を行い，また獲得されたステップ動作を実ロボットHOAP-2に適用し，シミュレーションにより獲得された制御方策による転倒回避動作の有効性の検証も行う．