強化学習を用いたスポーツロボットの大車輪運動の獲得とその行動形態の考察

摘要

森本らは強化学習を階層化することで，2自由度ロボットの起き上がり運動について実ロボットを用いて成功させている．森本らの実ロボットを用いた研究成果以外は，上記に示すようにロボットの動的なタスクに関しては，シミュレーションベースの研究がほとhどで，実ロボットにシミュレーション結果を適用してその問題点を議論している研究は非常に少ない。本論文では内部モデルなどのロボットに関する情報を一切用いずに，森本らの巧妙な方法とは異なり，強化学習分野のQ学習をシンプルに実ロボットに適用した際の問題点の解明を行なったものである。実ロボットとしては，環境との相互作用のみで人間に似た関節配置と可動範囲をもつ5自由度の実ロボットの大車輪運動の獲得を実現している。具体的には，シミュレータを用いて強化学習を行ない，獲得した行動形態を実機にフィードバックして学習の有効性について検討を行なっている。また，学習によって獲得された行動について力学的な観点から解析を試みている。最終的に，強化学習を動的なタスクと静的なタスクに適用した場合の相違点を比較することで，動的なタスクに対する強化学習の諸問題を整理するとともに，本論文で用いたQ学習がロボットの大車輪運動の獲得に有効であることを示している．