強化学習による冗長ロボットの自律制御に関する研究－身体像を考慮した強化学習

摘要

近年，ロボットの進歩は著しく，ヒューマノイドをはじめとする多自由度を有するロボットが数多く実現されている．これに伴い，工場のみならず，家庭や病院，宇宙開発など様々な場所でのロボットの活躍が期待されてきている．しかし，その一方で，ロボットの制御方法に目を向けてみると，既知の環境においては高性能な制御則が開発され，工場などにおいてその有用性が実証されているものの，未知環境に対する自律的な制御手法および，意思決定手法に関しては未だ有効な手段が確立されておらず，これが家庭や病院，宇宙開発といった，未知で動的に変化する環境へのロボットの普及の足伽となっている．ロボットの自律的な制御手法は，ロボットを未知で動的に変化する環境に適用するために欠くことのできない技術であり，ロボットの機構が多自由度かつ複雑になるとともに，その機構を生かすことが可能な自律的制御法の必要性が高まってきている．強化学習は，その有力な候補の一つであり，強化学習をロボットの行動獲得法として用いた研究が数多く行われてきている．強化学習は学習に際し予備知識を必要とせず，高い自律性，環境適応性を持つ学習法である．しかし，その一方で，学習速度が遅いといった問題や，自由度の増加による行動·状態空間の組み合わせ爆発などの問題も指摘されており，多自由度を有するロボットヘの適用は，タスクを限定したものに留まっている．したがって，多自由度ロボットの冗長度を生かし，様々なタスクを自律的かつ適応的に達成可能な枠組みの構築が期待されている．