GAにより探索空間の動的生成を行うQ学習による実多自由度ロボットの制御：階層構造の拡張と蛇型ロボットへの適用

摘要

近年，強化学習がロボットの行動獲得法として注目されている。 強化学習は学習に際し予備知識を必要とせず，高い環境適応性を持つ学習法である．しかし，学習速度や行動·状態空間の大きさなどの問題により，複雑な実ロボットへの適用は困難であり，多自由度を有するロボットへの適用例は少ない。 強化学習の代表例であるQ学習は，最適性に関する理論的枠雑みを持ち，小規模な問題に対しては非常に有効であるが，多自由度ロボットなどの大規模な問題においては，行動·状態空間の増加が学習を困難にしてしまい，事実上適用不可能である．分類子システムは，GAによりルールを生成するため，探索空間が広いタスクに対して学習を試みることは可能であるが，条件部が示す状態の集合と，行動部によって遷移可能な状態の集合との整合を取ることが難しく，多自由度ロボットなど，探索空間の大きなシステムに対する有効な政策の獲得は困難であると考えられる．また，"don't care"は対象を部分観測としてしまうという問題を持つこと，さらに，汎用的なルールと特殊なルールの共存が困難であることなどが指摘されている。 このような問題をふまえ，我々は，Q-learning with Dynamic Structuring of Exploration Space Based on Genetic Algorithm（QDSEGA）を提案してきた．QDSEGAは，多くの自由度を有する冗長ロボットに対七て設計されたものであり，冗長自由度により実現される冗長な運動の中からタスクの達成に必要な動きを自律泊勺に抜き出し，これらを組み合わせることによってタスクを達成することができる．文献では，50リンクを有する多自由度マニピュレータの障害物回避問題を例に，大規模な探索空間を持つ対象に対する適用可能性，環境変化に対する頑強性など，その有用性が示されている．また，文献では，12本の足を持つ多足ロボットを例に，最適な歩行運動の獲得が可能であることが示されている．しかし，上述の文献では，QDSEGAによる階層構造において，十分な能力を持った低層を仮定しており，適用可能なロボットのクラスを制限した場合での有効性の検討にとどまっている．