多リンクロボットの経路決定を行う強化学習に関する研究―ユーザの意図を表す複数報酬に基づく強化学習

摘要

強化学習では報酬が最大となる行動が選択されるが、得られた行動に使用者が満足しない場合がある。その原因の一つに設定した報酬が使用者の意図を適切に表現していないことが挙げられる。例えば、２リンクアームロボットに、「各関節は１ステップで20°以上回転できないという制約条件の下、最小ステップ数で手先を初期位置からゴール円内に到達させる」というタスクを考え、「50ステップ以内に手先がゴール円内に到達すると“＋１“の報酬を与える」という報酬関数を定義した場合、図１のような複数の学習結果が得られた。実線および破線で示した結果は同じ学習アルゴリズムを用いた学習結果であり、手先の軌跡は異なるものの、ともに６ステップでタスクを達成している。２つの学習結果は同じ評価を受けるはずであるが、人間には破線より実線の軌道の方が良いと感じられる。この原因は、人間がタスクには無い「無駄の無い動作でタスクを実現する」ことまで無意識のうちにロボットに要求したからであると考えた。実際、実線の軌道では肩関節と肘関節合わせて約165°回転したのに対して、破線の軌道では約212°必要とし、約50°も余分な動作をしている。