深層強化学習を用いた移動ロボットの行動獲得に関する実験的考察

摘要

本研究では，深層強化学習の代表的な手法であるDQN をロボットの行動獲得に適用した.ロボットシミュレータ Webotsを用いて問題環境とロボットを構築し，DQNのア ルゴリズムを実装することで，ロボットに搭載したカメラ の画像（視覚情報）のみに基づいてロボットが壁や障害物 を避けるから進む行動を獲得することを試みた.具体的に は，教師ネットワークを再利用する手法を提案するととも に，Profit Sharing法の導入による学習の高速化を実現し た.さらに，ロボットの行動学習においては，学習環境以 外でテスト走行を行い学習したDQNが高い汎化能力を持つことを確認した.学習環境とテスト環境のそれぞれを走行したときの行動価値(Q値）の解析を行うことで壁から遠 ざかる行動の価値が高くなっていることを確認した.