2人2行動対称ゲームのための学習率調整Q学習

摘要

既存のマルチエージェントQ学習は，その多くがナッシュ均衡解を求めることを目的としているが，ナッシュ均衡解が好ましくない囚人のジレンマ（PD）のようなゲームが存在する．筆者はこれまでに，PDに適用するための効用利用Q学習を提案してきた．それは，偶然に相互協調が実現した場合にそれを続けさせるために，Q学習において報酬の代わりにエージェント内で生成した効用を用いるものである．ところで，ユージュントの行動はQ値の関係に依存するため，Q学習における学習率を調整することによっても相互協調を続けさせることが可能である．そこで本論文では，学習率を直接扱う学習率調整Q学習（LRA-Q）を提案する．更に，LRA-QがPDだけではなく，他の種類の2人2行動対称ゲームでも機能し得ることを示す．