非定常環境に適応する認知的満足化価値関数の提案

摘要

人工知能分野でAlpha-Go[2] は囲碁において人間以上の成績を残して注目を集めたが、このモデルで用いられた技術は深層強化学習と呼ばれる強化学習の一種である。強化学習において探索空間が膨大だと最適な行動系列を現実的な時間で学習することが困難となる。そこで高橋らはハーバート・サイモンが提唱した限定合理性に着目し、基準を満たすことを目的とした戦略を満足化と呼び研究を行なっている[1]。特に、強化学習に適用可能な満足化のモデルを提案し、多腕バンディット問題においてUCB1-tuned よりも早く学習できることが示された[1]。本研究では、高橋らが提案した満足化価値関数RS をもとに非定常環境において有用なアルゴリズムを提案し、より実用的な満足化方策の実現を目指す。そして提案アルゴリズムの性能を評価するために非定常環境を想定した多腕バンディットシミュレーションを行い、提案したアルゴリズムの有用性を示す。