リレー解説に寄せて：強化学習研究の歩み

摘要

強化学習とは，ゴール指向型の学習と意思決定を理解し実現するための計算論的な接近法であり，試行錯誤による環境との相互作用を通じて学習していくという点において，教師による教示や環境の完全なモデルに依存する他の学習とは区別される．この強化学習（reinforcement learning）の研究には，大きく3つの流れが存在したと考えられる．第一の流れとして分類子システム第二はニューラルネットワーク関連の研究における試行錯誤学習，第三にマルコフ決定過程の最適制御問題とダイナミックプログラミングが挙げられる．このほか学習オートマトンにおいても強化学習の研究がみられるが，原理的には勾配法が多いので本稿ではニューラルネットワークに含めて紹介する．それぞれの流れにおいて主流となる学習アルゴリズムや解析手法は異なるが，これらの異なる分野同士で影響を及ぼし合いながら研究が大きく発展してきた．本稿では，おもに1990 年代から近年に至るまでのおよそ20年間の強化学習研究におけるいくつかのエポックメイキング的な手法や解析を中心に紹介し，それらの関係を示すことにより強化学習研究の歩みについて概観する．