第1回：強化学習の基礎

摘要

エ-ジェントは利得（return：最も単純な場合，報酬の総計）の最大化を目的として，状態観測から行動出力へのマッピング（政策（policy）と呼ばれる）を獲得する．環境とエ-ジェントには一般に下記の性質が想定される．エ-ジェシトはあらかじめ環境に関する知識をもたない．環境の状態遷移は確率的．報酬の与えられ方は確率的．状態遷醇を繰返した後，やっと報酬にたどり着くような，段取り的な行動を必要とする環境（報酬の遅れ）．強化学習では，環境のダイナミクスをマルコフ決定過程（Markov decision process：MDP）によってモデル化し，学習アルゴリズムを解析するのが一般的である．本稿では，MDPモデルおよび代表的な強化学習法として知られるActor-Critic法とQ-learningを中心に理論的な基礎について解説する．