2種類のTD誤差を用いた脳における状態価値の計算モデル

摘要

Schultzらにより，中脳ドーパミンニューロンが強化学習におけるTD誤差に相当する活動を示すことが報告されて以来，大脳基底核は強化学習に大きく関与しているという見方が有力であるが，従来の状態価値の計算モデルにはいくつかの疑問点がある．本研究では，予測および実測という2種類のTD誤差を用いることによって，不自然なバッファ回路などを必要としない状態価値の計算モデルを構成した．簡単な報酬予測課題に関して数値実験を行ったところ，予測TD誤差が行動や報酬の履歴に依存して短期的に変動し，それに追従する形で実測TD誤差がなだらかに変動することによって，長期的に見た状態価値が獲得可能であることが示された．本モデルは，関係する脳領域の構造や生理学的知見とかなりよく整合し，脳内に複数の異なるドーパミン系が存在する理由を説明することができる．