他者の内部状態推定と行動予測を用いた意思決定モデル

摘要

マルチエージェント環境では,他者の内部状態の変化を相手モデルを用いて推定し,それに基づいて行動を決定することが重要である.近年,マルチエージェント課題遂行中のサルやヒトの行動に対して,相手モデルを含まないモデルフリー強化学習による説明が試みられている.これらの実験では自身の行動?報酬履歴のみから他者の行動が一意に決まる課題設定が用いられているために,自身の意思決定において他者の内部状態変化を明に推定する必要のない課題となっていた.本研究では,他者の行動観測から他者の行動価値を推定可能であり,また行動価値を考慮することにより最適な行動がとれる課題を開発した.被験者の意思決定過程を,相手モデルを考慮したモデル同定強化学習として定式化した.また,本課題を用いてfMRI実験を行うことにより,提案モデルが被験者の行動をよく説明し,さらにモデルに基づく脳活動解析により相手モデルの推定に前頭前野が関わることを検証した.