他者の内部状態推定と行動予測を用いた意思決定モデル

摘要

マルチエージェント環境では，他者の内部状態の変化を相手モデルを用いて推定し，それに基づいて行動を決定することが重要である．近年，マルチエージェント課題遂行中のサルやヒトの行動に対して，相手モデルを含まないモデルフリー強化学習による説明が試みられている．これらの実験では自身の行動・報酬履歴のみから他者の行動が一意に決まる課題設定が用いられているために，自身の意思決定において他者の内部状態変化を明に推定する必要のない課題となっていた．本研究では，他者の行動観測から他者の行動価値を推定可能であり，また行動価値を考慮することにより最適な行動がとれる課題を開発した．被験者の意思決定過程を，相手モデルを考慮したモデル同定強化学習として定式化した．また，本課題を用いてfMRI実験を行うことにより，提案モデルが被験者の行動をよく説明し，さらにモデルに基づく脳活動解析により相手モデルの推定に前頭前野が関わることを検証した．%In multi-agent environments, it may be useful to predict other agent's actions by estimating some sort of internal state of the opponent model. In recent years, model-free reinforcement learning has been used to capture both monkey's and human's behaviors in multi-agent tasks, but such success is attributed to the simple task setting, in which the other agent's action can be determined by the history of subject's own actions and rewards. In this study, we propose a new behavioral task which substantially increases the advantage of estimating the other agent's internal state from action observations. Subjects can select optimal actions based on prediction employing an action-value function. We introduce a model-based reinforcement learning model that well reproduces subject's behaviors in the task. Concurrent evaluation of brain activity using fMRI, in which the cognitive loads are evaluated as regression functions, highlights the role of the prefrontal cortex in the prediction of the other agent.