協調行動学習における非定常性の重要性

摘要

To understand how cooperative behaviors emerge is important in the field of multi-agent system research. Although this emergence mechanism has been mainly discussed in the context of evolution dynamics, it is known that cooperative behaviors also appear in a short time course of individuals. Discussion of emergence mechanisms in terms of individual learning such as reinforcement learning is not sufficient. In this study, we point out the significance of incorporating non-stationarity of the target environment into reinforcement learning of adaptive behaviors, by using one of the simplest multi-agent systems, i.e., a prisoner's dilemma problem. The non-stationarity in the prisoner's dilemma problem stems from the opponent's behavior being dependent on the agent's behavior. We show that the cooperative behavior is not a stable solution by reinforcement learning which implicitly assumes the environmental stationarity, whereas policy-based reinforcement learning which assumes the non-stationary environment is modeled as a partially observable Markov decision process can stably obtain cooperative behaviors.%マルチエージェント系における協調行動の発現機構の理解は重要である.その発現は主に進化ダイナミクスの文脈で説明がされてきたが，よりタイムスパンの短い個人の経験によっても協調行動が発現することが知られている.強化学習などの個体レベルの学習による協調行動の発現に関する考察は十分でない.本研究では，最も簡単なマルチエージェント系である囚人のジレンマ課題を用いて，この協調行動の強化学習による発現では，環境の非定常性を取り扱うことが重要であることを論ずる.ここで，環境の非定常性は，相手の行動方策が自分の行動に依存するとことに起因する.環境の定常性を仮定した強化学習法によれば協調行動が安定な解とならない一方で，内部状態をもつ方策に対する方策勾配型強化学習法によれば協調行動の学習が可能になることを示す.