衝突回避ゲームにおけるコミュニケーション創発現象の解析のためのQ学習およびNeural-Q学習エージェントの性能比較

摘要

現在我々が行っているコミュニケーションがどのようにして創発し複雑化してきたのかという疑問に対し，本研究では，他者との相互作用と行動学習を通じて目的を持った「動作」がコミュニケーション上の「記号」として用いられることでコミュニケーションを成立させられるようになったという仮説を立て，仮説の検証，およびこの創発現象の解析に適するエージェントの要件を検討することを目的として，衝突回避ゲームを通じて，Q学習と，Q学習とニューラルネットワークを組み合わせたモデルであるNeural-Q学習エージェントの性能について比較を行った．その結果，衝突回避能力はQ学習エージェント，そして，ゴール到達能力はNeural-Q学習エージェントが優れていることがわかった．また，Neural-Q学習においては，メモリサイズ1のエージェントが衝突回避·ゴール到達両方で最も高い性能を示した．そして，各エージェントの特性より，衝突回避，およびゴール到達性能の向上に必要な要件を検討し，Neural-Q学習エージェントにおいてニューラルネットワークをフィードフォワード型からリカレント型へと変更することで時系列データを扱えるように拡張することが，本研究の仮説の検証，およびコミュニケーションの創発現象の解析には適しているのではないかという結論を得た．