マルチエージェント強化学習における割引率の社会適応的調節－生物に見られる社会的階層構造の自己組織化と神経修飾物質

摘要

本研究では社会的相互作用と神経修飾物質の関係に関する生物学的知見に基づき，マルチエージェントメタ学習を構築する．また本稿では，本手法がエージェント数の増減に対して高いロバスト性·拡張性をもつことを示す．より具体的には，(i) 競争的な相互作用によって，社会に所属している個体ごとに異なる割引率が割り当てられる現象を用い（2.1～2.3 節）(ii) 複数の割引率の中から信頼度の高い割引率を選び出す手法と組みあわせる（2.4 節）．2.4 節に引用する研究はシングルプロセッサを前提としたアルゴリズムである．本研究ではこれをマルチプロセッサ·マルチエージェント用途へ拡張し，プロセッサ毎に異なる割引率を割り当て，信頼度の高いエージェントを選び出すアルゴリズムに変形する．本研究の特色として，上記(i)の自己組織化現象を利用していることで，各プロセッサに割引率を割り当てる際，初期値に依存しない設定が可能となっている．これによりプロセッサの交換や追加などに際して高いロバスト性·拡張性を持つシステムが構築可能である．このことに関しては，5 章で改めて検討する．