拡散的好奇心を取り入れた未知の情報へ行動を誘発する強化学習手法

摘要

When the agent is in the face of actions to be learned in reinforcement learning, it is necessary to determine the proper timing of action in order to learn efficiently. Curiosity exists as a motivation which determines subject of interest in such a situation. Curiosity is broadly divided into specific curiosity and diversive curiosity in psychology. In this study, we focused on the diversive curiosity. Diversive curiosity is for directing the interest to a wide range of seeking unknown information in psychology. Based on the definition of diversive curiosiry in psychology, we propose a more efficient learning method which executes a action selection to induce action to unknown information by increasing the action priority according to the number of times to search each piece of information.%強化学習においてエージェントが複数の学習すべき行動に直面している際、効率的に学習するためには、いつどの行動を行うかを適切に決定する必要がある。このような状況において人間が持つ関心を向ける対象を決定する動機付けとして好奇心が存在する。好奇心は心理学の分野で拡散的好奇心と特殊的好奇心の2つに大別することができ、本研究ではこの中の拡散的好奇心に注目した。拡散的好奇心は心理学で云われる未知の情報を求め広い範囲へ関心を向けるための好奇心である。本研究では、拡散的好奇心の定義に基づき、行動選択時に使用する行動優先度を、対応する情報を探索した回数に応じて高め、未知の情報へ行動を誘発する行動選択を行う、より効率的な学習手法を提案する。