自由エネルギーを用いた強化学習による状態のタスク依存な集団符号化

摘要

本研究では，状態数が大きいマルコフ決定過程（MDP）問題を扱うことができる自由エネルギーを用いた強化学習手法をdigit floorタスクという部分観測マルコフ決定過程（POMDP）問題に適用することにより，状態がネットワーク中の隠れ層の発火パターンに，報酬に依存した形で集団符号化されることを示す．また，このタスク依存な集団符号化が，入力ノイズや隠れ層のサイズの変化に対してロバストであることも示す．%The properties of free-energy-based reinforcement learning were investigated using a POMDP task called the digit floor task. The simulation results showed that the reward-dependent representation of latent states was obtained in distributed activation patterns of hidden units. These representations were robust in the face of high observation noise and the varied number of hidden units.