2個の独立なノイズを用いたノードパータべーション学習の統計力学

摘要

ノードパータべーション学習は確率的勾配法の一つである。ノードパータべーション学習は確率的勾配法の一つである。ノードパータべーション学習では，ネットワーク出力にノイズを加えないときとノイズを加えたときの評価の変化から勾配を推定する。しかし，ノイズを加えないときの評価を用いるため，現実のシステムへの適応が難しい．長らは2個の独立なノイズが与えられる場合のノードパータべーション学習を提案しており，1個のノイズを用いた方法より現実的である．本報告では長らが提案した，2個の独立なノイズを用いたノードパータべーション学習の統計力学を構築し，学習の挙動を詳しく解析した．その結果，2個のノイズを用いた場合，誤差の緩和時間が遅くなるが，残留誤差が小さくなることがわかった．