同時摂動学習則を用いた多層ニューラルネットワークの研究

摘要

本論文では，同時摂動学習則を用いたニューラルネットワークの研究について述べる．同時摂動学習則は勾配降下法であり，更新量は確率的に求まる．またこの学習は，摂動を加えたときと加えないときのニューラルネットワークの順方向計算から更新量を求めることができる．このため，よく用いられる誤差逆伝搬法と比較した場合，逆伝搬計算を行う必要がないため，非常に簡単なシステムで学習を実現できる特徴がある．また，同時摂動学習則は重みの更新量が各層で近い大きさをとるため，勾配消失問題に対して効果があると考えられる．しかし，同時摂動学習則の問題として，確率的に更新量を求めるため1回あたりの更新が誤差逆伝搬法に対して精度が低いという点がある．これに対して，我々は異なる複数の摂動に対する更新量の平均値を求めることで改善を行う．そして，これらの特徴を活かし，勾配消失問題に強い同時摂動学習則を用いた多層ニューラルネットワークの実現を行った．