大規模並列深層学習のための目的関数の平滑化

摘要

深層学習では極めて冗長な数のパラメータを持つ深層ニューラルネットワーク(DNN) を膨大な学習データを用いて学習することで他の機械学習手法を圧倒する高い性能を発揮している．一方で，DNN の学習には膨大な計算時間がかかるため，大規模並列化によって学習時間を短縮するのが喫緊の課題である．SGD における小さなバッチサイズ(SB : SmallBatch) での学習は確率的なノイズの影響で汎化性能の高い解(Flat Minima) に収束する理論づけとして，SGD のプロセスがRandom Potential のRandom Walk に類似しているという説や，SGD はパラメータの近似ベイズ推定を行なっているとみなせるため，SGD のノイズを調整をすることで良い汎化が期待できるといった研究の報告がある．大きなバッチサイズ(LB : Large Batch) での学習ではそのノイズが適切ではなくなり，局所解から多少のパラメータ変動で誤差が極端に増加するSharp Minima を避けることができず汎化性能が劣化するといった報告や，Keskar らは，SGD を用いたDNN のバッチサイズを増加させた場合，目的関数の勾配が正確になり分散が小さくなることに起因して汎化性能が劣化するとしている．本研究では，汎化性能を改善するための前処理手法であるData Augmentation を，大きなバッチサイズ(LB : Large Batch) での学習に適用し，大規模並列化に伴うバッチサイズの増加により汎化性能が劣化する問題のへの解決手法となるか，また目的関数を平滑化する効果があるのかの検証を行う．