PCクラスタシステムにおけるミニバッチ学習の概念を用いたニューラルネットワークの並列学習

摘要

近年，ハードウエア，ネットワーク技術の発達により膨大な量のデータが蓄積されるようになってきた．ニューラルネットワークによりこのようなデータを処理する場合，学習に美大な時間がかかってしまう．そこで本研究では，複数のCPUにタスクを分散し並列に学習を行うことによってこの問題を解決することを目指す．並列学習ではデータを分割し並列化したニューラルネットワークに割り当てる為，ミニバッチ学習の概念が必要となる．データを分割し並列に学習を行うと，データに冗長性が無い場合は学習精度が低下するが，データに冗長性がある場合は効率良く学習を並列化できる．すなわちデータの冗長性と並列化の有効性は深く関連している．本研究では大規模データが持つ冗長性を有効利用し，ミニバッチ学習の概念を用いてNNを並列化することによって，効率の良い並列学習を掟奏する．また，処理時間の並列化効率について比較検討した結果を報告する．