改良型基本プロックによるブロック構造的ニュ一ラルネットワークの性能向上

摘要

ニューラルネットワークモデルは様々な意志決定問題に対して柔軟な学習アルゴリズムの適用が可能なため，多くの場面において成果を挙げている。ソフトウエアとしての実装においては多くの研究者達がアルゴリズムの最適化，新アルゴリズムの研究に励hだ結果，ニューラルネットヮークは飛躍的に発展し，現在は研究者だけでなく，我々の生活の中でも-ユーラルネットワークを始めとする人工知能アルゴリズムによる予測や提案機能を接するようになつた。インターネット検索エンジンの単語予測や，オンラインショッビングモールからのおすすめ商品の案内メール，ディープラニングアルゴリズムを利用した株式トレードの提案など，増加していくネットワークデータに対する知的な処理は，今やニューラルネットワークのような人工知能 による解析なくしては不可能である。このような人工知能の初期応用においてはリアルタイム性より分析の正確さが求められた。多くの研究者達はアルゴリズムの性能向上に専念し，アルゴリズムの実行には汎用CPUを用いていたが，2012年Geoffrey Hintonチーム（カナダのトロント大学）がLarge Scale Visual Recognition Challenge 2012(ILSVRC2012 )というコンペティションで彼らの開発したSuperVisionの圧倒的な結果で優勝したことを機にGPUが使用され始めた。彼らの使用したGPUは画像処理に使用されていた演算プロセッサーではあったが，膨大な数の行列演算を必要とするニュ一ラルネットワークのトレーユングに適しており，汎用CPUより高速な処理が可能だつた。しかし，このようなニューラルネットワークァルゴリズムの成功にも関わらず，特定問題に対するニューラルネットワークの最適構造を決定することは困難である。