直交制約に基づくコンパクトなニューラルネットワーク

摘要

ニューラルネットワークには関数近似機能があることから，識別関数の近似による識別器としてなど，幅広い分野で利用されてきた．一方で，理論的には万能な関数近似が可能である2層のネットワークでは，複雑な関数を現実的な計算時間によって近似することが困難であり，これを克服するために多層化が進められて深層学習が成立した．しかし，多層化はネットワーク規模の拡大を招き，データ量の増加と同時にモデルサイズも拡大し続けている．そこで本稿では，関数近似という観点に立ち戻り，関数を直交関数系の係数に分解するフーリエ変換に注目し，直交関数基底の利点を活かしたコンパクトなモデルを得る枠組みについて述べる．