ランダムニューラルネッ卜の近似下限評価

摘要

ランダムネットによる回帰問題の近似誤差を評価する。ランダムネットとは，隠れ層をランダム初期化した状態で固定し，出力層のみを最適化する方法で学習された浅いニューラルネットである。隠れ層の学習を省略することで，標準的な勾配降下学習では避けられない非凸最適化を回避できるため，理論と応用の両方で用いられる学習法である。本研究では，浅いニューラルネットワークが普遍関数近似器であるというよく知られた事実にもかかわらず、ランダムネットは広いクラスの関数に対して近似誤差をゼロにできないことを示す。さらに，ニューラルネットのための調和解析であるリッジレット解析（ridgelet analysis)を用いて，関数クラスの滑らかさsに対する近似下限を計算する。