確率的勾配降下法のNTK理論による最適収束率

摘要

近年の研究により高次元ニューラルネットワークに対する確率的勾配降下法が何故大域収束し汎化性を持つのか特定条件下で解明されつつある.大域収束性の証明で重要な点は二ユーラルネットワークの学習ダイナミクスを関数空間において捉え，損失関数の関数についての凸性を活用することである.その際，ニューラルタンジェントカーネル（NTK)は有効な道具であり，オーバーパラメトライズされたニューラルネットワークの学習ダイナミクスをNTKに付随する再生核ヒルベルト空間でのダイナミクスとして記述することができる.この性質を活用し高次元ニューラルネットワークの勾配降下法に対する大域収束性がで示され，更に汎化誤差の収束解析が[3jにより行われた.また，これらの理論では訓練データ上のNTKのグラム行列の最小固有値が収束速度へ影響を及ぼすことも示唆された.しかし訓練データサイズが大きくなるにつれNTKのグラム行列が退化していくことが関数解析の理論から分かる.この事実はの汎化誤差バウンドが訓練データサイズの増加に伴いO(T~(-1/2)) (T:訓練データサイズ）よりも遅いという結論を導く.一方で，再生核ヒルベルト空間における学習理論では確率的勾配降下法が汎化誤差について最適収束率O(T-2rβ/2~(rβ+1))を達成することが知られている.ここでr∈[1/2,1]はベイズ規則の複雑さであり，β>1はカーネルのグラム行列の固有値の減衰率，すなわち再生核ヒルベルト空間の大きさを示す.この収束率はグラム行列の退化はむしろ学習の効率化を意味し，NTK理論と大きなギヤップがぁることが分かる.