多項式カーネル法の汎化誤差解析－代数幾何的アプローチ

摘要

本稿では，多項式カーネルを用いた学習二分機械の汎化能力について議論する．まず，学習機械の汎化誤差は入力空間が特徴空間に作る多様体（入力曲面）と特徴空間における真の分離面の交線（分離曲線）の性質に依存することを示す．特に入力曲面が1次元の時には，分離問題は交点数と同じ数の1次元問題とみなせ，汎化誤差が導出できる．また，入力曲面が多次元の時には，汎化誤差は分離曲線の級数で定まることが示される．次に，分離曲線の級数と真の分離関数の関係について考察する．分離曲線の級数は真の分離関数が既約である場合に最大となり，可約である場合には小さくなることが明らかにされる．いずれにしても分離曲線の級数は真の分離関数のみに依存し，特徴空間の次元には直接依存しない．これは特徴空間の次元が高すぎる場合でも汎化誤差は増加しないことを示しており，カーネル法を用いた学習においてはいわゆる過学習現象が起こらないことを意味している．