On a Relation between a Limit Theorem in Learning Theory and Singular Fluctuation

摘要

Let B_g, B_t, G_g, G_t, and V be the Bayes generalization error, the Bayes training error, the Gibbs gen­eralization error, the Gibbs training error, and the functional variance, respectively. If the o posteriori distribution with the inverse temperature β > 0 is employed, then the equations of states in learning, E[B_g] = E[B_t] +βE[V] and E[G_g] = E[G_t] +βE[V], hold. Hence B_t + âV and G_t + βV can be applied to model selection and hyperparameter optimization. In the previous papers, we proved these equations on the assumption that the true distribution is contained in the learning machine and that Fisher information matrix is singular. In this paper, we prove the same equations hold on the assumption that the true distribution is not contained in the learning machine and that Fisher information matrix is positive definite. Also we show nV converges to a constant in probability.%ベイズ汎化誤差をB_g、ベイズ学習誤差をB_t、ギプス汎化誤差をG_g、ギプス学習誤差をG_t、汎関数分散 Ⅴ、事後確率分布の逆温度をβとするとき、関係式呵E[B_g］＝E[B_t］＋βE[V]、E[G_g］＝E[C_t]＋βE[V]が成り立つ。これを学習の状態方程式という。学習誤差と汎関数分散はサンプルと学習モデルが与えられると真の分布を知らなくても計算できる。汎関数分散は特異ゆらぎと密接な関係を持つ。従来の論文で我々は、学習モデルが真の分布を含んでいるときには、フィッシャー情報行列が正則であっても特異であっても学習の状態方程式が成り立つことを証明した。この論文では、真の分布が学習モデルに含まれていない場合においても、フィッシャー情報行列が正則であれば、同じ式が成り立つことを示す。またその場合にはnVは、ある定数に確率収束することも示す。