変分べイズ法の局所解における自由エネルギーと汎化誤差の関係

摘要

変分ベイズ法は少ない演算量でベイズ事後分布を近似実現できるが，初期値に依存する複数の局所解を持つことが知られている.変分自由エネルギーは与えられたサンプルだけで計算できるが，汎化誤差はサンプルだけでは計算できないため，局所解における変分自由エネルギーと汎化誤差の間の関係を明らかにすることが望まれている.本論文では，人工データ及び実データを用いて，局所解における自由エネルギーと汎化誤差を求めて比較を行い，次の実験結果を報告する.真の分布が学習モデルに対して正則であるときには，変分自由エネルギーが小さい局所解は汎化誤差も小さくする.真の分布が学習モデルに対して特異であるときには，変分自由エネルギーを最小にする局所解が汎化誤差も最小にするとは限らない.%Variational Bayes learning approximates the posterior distribution with small computational costs, however, it has several local minima which depend on initial values. The variational free energy can be calculated using only training samples, whereas the generalization error not. To compare several local minima, the relation between the variational free energy and the generalization error are necessary. In this paper, we experimentally calculate the free energy and the generalization error for each local minimum, and report the following results. If a true distribution is regular for a statistical model, then the local minimum that minimizes the variational free energy also makes the generalization error minimal. If a true distribution is singular for a statistical model, then the local minimum that minimizes the variational free energy does not always make the generalization error minimal.