Minimum Variational Free Energy and Average Generalization Error in Latent Variable Models

摘要

Bayesian learning, widely used in many applied data-modeling problems, is often accomplished with approximation schemes because it requires intractable computation of the posterior distributions. In this study, we focus on the approximation method, variational Bayes, for latent variable models. The asymptotic form of the minimum of the variational free energy, the objective function of variational Bayes, is analyzed and related to the asymptotic theory of Bayesian learning. This analysis additionally implies a relationship between the generalization performance of the variational Bayes approach and the minimum variational free energy.%混合正規分布，隠れマルコフモデルなどの潜在変数を持つモデルのベイズ学習では，変分ベイズ法による近似が広く用いられている．近年，いくつかの学習モデルについて変分ベイズ法の目的関数である変分自由エネルギーの漸近的な振る舞いを調べることにより，その近似精度や学習アルゴリズムの挙動が明らかにされてきた．しかしながら，変分ベイズ法の性質を記述する一般論は与えられておらず，特に変分ベイズ法を用いたときの汎化誤差の解析はごく一部の学習モデルに限られていた．本研究では一般の潜在変数モデルについて変分自由エネルギーの漸近形を評価する公式を導き，その混合正規分布への応用例を示す．また潜在変数と観測変数の同時分布についての予測分布の汎化誤差と変分自由エネルギーの関係を示唆する不等式を導出し，数値実験により，これが実際の汎化誤差の振る舞いを部分的に説明していることを示す．