Global Solution of Variational Bayesian Matrix Factorization Under Matrix-wise Independence

摘要

変分ベイズ行列分解は，分解因子問の独立性（行列因子間独立性）を満たす分布によってベイズ事後分布を近似する手法であり，繰り返しアルゴリズムによって解かれる．我々は近年，観測行列が欠損値を含まない場合において，より強い制約（列間独立性）により簡略化された変分ベイズ法（簡略変分ベイズ法）の解析解を導出した．この結果により，繰り返しアルゴリズムよりも少ない計算量で大域解析解を得ることが可能となったが，列間独立性により近似精度がどの程度劣化するかは明らかにされていなかった．本稿では，行列因子間独立性における変分ベイズ事後分布が，実は列間独立性を満たすことを理論的に示す．すなわち，列間独立性の導入によって近似精度は全く劣化しないのである．これにより，簡略化しないオリジナルの変分ベイズ解が解析的に効率よく計算できることになった．実験では，確率的主成分分析を例にとって我々の手法の有用性を示す．%Variational Bayesian matrix factorization (VBMF) efficiently approximates the posterior distribution of factorized matrices by assuming matrix-wise independence of the two factors. A recent study on fully-observed VBMF showed that, under a stronger assumption that the two factorized matrices are column-wise independent, the global optimal solution can be analytically computed. However, it was not clear how restrictive the column-wise independence assumption is. In this paper, we prove that the global solution under matrix-wise independence is actually column-wise independent, implying that the column-wise independence assumption is harmless. A practical consequence of our theoretical finding is that the global solution under matrix-wise independence (which is a standard setup) can be obtained analytically in a computationally very efficient way without any iterative algorithms. We experimentally illustrate advantages of using our analytic solution in probabilistic principal component analysis.