弱情報超事前分布と拡張予測情報量規準によるマルチプルカーネル関連べクトルマシン

摘要

関連べクトルマシン（RVM)はM-1 y_n=w_0+ Σ_(m=1)~(M-1) w_mK(x_n， x_m) + ε_n， n =1，…，N (1)となる非線形回帰モデルを，ベイズ理論とスパースモデリングの観点から構築する手法である（Tipping (2001) JMLR).ただしyは目的変数，xは説明変数，K(x_n,x_m)はカーネル関数，εは誤差で平均0,分散β~(-1)の正規分布に従うとする.RVMの特徴は回帰係数w_mにp{w_m∣α_m~(-1)) = N(w_m∣0,α_m~(-1))となる事前分布を仮定することである.これは関連度自動決定(ARD)事前分布と呼ばれており，スパース性を誘発する.ハイパーパラメータα_mには共役事前分布であるガンマ分布を仮定することが一般的である.しかしこの場合には不均一データに対し，モデルの推定が不安定になることがある.