不偏尤度に基づく階層モデルの統計的学習

摘要

カーネル回帰モデル，ニューラルネットワーク，鱒合分布モデルといった階層モデルに，最尤推定，事後確率最大化推定，ベイズ推定といった統計的学習手法を適用すると退学習が生じることが知られている．本稿では，正則モデルの集合として定義できる階層モデルについて，従来の統計的学習手法によ'り退学習が生じる原因を明らかにし，不偏尤度（情報量規準）に基づいて学習する不偏学習を提案する，カーネル回帰モデルの正則化最尤推定への適用例により不偏学習の有効性を示す．