線形神経回路網における部分空間ベイズ法の解析－ベイズ的推定法と縮小推定との関係

摘要

神経回路網や混合分布モデルなどの特異モデルは，正則モデルとは異なる汎化性能を示す．近年の研究によると，一般に正則モデルと比較して，最尤法では過学習しやすく，ベイズ法では過学習しにくいことが知られている．従って特異モデルの学習においては，ベイズ法を用いることが望ましいのであるが，事後分布を実現するための方法であるマルコフ連鎖モンテカルロ法は，膨大な計算量を必要とする．このため，変分ベイズ法などの近似手法が提案されている．本論では，別の近似方法である，部分空間ベイズ法についてその汎化性能を解析し，縮小推定，変分ベイズ法との関係を議論する．得られた結論は以下である．3層線形神経回路網において，部分空間ベイズ法はJame-Stein型縮小推定と漸近等価であり，多くの場合，ベイズ法に匹敵する汎化性能を示す．また，変分ベイズ法とも強く関連している．