変分法的ベイズ推定法に基づく正規化ガウス関数ネットワークと階層的モデル選択法

摘要

正規化ガウス関数ネットワーク（normalized Gaussian network，NGnet）は，正規化されたガウス関数を用いて入力空間を滑らかに分割し，分割された部分空間ごとに線形近似を行なうモデルである．空間全体をすべてのユニットを用いて近似する多層パーセプトロンのような大域モデルと異なり，NGnetは各ユニットに割り当てられた部分空間内で近似を行なう局所モデルであるため，効率良い学習が可能である．局所モデルを高次元データに適用する場合には『次元の呪い』が問題になるが，現実のデータは高次元空間のある一部分に局在しやすいため，多くの場合は局所モデルで十分に対応可能である．実際に，NGnetは非線形力学システム同定問題や強化学習における関数近似器として用いられ，良い結果が得られている。 NGnetは入出力変数の同時分布を近似する確率モデルとして定式化すると，混合正規分布の特殊な場合となる。これは，最尤推定（Maximum Likelihood estimation，ML）法の実現法であるExpectation-Maximization（EM）アルゴリズムを用いて，高速な学習が可能であることを意味している．しかしながら，ML法はモデルの複雑さや推定の確からしさを考慮しないために，モデル構造の決定が困難であり，また，しばしば過学習の問題を引き起こす．われわれは以前の研究において確率的解釈に基づくユニツトの生成·削除機構を導入することによりこの問題の解決を図ったが，ヒュートリステイクスであるために，課題に応じてあらかじめ適切なメタパラメータを設定する必要があった．