サンプリングによるカーネル回帰のデュアルスパース化

摘要

回帰分析やパターン認識において入力パターンに冗長な特徴が含まれている場合，予測精度が低下する可能性がある．再生核ヒルベルト空間におけるカーネル法を用いた非線形回帰モデルは，観測したパターンに対応するカーネルの線形和で表されるため，入力パターンの増加に伴いパラメータの次元が増加する．これにより，過学習が起きやすくなる．本稿では，非線形モデルに有効な特徴選択および適切なモデル選択手法を提案する．特徴選択および重みベクトルのスパース性を表現するために，すべての要素が0か1かであるバイナリベクトルをベータ過程により生成する．カーネル回帰にバイナリベクトルを導入することにより，有効な特徴を選択し，スパースな重み係数ベクトルを推定できる．そのバイナリベクトルと特徴ベクトルおよび重み係数ベクトルの要素積を新たな特徴量および重み係数として，カーネル回帰モデルを定式化する．ギブスサンプリングによりバイナリベクトルの事後分布を推定し，それに基づきバイナリベクトルを推定する．計算機実験により提案手法の有効性を示す．