高次元データにおける距離加重判別分析の漸近的性質とバイアス補正

摘要

本講演では，高次元小標本データに対する判別分析を考える.母集団が2個あると想定し， 各母集団π_(i=1,2)は平均にd次べクトルμ_i,共分散行列にd次正定値対称行列Σ_iをもつと仮定する.各母集団π_iからn_i(≥2) 個の学習データx_(i1),...,x_(in_i),を無作為に抽出する. N=n_1+n_2とし，d>Nを仮定する.判別対象のd次元データをx_0とし，x_0 ∈π_1 もしくはx_0∈π_2を仮定し，x_0 ∈π_1のときに判別対象を誤判別する確率をe(1)とし，e(2)も同様の表記とする.また，Δ =‖μ_1μ_2‖,△_* =△+tr(Σ_1)/n_1+tr(Σ_2)/n_2とする.Vapnik 等が考案したサポートベクターマシン（SVM)は高次元データ解析において疎な解を与え，汎化性能が良いことが知られている.特に，Nakayama et al. (2017, JSPI)はSVMの漸近的性質を高次元小標本の枠組みで理論的に研究し， e(i) → 0 as d →∞ for i =1,2 (1) なる一致性を示すための正則条件を導出している.一方で，Marron et al. (2007, JASA)は，高次元のもとで，SVMがdata pilingという現象を引き起こすことを指摘した.data piling とは，訓練データの多くがサポートベクターになることを意味し，過学習を引き起こす要因にもなつている.さらに，Marronetal. (2007， JASA)は，data pilingを避けるようSVMのマージンを調整し，距離加重判別分析（DWD)を提案した.DWDでは，すべての訓練データと分離平面との距離の逆数の和が最小となるように分離平面を求めており，全ての訓練データを利用し分離平面を求めるため，性能が安定しやすいと言われている.しかしながら，高次元小標本データに対するDWDの精度保証については理論的な研究が乏しい.