オンライン学習理論に基づく単純パーセプトロンのアンサンブル学習の解析

摘要

符号関数を出力関数とするK個の非線形単純パーセプトロンによるアンサンブル学習を，オンライン学習の枠組みで議論する．まず，一般の学習則について，生徒間の類似度qのダイナミクスを記述する微分方程式を導出する．次に，よく知られているへブ学習，パーセプトロン学習，アダトロン学習の三つの学習則について，この微分方程式を具体的に導出し，それらを数値的に解く．さらに，各生徒の出力の多数決により統合出力を決定する場合の汎化誤差ε{sub}gを数値的に求める．その結果，これら三つの学習則は「生徒の多様性維持」というアンサンブル学習との相性においてそれぞれ異なった性質を有しており，その観点でアダトロン学習がもっとも優れているという興味深い事実が明らかになる．