Support Vector Machine を用いたAdaBoost の重み最適化

摘要

AdaBoost のアルゴリズムでは、弱識別器を各ラウンドに1つずつ順に学習する。弱識別器の重みもラウンド順に決まるが、一度決定された重みは変化しない。これらの重みは全ての弱識別器が学習された後に全弱識別器の結果を用いて最適化出来る。本稿では、ソフトマージン線形SVM を用いてAdaBoost の重みを最適化する2つの手法を提案する。1つは全弱敵別器が構築された後に1回最適化を行う手法であり、もう1つは、AdaBoost の全学習ラウンドで最適化を行う手法である。7つのベンチマークデータセットに対して評価実験を行い、提案手法がAdaBoost と同等以上の識別性能を持つことを示した。%The AdaBoost algorithm trains weak classifiers sequentially and the weights of each classifier are also determined sequentially. But once the weight of weak classifier is calculated, it is not changed. These weights can be further optimized using classification results of all weak classifiers after all the weak classifiers were constructed. This paper proposes the weight optimization method of the AdaBoost algorithm using soft-margin linear SVM. There are two possibilities to apply the weight optimization. One is to apply the optimization once after all weak classifiers are constructed. The other is to apply the optimization at every step of boosting. Experiments on 7 commonly used benchmark datasets show that the proposed optimization methods can give better or comparable error rates compared to the original AdaBoost.