Superfast Probabilistic Classifier

摘要

Kernel logistic regression (KLR) is a powerful and flexible classification algorithm, which possesses an ability to provide the confidence of class prediction. However, its training—typically carried out by Newton's method or quasi-Newton methods—is rather time-consuming. In this paper, we propose an alternative probabilistic classification algorithm called Least-Squares Probabilistic Classifier (LSPC). The solution of LSPC can be computed analytically just by solving a system of linear equations, so LSPC is computationally efficient and stable. Through experiments, we show that the computation time of LSPC is faster than that of KLR by the factor 100 with comparable accuracy.%カーネルロジスティック回帰（KLR）は強力かつ柔軟性のある分類アルゴリズムであり，事後確率に基づいてクラス予測の信頼性を出力きるという特徴を持つ．しかし，通常ニュートン法や準ニュートン法によって行われるKLRの学習には時間がかかる．そこで本論文では，最小二乗確率的分類器（LSPC）という新しい確率的分類アルゴリズムを提案する．LSPCの解は線形方程式を解くだけで解析に計算することができるため，非常に計算効率がよい．計算機実験により，LSPCはKLRと同程度の認識精度を維持したまま，計算時間が百倍程度速いことを示す．