分類問題における属性間依存性の再構築とその解釈: べイジアンネットワークタラシフアイアによる実験報告

摘要

Recently, many researchers have been focusing on Bayesian Network Classifiers (BNC) as classifiers which can consider dependencies between attributes. In this paper we propose new methods called k-Bayesian Network Classifier 1 (k-BNC1), and k-BNC2 to reconstruct the attribute-dependencies from data, which is based on the conditional mutual information criteria, and the standardized Kullback-Leibler divergence measure, respectively. We compared these classification performances with the performance by the naive Bayes classifier as well as K2 algorithm and Hill Climbing Search algorithm, both of which can automatically construct Bayesian Network structures from data. We also discuss the interpretation of the model generated by our proposed methods, and the advantage of the constraint on directions of arcs between two attributes. Our experimental results show the tendency that k-BNC1 and k-BNC2 perform better than the other methods. The results also suggest that the model with the direction constraints make the classification performance better than the one without the constraints.%近年，属性間の依存性を考慮した分類モデルとして，ベイジアンネットワーククラシファイア（BNC）の研究が盛んになっている．本報告では，属性間依存性をどのように再構築すべきか，という観点からベイジアンネットワークタラシフアイアの1種であるTree Augmented Network（TAN）を改変し，相互情報量に基づく手法k-Bayesian Network Classifier1（k-BNC1）と，確率分布のカルバックライブラ擬距離に基づく手法k-BNC2を提案する.これらの手法はいずれも依存性の高い属性ペアを上位k個のみ採用して属性間依存性を再構築できる．検証実験では，属性間依存性を考慮しないNaive Bayes Classifierや，Bayesian Networkの構造推定法（K2アルゴリズム，HillClimbing Searchアルゴリズム）と比較し分類パフォーマンスを評価した.検証実験により提案手法の優位性を示唆する結果を得た．また，依存性制約の有無と属性間依存性の解釈の関係性についても考察し，依存性制約を導入することで分類精度が向上する傾向にあることが分かった．