基于核函数Fisher判别的数据分类算法研究

摘要

随着互联网等技术的快速发展,每天都会产生大量的数据,如何从海量的数据中提取出有用的信息成为人们面临的新的挑战,数据挖掘技术在这种需求下应运而生。分类作为数据挖掘重要的分支,在图像分类、语音识别等领域中有着重要的应用。近年来,如何利用已知样本来提高分类算法性能的研究与应用引起了学术界和工业界越来越多的关注。但是,随着目前实际应用中对分类算法鲁棒性、适应性以及分类准确率要求的不断提高,传统的分类算法已不能满足应用的需要,需要更深入的理论分析。
　　 本文主要对基于核函数Fisher判别分析的数据分类算法进行系统的研究,具体的研究工作如下:
　　 (1)针对传统的线性分类,将K均值算法和Fisher判别结合起来,提出了一种新的循环Fisher判别算法:首先用K均值算法进行初始化,然后用Fisher判别进行循环迭代,该算法在线性划分中取得了较好的效果。
　　 (2)在非线性分类算法KFD中,针对核函数的选取,本文在信息增益率准则下使用纠正重复取样t测试,比较了九种常用核函数的分类性能,指出了在没有先验条件下,RBF核函数具有最优的分类能力。
　　 (3)在KFD算法RBF核函数参数σ的优化问题中,从理论上分析了σ从0到∞时的变化规律,并用实验对该结论进行了验证。
　　 (4)在求RBF核函数参数σ的优化问题上,提出了一种求最优RBF核函数参数σ的“三分法”,弥补了交叉验证法和梯度下降法等优化算法的不足。
　　 (5)针对传统KFD算法的不足,本文系统研究了加权的核函数Fisher判别算法(wKFD),并对几种常用的权值,如质心距离权重、组平均距离权重、Ward距离权重进行了研究比较,得到了较优权值函数。