多拉格朗日乘子协同优化的SVM快速学习算法研究

摘要

提出了一个利用多个拉格朗日乘子协同优化的支持向量机快速学习方法(MLSVM),并给出了每个乘子的可行域范围的定义公式,由于在每个乘子的优化过程中使用了解析表达式,使得算法可以更加精确和快速地逼近最优解,可以证明SMO算法是该方法的一个特例.在此方法的理论指导下,根据不同的学习策略,程序实现了3种不同的具体算法(MLSVM1,MLSVM2,MLSVM3),其中前两个算法在数据集不大时(＜5000条记录)学习速度与SMO算法相当,但当数据集更大时,算法就失效了.MLSVM3是一个改进算法,总结了MLSVM1和MLSVM2失效的原因,对SMO算法中学习效率较低的部分进行了改进,在多个数据集上测试,MLSVM3算法速度超过了SMO算法7.4%～4130%.