支持向量机增量学习算法的研究与应用

摘要

支持向量机(Support Vector Machine，SVM)是一种在统计学习理论的基础上求解最优分类超平面的机器学习方法，在解决小样本、非线性、高维的数据问题中表现出了优势。然而，经典的支持向量机训练算法是不支持增量式学习的，因此对支持向量机增量学习的研究具有重要的意义。
　　为改进经典的支持向量机增量学习算法在训练时间与精度方面的性能，论文将学习过程分为初始训练阶段与增量学习阶段两个步骤完成，重点研究基于改进初始训练样本集选取和增量学习中非支持向量集选取的支持向量机方法。从支持向量机分类原理可知，训练初始阶段得到的支持向量集都包含在对应的边界向量集当中，论文改进k近邻法用于选取边界向量集作为初始训练集，方法为:所选择的初始求距离点不是从各类别的样本中随机选取，而是通过一种以各类样本中心的巾心点为圆心，距离的一半为半径作圆来求得各类别对应的边界向量。这种方法相比于k近邻法来说减少了初始的训练时间。在增量学习阶段:目前常采用(Karush-Kuhn-TucKe，KKT)条件选取有效的非支持向量集，在训练样本集很大时难以达到要求。该文采用了中心密度的方法来选取有效非支持向量集，效果良好，克服了每当增量样本集逐渐增加时KKT条件将变得更加复杂的困难。结合初始训练阶段与增量学习阶段所提出的改进方法，形成基于边界向量的支持向量机增量学习算法。通过实验比较了三种支持向量机增量学习算法的训练时间与分类精度，验证了改进算法在时间与精度方面的优势。
　　最后，在Breast-Tissue数据集上用改进的增量学习算法与经典的增量学习算法进行一次增量学习后得到的增量模型进行识别预测。仿真实验结果表明，改进的方法与经典的方法相比，预测识别率得到了相应的提高。

目录

声明

摘要

第一章 绪论

1．1 选题背景及其研究意义

1．2 国内外研究现状

1．2．1 支持向量机的国内外研究现状

1．2．2 支持向量机增量学习国内外研究现状

1．3 存在的问题

1．4 论文的组织结构

第二章 增量学习与支持向量机理论基础

2．1 增量学习

2．2 支持向量机

2．2．1 线性支持向量机

2．2．2 非线性支持向量机

2．2．3 核函数

2．3 多分类支持向量机

2．4 本章小结

第三章 支持向量机边界向量预选取算法及仿真研究

3．1 边界向量与边界向量预选取

3．1．1 边界向量的定义

3．1．2 边界向量预选取思路

3．2 改进的边界向量预选取算法

3．2．1 线性可分与非线性可分数据集间距离

3．2．2 k近邻选取边界向量集合算法

3．2．3 改进的k近邻边界向量集合选取算法

3．3 基于边界向量的支持向量机算法

3．4 仿真实验及结果分析

3．4．1 实验设计

3．4．2 实验结果及分析

3．5 本章小结

第四章 支持向量机增量学习算法的研究及仿真

4．1 SVM增量学习的基本概念

4．1．1 经典的SVM增量学习算法

4．2 增量过程分析

4．2．1 KKT条件与样本分布的关系

4．2．2 增量学习后支持向量集的变化情况

4．2．3 基于KKT条件的增量学习算法

4．3 SVM增量学习算法的改进

4．3．1 基于中心密度的改进非SV集选取方法

4．3．2 基于边界向量的支持向量机增量学习

4．3．3 算法实现过程

4．4 SVM增量学习算法的比较及仿真

4．5 本章小结

第五章 SVM增量学习在乳腺组织中的分类应用

5．1 实验设计

5．2 实验结果及分析

5．3 本章小结

总结与展望

参考文献

致谢

附录