新的支持向量机增量学习算法

摘要

由Vapnik等人所提出的支持向量机自1992年在计算学习理论会议上进入机器学习领域之后，便受到了不少业内学者的密切关注。支持向量机是建立在统计学习理论和结构风险最小化原则基础上的一种全新的机器学习方法，集优化、核、最佳推广能力等特点于一身，有着很好的学习性能和泛化能力，目前已经成功并广泛的应用于许多领域，现已成为机器学习和数据挖掘领域的标准学习工具。
　　 但是在实际问题中，样本的采集及对样本的认知都是一个逐步积累的过程，因此新增训练样本对于实际问题来说是常见而又合理的。增量学习技术是一种得到广泛应用的智能化数据挖掘与知识发现技术，它基于历史的学习结果对新增加的数据进行再学习，使得学习具有一定的连续性。
　　 运用增量学习的思想进行支持向量机增量学习，现有的简单支持向量机增量学习算法大部分都没有充分考虑到新增样本对初始样本集中位于支持向量附近的非支持向量的影响，致使一些有用的历史数据过早的被淘汰，从而严重影响分类的精度。针对这一问题提出了一种新的SVM增量学习算法——寻找最近点SVM增量学习算法，该算法有效利用了支持向量附近的非支持向量，先找出原样本中距离支持向量最近的非支持向量作为训练集的一部分，再结合SVM寻优问题的条件和样本之间的关系，对训练数据进行有效的遗忘淘汰。对标准数据集的试验结果表明，该算法在新样本集加入后有效的压缩了整个样本集的大小，淘汰无用的样本，减少了对存储空间的占用，在保证了训练速度的同时训练精度有了明显的提高。

目录

文摘

英文文摘

声明

第一章绪论

1.1选题背景及研究意义

1.2研究现状

1.3本文主要工作及内容安排

1.3.1本文的主要工作

1.3.2本文的内容安排

第二章支持向量机增量学习的基本理论

2.1统计学习理论

2.2支持向量机(SVM)的相关理论

2.2.1支持向量机(SVM)

2.2.2支持向量(SV)

2.3最优化问题的KKT条件

2.3.1 KKT条件

2.3.2广义KKT条件

2.4增量学习

2.5本章小节

第三章支持向量机的相关算法概述

3.1 SVM标准算法

3.1.1线性可分情况

3.1.2线性不可分情况

3.1.3非线性可分情况

3.2求解海量数据的SVM算法

3.2.1选块算法(chunking)

3.2.2分解算法(decomposing)

3.2.3序列最小最优化(sequential minimal optimization，SMO)算法

3.3本章小节

第四章支持向量机增量学习算法

4.1 SVM增量学习算法概述

4.1.1 SVM增量学习算法的提出

4.1.2 SVM增量学习算法的研究现状

4.2 SVM增量学习问题及算法

4.2.1简单的SVM增量学习算法

4.2.2经典的SVM增量学习算法—Batch SVM

4.3寻找最近点SVM增量学习算法

4.3.1算法的提出

4.3.2寻找最近点SVM增量学习算法描述

4.4本章小节

第五章试验结果及其分析

5.1寻找最近点SVM增量学习算法与标准的SVM算法结果比较

5.2寻找最近点SVM增量学习算法与一般的SVM增量学习算法结果比较

5.3本章小节

结束语与展望

致谢

参考文献

在读期间的研究成果