单分类支持向量机的学习方法研究

摘要

支持向量机(SupportVectorMachine，SVM)是在统计学习理论基础上发展起来的新型机器学习算法。SVM采用结构风险最小化原则，同时最小化经验风险和置信范围，具有拟合精度高、选择参数少、推广能力强和全局最优等优势。SVM为解决小样本、高维数及非线性等问题提供了有效工具，已成为机器学习领域中研究热点之一并得到了广泛应用。
　　 SVM是针对二分类问题提出的，需要两种类别的样本作为训练样本。在实际应用中，有些领域几乎无法获取两类的样本或者代价极高，如敌我识别、攻击样本、卫星故障等，只能获取一个类别的样本，故只能利用这一类样本进行学习，形成数据描述从而实现分类，故出现了单分类算法。
　　 支持向量数据描述(SupportVectorDataDescription，SVDD)和一类支持向量机(one-classsupportvectormachine，OCSVM)是SVM算法扩展成的单分类算法。在相同的高斯核函数作用下，两种算法完全等价，合称之为单分类支持向量机(1-SVM)。“工欲善其事，必先利其器”。要使1-SVM能更好地应用于实际工程问题，首先需要解决1-SVM的训练或学习问题，其过程实际上是求解一个二次规划(OP)问题。本文以提高1-SVM的学习能力为目标，分别对1-SVM的粒子群优化学习、快速学习以及增量学习三个方面进行了研究，并提出了相应的解决方案，主要工作如下:
　　 提出将粒子群优化算法(PSO)的一种扩展算法——线性粒子群优化算法(LPSO)应用到1-SVM的学习上。为了解决粒子飞行到群体最优位置容易陷入停滞状态而过早收敛的问题，采用改变群体最优粒子飞行方式的策略，使群体最优粒子与其他粒子按照不同的方式飞行，改善了LPSO算法的收敛性能，并将此方法应用到LPSO学习1-SVM的过程中。LPSO为解决1-SVM的学习问题提供了新思路。
　　 针对1-SVM的大规模样本集的学习问题，受启发于随机取样算法在凸二次规划问题的成功应用，提出了一种基于随机取样算法的快速学习方法。随机选取大规模样本集的两个样本子，依据随机取样引理和推导出的随机结合定理，对两个子集自身的支持向量(极值点，extreme)和相互间违背KKT条件的样本（外点，violator)进行融合，最后学习出两个子集共同的新决策边界。以此类推，直到全部样本抽取和融合完毕。此方法将大规模样本分批抽取为小样本集并对每一个小样本集进行1-SVM学习，降低了1-SVM学习的内存空间和计算时间，是一种有效的快速学习方法。
　　 为了实现1-SVM的增量学习过程，分析了一类支持向量机(OCSVM)的几何表示特性，提出了一种基于德尔塔函数的增量学习方法。因为OCSVM的几何结构仅仅有一个分类超平面，在其分类超平面的决策函数上添加一个德尔塔函数能够形成新的决策函数，即一个新的分类超平面。根据新增样本求解德尔塔函数就是OCSVM的增量学习过程。受OCSVM二次规划问题的启发，分析得到德尔塔函数的优化问题同样是二次规划问题，并提出利用修正的序贯最小优化(SMO)算法进行求解。
　　 简要介绍了车牌识别系统的组成部分;分析了高清车牌识别的特点，并为车牌定位、字符分割和字符识别等核心技术提出了相应方案;将一对多的1-SVM多分类方法应用到字符识别，并利用提出的增量学习方法提高1-SVM的识别能力。最后，通过C++编程环境实现了识别过程，结果表明成功实现了高清车牌识别系统。

目录

声明

致谢

摘要

图目录

表目录

第1章 绪论

1．1 课题研究背景

1．2 课题研究意义

1．3 国内外研究现状

1．3．1 支持向量机的研究现状

1．3．2 单分类的研究现状

1．3．3 单分类支持向量机的研究现状

1．4 本文研究内容及结构安排

1．4．1 研究内容

1．4．2 论文组织结构

第2章 单分类支持向量机

2．1 统计学习理论

2．1．1 经验风险与期望风险最小化

2．1．2 学习过程的一致性

2．1．3 VC维和推广性的界

2．1．4 结构风险最小化

2．2 支持向量机

2．2．1 最大间隔分类超平面

2．2．2 最大间隔分类超平面个的求解

2．2．3 支持向量机算法

2．3 单分类支持向量机

2．3．1 支持向量数据描述算法

2．3．2 一类支持向量机算法

2．3．3 等价条件分析

第3章 基于线性粒子群优化算法的1-SVM学习方法

3．1 粒子群优化算法

3．1．1 粒子群优化算法原理

3．1．2 粒子群优化算法的研究现状

3．2 线性粒子群优化算法

3．2．1 线性粒子群优化算法

3．2．2 线性粒子群优化算法的收敛性改进方法

3．3 基于线性粒子群优化算法的1-SVM学习方法

3．3．1 调整粒子位置的方法

3．3．2 1-SVM的学习方法步骤

3．4 数值仿真

3．4．1 人工椭圆数据集实验

3．4．2 UCI数据集实验

3．5 本章小结

第4章 基于随机取样算法的1-SVM快速学习方法

4．1 SVM与随机取样算法

4．2 Clarkson的随机取样算法

4．3 针对SVDD的随机结合定理及其证明

4．4 1-SVM的快速学习方法

4．5 数值仿真

4．6 本章小结

第5章 基于德尔塔函数的1-SVM增量学习方法

5．1 SVM增量学习

5．1．1 增量学习

5．1．2 SVM的增量学习

5．2 基于德尔塔函数的1-SVM增量学习方法

5．2．1 OCSVM模型以及几何表示

5．2．2 德尔塔函数与增量学习

5．2．3 德尔塔函数的有效求解方法

5．3 数值仿真

5．3．1 提出的增量学习方法随样本数的变化分析

5．3．2 不同方法的实验结果比较

5．4 本章小结

第6章 1-SVM在高清车牌识别中的应用

6．1 车牌识别系统

6．2 车牌定位

6．3 车牌字符分割

6．4 车牌字符识别

6．4．1 车牌字符

6．4．2 字符识别过程

6．5 软件系统演示

6．6 本章小结

第7章 总结与展望

7．1 全文工作总结

7．2 工作展望

参考文献

攻读学位期间主要研究成果

作者简历