不平衡样本集的支持向量机模型选择

摘要

支持向量机是由Vapnik等人于上世纪90年代提出的一种崭新的学习机器，它作为统计学习理论的实现方法，是处理小样本学习的有效工具，在模式识别、信号处理、自动化、通讯等领域得到了广泛应用。在不平衡样本集中，不同类别的样本数量上的差异导致分类器性能的下降，所以一直以来不平衡样本集都是机器学习的一个研究热点。在不平衡样本集中寻找支持向量机的最优参数(又称模型选择)也是支持向量机研究领域的一个重要分支。 为此，本文首先介绍了统计学习的基本理论以及不平衡样本集中支持向量机研究的现状和存在的问题，并详细介绍了一种利用已知样本数量信息调节两个正则化参数比例的方法，由于该方法在理论上缺乏严谨的推导过程，却得到了广泛的应用，因此我们用L<,1>-SVM对该方法进行了大量的仿真实验；得出的结果表明，这一理论的正确性得不到保证。在此基础上，本文对两类样本引入不同的正则化参数，推广经典单正则化参数L<,2>-SVM，获得具有双正则化参数的L<,2>-SVM的对偶形式，使两个正则化参数出现在核矩阵的对角线上，此时核函数中同时包含了核参数和两个正则化参数，为确定最优化的目标函数打下基础。基于以上的研究，本文利用双正则化参数的L<,2>-SVM，从最小化VC维出发，结合最优化方法，提出了一种在不平衡样本集中进行支持向量机模型选择的新方法。 本文使用多类的基准数据集转化成两类的不平衡样本集，对本文提出的方法进行了仿真实验，结果表明这一方法是可行且有效的。而对于多类的情况，本文采用了一对多的方法。实验结果表明，本文的方法有效地改善了分类精度。最后，对本文的工作进行了总结，并指出了今后的研究方向。

目录

文摘

英文文摘

前言

声明

第一章绪论

1.1机器学习理论概述

1.1.1 机器学习问题的表示

1.1.2 经验风险最小化原则

1.1.3 机器学习的发展简史

1.2统计学习理论的核心内容

1.2.1 VC维简介

1.2.2 推广性的界

1.2.3 结构风险最小化原则

第二章支持向量机基本原理及变形算法

2.1最优分类面

2.2广义最优分类面

2.3基于核函数的学习方法

2.4支持向量机

2.5支持向量机的变形算法L2-SVM

第三章不平衡样本集中支持向量机研究现状与仿真实验

3.1不平衡样本集的性能分析与研究现状

3.1.1 不平衡样本集中支持向量机的性能分析

3.1.2 重构数据集方法的研究现状

3.2不平衡样本集中支持向量机算法的改进

3.2.1 L1-SVM的改进

3.2.2 υ-SVM的改进

3.3仿真实验

3.3.1 实验的目的

3.3.2 实验的方法和步骤

3.3.3 实验结果及分析

第四章不平衡样本集的支持向量机模型选择的新方法

4.1特征空间超平面VC维

4.2模型选择中目标函数的选取

4.3模型选择中SVM类型的选择

4.4基于梯度法和VC维的模型选择方法

4.4.1 求VC维关于参数梯度的思路

4.4.2 基于梯度法的优化过程

4.4.3 算法实现的主要内容

第五章实验过程与结果分析

5.1实验一VOWEL数据集性能测试

5.2实验二SATIMAGE数据集性能测试

5.3实验三SATIMAGE数据集多类分类性能测试

第六章总结与展望

参考文献

致谢