基于广泛内核的CVM算法研究及参数C的选择

摘要

支持向量机是近年来流行的机器学习方法，建立在结构风险最小化原则的基础上，因此能够较好地处理小样本情况下的学习问题。然而在支持向量机算法的大样本学习应用中，存在着三大必须解决的问题：算法速度问题、支持向量存量问题和算法参数选择问题。目前主流的支持向量机优化方程和训练算法难以同时满足速度快、内存占用少并且支持向量少的要求，主要困难在于支持向量机训练过程中支持向量个数太多。核向量机是支持向量机的一个重要改进，可以极大减少支持向量的个数，但是仍然存在内核限制，泛化能力低等缺陷。所以本文在分析了支持向量机的基本理论和基本性质的基础上，针对核向量机算法的缺点和不足，提出基于广泛内核的核向量机算法和基于核聚类的相对距离比较方法，克服了现存算法存在的缺陷，提高了支持向量机的训练与分类效率。
　　 首先针对最小闭包球问题的内核限制问题，分析了最小闭包球和中心约束闭包球之间的关系；在此基础上，针对最小闭包球问题的二次规划问题，提出新超球的球心和半径的更新方法，从而得到新的基于广泛核的核支持向量机算法；从理论上证明了基于广泛核的核支持向量机算法的收敛性，并给出了该算法的时间复杂度和空间复杂度。
　　 其次针对已有的参数C选择算法缺乏启发性以及选取困难的不足，本文在分析了核聚类算法和距离比较算法的基础之后，提出基于核聚类的相对距离比较方法。该算法利用核聚类算法在特征空间对样本点进行聚类，然后根据每个样本点到聚类中心的距离的比值，得到参数C。本文在理论方面，分析了算法的复杂度，选取的参数提高了核支持向量机算法的泛化能力。
　　 最后，本文在Linux环境下进行实验，从CPU运行时间、核向量集的大小及测试准确率三个方面，分别分析比较核向量机、简单核向量机和基于广泛内核的核向量机三个算法；分别利用交叉验证法、结构风险法和基于核聚类的距离计较方法选择参数C，然后分析比较算法的预测准确率。实验结果表明，基于广泛内核的核向量机去除了内核的限制，降低了算法的复杂度，并提高了算法的泛化能力；基于核聚类的相对距离计较方法可以选取合适的参数C，提高算法的性能。

目录

文摘

英文文摘

论文说明：图表目录、注释表

声明

第一章 绪论

1.1研究背景及意义

1.2统计学习理论和支持向量机算法概述

1.2.1统计学习理论

1.2.2支持向量机

1.3支持向量机大样本学习算法的研究现状

1.3.1分解方法

1.3.2变形方法

1.3.3预处理方法

1.3.4增量学习方法

1.3.5其他处理方法

1.4研究内容

1.5章节安排

第二章 基于最小闭包球的CVM算法介绍

2.1分类与超球问题

2.1.1硬间隔SVDD

2.1.2软间隔SVDD

2.2最小闭包球问题

2.2.1 MEB问题的定义

2.2.2单类二范数SVM

2.2.3二类二范数SVM

2.2.4最小闭包球转化条件分析

2.3 CVM算法

2.3.1 CVM算法思想

2.3.2 CVM算法描述

2.4算法分析及新算法的提出

2.4.1算法分析

2.4.2新算法的提出

2.5本章小结

第三章 基于广泛内核的ECVM算法

3.1中心约束MEB

3.1.1中心约束MEB定义

3.1.2中心约束最小闭包球转化条件分析

3.2 ECVM算法的设计

3.2.1最远点的计算

3.2.2决策向量的计算

3.2.3 ECVM算法描述

3.3 ECVM算法的性能分析

3.3.1 ECVM算法的收敛性能分析

3.3.2 ECVM算法的复杂度分析

3.4实验及结果分析

3.4.1实验环境及数据集

3.4.2实验结果及其分析

3.5本章小结

第四章 基于核聚类的参数C选取算法

4.1参数C的选取算法

4.1.1软间隔与参数C

4.1.2交叉验证法

4.1.3结构风险法

4.2基于核聚类的参数C选择算法的设计及分析

4.2.1问题提出

4.2.2相关知识

4.2.3基于聚类的距离比较算法设计及分析

4.3实验及结果分析

4.3.1实验环境和数据集

4.3.2实验结果及其分析

4.4本章小结

第五章 总结与展望

5.1论文的主要工作及贡献

5.2下一步的工作

参考文献

致谢

在学期间的研究成果及发表的学术论文