多分类问题的投影双子支持向量机及其应用

摘要

分类是数据挖掘领域研究的核心内容，它是通过对有标签的训练样本进行学习，从而为未知标签的测试样本预测标签的过程。作为一种有监督学习的热门技术,分类已广泛应用于各个领域。投影双子支持向量机（简称PTSVM）是一个针对二分类问题的分类方法，它具有良好的推广性和较高的分类精确度，也受到了学术界的广泛研究。然而，随着数据形态的日益复杂，多分类问题已成为分类技术中研究的重点。因此，针对多分类问题，本文在PTSVM的基础上，做出了如下三个方面的工作：
　　第一，提出了一种新颖的多分类投影双子支持向量机算法（简称MPTSVM）。与PTSVM类似，MPTSVM通过求解多个二次规划问题得到多个投影轴。不同于PTSVM，MPTSVM有如下优点：
　　（1）通过引入正则项以及递归优化过程，大大提升了MPTSVM的泛化能力。
　　（2）通过引入逐次超松弛求解方法，提升了求解二次规划问题的效率。
　　（3）通过引入核函数，MPTSVM被推广到非线性的情况。
　　第二，为了减轻MPTSVM的训练负担，提出了新颖的多分类最小二乘投影双子支持向量机（简称MLSPTSVM）。它是MPTSVM的最小二乘形式，它具有以下特点：
　　（1）MLSPTSVM的训练过程仅需求解一系列线性方程组，从而使得该算法能够处理大规模的数据。
　　（2）MLSPTSVM能够为每个类别产生多个相互正交的投影轴，从而能提升算法的性能。
　　（3）通过引入Sherman-Morrison-Woodbury公式和降核技术，降低非线性MLSPTSVM的计算复杂度。
　　第三，通过在大量的人工数据集和基准数据集上的实验对比，可以得出以下结果：
　　（1）MPTSVM与MLSPTSVM能够获得比其他几个多分类支持向量机类型方法更好的分类精确度。
　　（2）MLSPTSVM在能够获得与MPTSVM相当的分类精度的同时，却花费明显更少的时间。
　　（3）MLSPTSVM不仅能够有效地处理大规模数据，并能应用到文本分类领域上。

目录

封面

声明

中文摘要

英文摘要

目录

符号说明

第一章 绪 论

1.1 研究背景

1.2 研究现状及意义

1.3 本文的组织结构

第二章 理论基础

2.1 预备知识

2.2 支持向量机

2.3 投影双子支持向量机

2.4 本章小结

第三章 多分类投影双子支持向量机

3.1 线性多分类投影双子支持向量机

3.2 非线性多分类投影双子支持向量机

3.3 逐次超松弛算法（SOR）

3.4 实验结果对比与分析

3.5 本章小结

第四章 多分类最小二乘投影双子支持向量机

4.1 线性多分类最小二乘投影双子支持向量机

4.2 非线性多分类最小二乘投影双子支持向量机

4.3 实验结果对比及分析

4.4 本章小结

第五章 总结与展望

5.1 结论

5.2 展望

致谢

参考文献

攻读学位期间发表的学术论文目录