非平行超平面分类器算法研究

摘要

非平行超平面分类器（nonparallel hyperplane classifier，NHC）分类方法是在传统支持向量机（support vector machine，SVM）基础上发展起来的一类新的机器学习方法。对于二分类问题，传统SVM依据大间隔准则寻找单一的分类超平面，而NHC分类方法通常要为每类样本寻找一个最佳决策超平面，即一对非平行的分类超平面。在线性模式下，NHC分类方法对异或（XOR）问题有着显著的分类能力。鉴于NHC分类方法的优势，目前已经成为机器学习领域的研究热点。然而，NHC分类方法是一类比较新的机器学习方法，在诸多方面尚不成熟、不完善，需要进一步的研究和改进。本文主要从提升分类性能、提高学习速度等方面对现有的NHC分类方法进行了深入系统地研究。具体研究内容如下：
　　1.对局部保持孪生支持向量机进行研究。针对现有NHC分类方法中没有充分考虑训练样本集内在局部几何结构及其潜藏的分类信息，从而可能导致算法分类性能不佳的问题，将局部保持投影（locality preserving projections，LPP）的思想直接引入到NHC分类方法中，提出一种基于局部信息保持的孪生支持向量机（locality preserving twin SVM，LPTSVM）。为了能够有效降低算法二次规划求解的时间复杂度，LPTSVM通过类间近邻图选取少量的边界样本来构造优化问题的约束条件。对于LPTSVM算法中可能出现的奇异性问题，从理论上给出了一种基于主成分分析（principal component analysis，PCA）的降维方法。
　　2.对非线性最小二乘投影孪生支持向量机及相应的递归学习算法进行研究。针对线性最小二乘投影孪生支持向量机（least squares projection twin SVM，LSPTSVM）不能有效处理非线性分类情况的问题，采用核映射技术将原空间中的训练样本映射到高维特征空间，在此基础上提出一种非线性最小二乘投影孪生支持向量机（kernel based LSPTSVM，KLSPTSVM）。为进一步提高KLSPTSVM算法的非线性分类性能，同样采用核映射技术将线性模式下的递归学习算法也推广到非线性模式并与KLSPTSVM分类算法相结合，提出非线性模式下的递归KLSPTSVM分类方法。
　　3.对鲁棒的局部加权孪生支持向量机进行研究。针对局部加权孪生支持向量机（weighted twin SVM with local information，WLTSVM）算法不能充分刻画类内样本之间相似性，训练效率偏低和对噪声敏感的问题，提出一种鲁棒的局部加权孪生支持向量机（robust WLTSVM，RWLTSVM）。RWLTSVM选用高斯核函数定义类内近邻图的权值矩阵并在此基础上生成样本权重，能够更好的刻画类内样本对决策超平面的贡献程度。为了降低优化问题求解时间复杂度，RWLTSVM将WLTSVM算法中不等式约束改成等式约束并通过求解方程组方法获得问题解析解。另外，RWLTSVM还在等式约束条件中考虑了相反类样本的类内权重，从而能够更好的免疫于噪声问题。
　　4.对加权投影孪生支持向量机及其相应的最小二乘版算法进行研究。针对投影孪生支持向量机（projection twin SVM，PTSVM）在优化问题中没有考虑类内训练样本之间相关性的问题，提出一种加权投影孪生支持向量机（weighted PTSVM，WPTSVM）。WPTSVM通过在类内构造近邻图并在此基础上赋予样本特定的权重，以此来突出样本对决策面的贡献程度，进而改善算法的分类性能。此外，WPTSVM在优化问题的不等式约束中同样考虑了样本权重，使得算法能够很好的免疫于噪声问题。为了进一步降低WPTSVM算法的训练时间复杂度，使其能够胜任大规模数据处理，提出最小二乘版加权投影孪生支持向量机（least squares WPTSVM，LSWPTSVM）。LSWPTSVM通过解方程组获得问题的解析解而不是WPTSVM中的二次规划求解。

目录

封面

声明

致谢

中文摘要

英文摘要

目录

1 绪论

1.1 选题背景及意义（Topics Background and Value）

1.2 国内外研究现状（Research Status）

1.3 存在问题及研究重点(Existing Problems and Concentration)

1.4 本文主要研究内容及组织结构(Main Contents and Organization)

2 基础性NHC分类算法

2.1 GEPSVM算法（GEPSVM Algorithm）

2.2 TWSVM算法（TWSVM Algorithm）

2.3 PTSVM算法（PTSVM Algorithm）

2.4 本章小结（Summary）

3 局部保持孪生支持向量机

3.1 引言（Introduction）

3.2 局部保持投影（Locality Preserving Projections）

3.3 局部保持孪生支持向量机算法（ Locality Preserving Twin Support Vector Machine Algorithm）

3.4 实验分析（Experiments and Analysis）

3.5 本章小结（Summary）

4 非线性最小二乘投影孪生支持向量机4 Kernel based LSPTSVM

4.1 引言（Introduction）

4.2 最小二乘投影孪生支持向量机算法（LSPTSVM Algorithm）

4.3 非线性最小二乘投影孪生支持向量机算法（ Kernel based LSPTSVM Algorithm）

4.4 实验分析（Experiments and Analysis）

4.5 本章小结（Summary）

5 鲁棒的局部加权孪生支持向量机5 Robust WLTSVM

5.1 引言（Introduction）

5.2 局部加权孪生支持向量机算法（WLTSVM Algorithm）

5.3 鲁棒的局部加权孪生支持向量机算法（ Robust WLTSVM Algorithm）

5.4 实验分析（Experiments and Analysis）

5.5 本章小结（Summary）

6 加权投影孪生支持向量机及最小二乘加权投影孪生支持向量机

6.1 引言（Introduction）

6.2 加权投影孪生支持向量机（Weighted PTSVM）

6.3 最小二乘加权投影孪生支持向量机（Least Squares weighted PTSVM）

6.4 实验分析（Experiments and Analysis）

6.5 本章小结（Summary）

7 结论与展望

7.1 结论（Conclusions）

7.2 展望（Prospects）

参考文献

作者简历

学位论文数据集