基于孪生支持向量机的特征选择与分类算法研究

摘要

孪生支持向量机(TWSVM)摒弃了传统SVM平行约束的条件，通过求解两个形如SVM的二次规划问题来获得分类模型,可以将训练时间缩短到原SVM的1/4。然而，原始TWSVM并没有考虑到数据的分布信息，对于一些分布复杂的数据，TWSVM就不能进行有效的分类识别。针对此问题，本文从流形学习和聚类两方面进行讨论，对TWSVM进行改进。
　　首先，从流形学习进行考虑，通过将数据的流形结构引入至分类目标函数中，提出基于流形结构的TWSVM(MTSVM)分类算法，其主旨是假设所处理的数据采样于一个潜在的流形上，通过建立类内散度矩阵，获得数据内部的流形结构，并将其引入到目标函数中，使得类内邻近样本之间的距离最小化，不同类样本之间的间隔最大化。进一步，为了提高其计算速度，提出基于流形结构的最小二乘TWSVM(LS-MTSVM)算法。
　　其次，我们通过采用聚类技术，提出基于聚类结构的TWSVM(STSVM)分类算法，其通过对数据在类内进行聚类，将获得的结构信息以协方差矩阵的形式引入到分类算法的目标函数中，在保证各类数据都尽量围绕在其分类面周围的同时，使得同一类内数据分布更加紧凑。进一步，为了提高其计算速度，提出基于聚类结构的最小二乘TWSVM算法。此外，对于STSVM在处理非均衡数据时存在的问题对其进行改进，提出非对称型STSVM(AS-STSVM)算法。
　　最后，在STSVM的基础上，构造了基于STSVM的特征选择算法(LP-STSVM)，该分类器只需求解一个线性规划，在保证得到与STSVM相当的分类性能以及较快的计算速度上，此方式还减少了输入空间的特征数，对于非线性问题，其可以减少核函数数目。
　　通过在机器学习标准数据集、图像数据和雷达辐射源数据上的实验验证了本文所提方法的有效性以及在工程应用中的潜在价值。