支持向量机的一般化能力与训练样本关系的研究

摘要

本文从支持向量机经验风险的利用、支持向量的合并约简以及训练样本的精简三方面进行论述。利用经验风险以提高分类器的泛化能力，对含有重复矛盾支持向量的合并约简以减少支持向量的个数并提高测试速度，对训练样本精简的目的是达到在泛化能力几乎没有下降的情况下提高支持向量机的训练速度并减少支持向量的个数。 训练支持向量机的过程之前往往要进行参数搜索以找到具有最优泛化能力的训练参数。在搜索过程中，有些参数使得经验风险几乎为零、泛化能力最好、支持向量很多，我们往往采用这些参数作为训练参数。有些参数使得经验风险较大、泛化能力比最好稍差、支持向量很少。我们的实验表明利用别的分类器结合后者的经验风险可以使后者的泛化能力比前者最好的泛化能力还要好。 有些训练样本中含有重复矛盾的样本，训练支持向量机的结果使得支持向量中仍然含有重复矛盾的支持向量，通过我们的合并约简算法可以减少支持向量的个数，减少的程度与样本重复的程度有关。样本重复度高，减少的比例就大，反之减少的比例就小。 支持向量机基于统计学习理论并能较好的解决好小样本问题，但对许多含有大数量样本的数据库来说，他们并不非常适合于支持向量机。训练样本的数量严重影响训练的速度与支持向量的数量。我们的实验表明，保留训练样本的边界样本，去除部分非边界样本可以明显的减少训练样本的数量，明显的减少支持向量的个数，而泛化能力几乎没有下降。