基于SVM主问题的不定核学习方法研究

摘要

核方法是机器学习中一类强有力的统计学习技术，但其泛化性能在很大程度上受到核函数选择等模型选择问题的影响。受限于传统的统计学习理论，大多数的核方法都要求核函数正定。然而在许多实际问题中，使用不定核往往能获得比正定核更好的性能。因此，在核方法中深入探讨不定核是很有必要的。
　　现有的不定核学习方法，大都是针对SVM对偶问题设计算法。但当使用不定核时，对偶间隙的存在以及优化问题的非凸性导致不能得到正确解，从而影响分类器的性能。针对上述问题，本文从SVM主问题出发，提出了基于单核的不定核学习算法PIKSVM。在此基础上，考虑到在刻画复杂的现实问题时，单核仍然存在局限性，进一步提出了基于多核的不定核学习算法PMIKSVM。
　　本文的工作主要体现在以下方面:
　　(1)分析不定核算法从主问题出发求解的必要性。分别从SVM主问题以及对偶问题出发研究SVM学习问题模型的构建、优化问题的推导以及二者之间的关系，从核函数的不定性以及对偶间隙的存在性两方面，说明从主问题入手学习基于不定核SVM模型的合理性和正确性。
　　(2)提出基于SVM主问题的单核不定核学习算法PIKSVM，并从相似函数的角度，分析算法的泛化性能，给出严格的数学证明。通过实验验证算法的有效性和收敛性。
　　(3)提出基于SVM主问题的多核不定核学习算法PMIKSVM。在PIKSVM的基础上，充分考虑基本核函数不定以及组合系数不定两种情况，导出两种不同的优化模型，并设计相应的优化算法，同时证明算法的泛化性能。

目录

声明

摘要

图目录

表目录

第一章 绪论

1．1 研究背景与意义

1．2 核方法研究现状

1．2．1 不定核学习方法研究现状

1．2．2 多核学习方法研究现状

1．3 本文的研究动机

1．3．1 不定核学习算法的局限性

1．3．2 多核学习算法的局限性

1．4 研究目标及内容

1．5 论文结构

第二章 支持向量机SVM

2．1 SVM模型

2．1．1 最大间隔分类器

2．1．2 软间隔

2．1．3 核技巧

2．2 从对偶问题入手求解SVM

2．3 从主问题入手求解SVW

2．4 对偶间隙

2．5 本章小结

第三章 基于SVM主问题的单核不定核学习方法

3．1 模型推导

3．2 优化求解

3．3 泛化性能分析

3．3．1 间隔(Margin)

3．3．2 Hinge-loss损失函数

3．4 实验

3．4．1 UCI及USPS数据集上的实验

3．4．2 DNA及生物数据集上的实验

3．5 本章小结

第四章 基于SVM主问题的多核不定核学习方法

4．1 模型推导

4．1．1 基本核函数不定

4．1．2 组合系数不定

4．2 优化求解

4．2．1 优化SVM参数z

4．2．2 优化核系数d

4．3 泛化性能分析

4．3．1 基本核函数不定

4．3．2 组合系数不定

4．4 实验

4．4．1 UCI及USPS数据集上的实验

4．4．2 DNA及生物数据集上的实验

4．5 本章小结

第五章 结束语

5．1 本文工作小结

5．2 进一步的工作

致谢

参考文献

在校期间发表的学术论文