基于正则化框架的核函数选择

摘要

上世纪90年代，在Vapnik等人的努力下，基于数据的机器学习理论得到了长足的发展，形成了一门比较完善的统计学习理论。统计学习理论的精髓在于引入了假设函数容量控制，为了使学习机具有更好的推广能力，需要在假设函数容量控制和最小化经验风险之间作一个好的折中。在统计学习理论之前，核函数在机器学习中就被引入过，其中包含非线性映射和非线性函数。核函数能够有效地对数据进行降维，且避免了对数据的过度拟合。由于统计学习理论和核技术的结合，引起了核机器的出现和快速成功的发展。目前的核机器技术主要有支持向量机，多核学习，PAC框架和核Fisher分类器等问题。
　　 本文就是在上述理论的视角上展开，主要包括以下三个方面的内容：
　　 首先，介绍了统计学习的基本理论及性质定理，对希尔伯特学习空间上的核函数及相关知识进行了总结。
　　 其次，由于统计学习理论和核函数的有效结合，得到的基于正则化框架的核函数学习最优化问题，有效地解决了有监督学习的求解问题。对正则化与核函数的结合在岭回归和支持向量机中的应用进行了详细的推导。
　　 最后，在正则化损失函数框架的基础上，提出了一种新的核函数的选择方法，并给出了相应的算法。新算法不同于贪婪算法的是：在选择使得目标函数值最小的组合系数时，将原优化问题转化为一个带约束的线性规划问题，并用非负最小二乘法进行求解。用MNIST数据做实验后的结果表明新方法得到的分类器优于用贪婪算法得到的分类器。

目录

文摘

英文文摘

声明

第一章绪论

1.1问题背景和意义

1.2有监督学习的发展

1.3正则技术的发展

1.4统计学习理论的发展

1.5核机器学习方法的发展

1.6本文主要工作及结构

1.6.1本文主要工作

1.6.2本文内容安排

第二章统计学习理论

2.1学习问题的表示

2.1.1函数估计模型

2.1.2风险最小化问题

2.1.3三种主要的学习问题

2.2经验风险最小化问题

2.3解不定积分方程

2.4结构风险最小化

2.5本章小结

第三章再生核与再生核学习机

3.1特征空间中的学习

3.2核函数与希尔伯特空间

3.2.1再生核

3.2.2特征空间和经验特征空间

3.2.3再生核Hilbert空间与经验再生核Hilbert空间

3.3本章小结

第四章正则化学习与核函数

4.1正则化学习

4.1.1符号表示

4.1.2有监督学习问题

4.1.3岭回归

4.1.4支持向量机

4.1.5一般的正则化学习及其应用

4.2用表示定理求解正则化问题

4.2.1表示定理

4.2.2有限个变量的优化问题

4.2.3对正则化问题引入核函数

4.3学习最优核函数

4.4本章小结

第五章新的基于有监督的核函数优化算法

5.1问题的提出

5.2理论知识准备

5.2.1再生希尔伯特空间上的正则化框架

5.2.2最大最小问题

5.3基于有监督学习核函数的优化算法

5.4新的基于有监督的核函数优化算法

5.5实验结果和分析

5.6本章小结

结束语

致谢

参考文献

在读期间的研究成果