非正定核机器回归方法的改进研究

摘要

支持向量机(Support Vector Machine，SVM)是实现统计学习理论的通用学习方法，其优异的泛化性能使得支持向量机在模式识别、回归分析和预测、密度估计等领域都得到了实际应用。当SVM用于回归分析和预测时，通常称其为支持向量回归机(SupportVector Regression，SVR)。在回归分析中，通常进行机器学习方法的研究都是基于核函数为半正定的，即核函数必需满足Mercer条件。但是，在某些特定的领域中，所使用的核函数不能确保为半正定核函数，如神经网络中的Sigmoid核。并且，在实际应用中，除了已知的一些核函数外，往往难以检验核函数的正定性。本论文的主要目的就是研究用于解决基于非正定核的机器回归方法。
　　 首先，本文对非正定核机器回归方法(简称NPKMR)研究的基础上，提出了一种对总体回归误差约束的基础上进一步对每个样本点的回归误差进行约束的NPKMR改进方法(简称INPKMR)，从而提高了非正定核机器回归方法的回归精度和泛化性能。
　　 其次，本文提出一种求解非正定核支持向量回归机SVR的序列最小最优化算法(Sequential Minimal Optimization，SMO)，通过运用SMO算法的分解思想和支持向量回归机SVR模型的约束条件，将SVR模型的求解问题转化成一系列的给定区间内抛物线的最小值求解问题，从而解决非正定核机器回归的问题。
　　 最后，将INPMR方法以及求解非正定核SVR的SMO算法用于Boston Housing和Abalones数据集进行实证分析，并与NPKMR方法以及标准SVR方法比较预测结果，然后根据实验结果，评价这两种方法的可行性和学习性能。

目录

文摘

英文文摘

声明

第一章 绪论

1.1 问题的提出

1.1.1 支持向量回归机的引入

1.1.2 支持向量回归机算法原理

1.1.3 核函数

1.1.4 支持向量回归机核方法思想及核函数的研究进展

1.2 本文研究起点、研究方法及研究平台

1.2.1 本文的研究起点

1.2.2 本文的研究内容及其与已有研究内容之间的联系

1.2.3 本文的实验工具

1.3 本文研究工作概述和内容安排

1.3.1 本文的研究工作概述

1.3.2 本文的内容安排

第二章 非正定核机器学习方法的已有研究成果

2.1 再生核Kerin空间非正定核机器学习方法

2.1.1 再生核Kerin空间(Reproducing Kernel Kerin Space，RKKS)

2.1.2 非正定核函数

2.1.3 RKKS机器学习

2.1.4 RKKS机器学习理论应用的策略

2.2 用于求解非正定核的支持向量分类机SVC的SMO算法

2.2.1 SMO-SVC模型

2.2.2 用于求解非正定核SVC的SMO算法

2.2.3 对求解非正定核SVC的SMO算法进行分析

2.3 求解半无限二次约束线性模型的算法

2.3.1 半无限二次约束线性模型

2.3.2 求解半无限二次约束线性模型的算法

2.3.3 算法的收敛性

2.3.4 对算法的改进，消除无效的约束

第三章 用norm-r损失函数对NPKMR方法的改进研究

3.1 非正定核机器学习模型INPKMR

3.1.1 再生核krein空间(Reproducing Kernel Krein Spaces)的机器学习

3.1.2 非正定核的机器学习模型NPKMR

3.2 改进的非正定核机器学习模型 INPKMR及其求解

3.2.1 松弛变量

3.2.2 惩罚因子

3.2.3 改进的非正定核机器学习模型INPKMR

3.2.4 求解INPKMR模型的梯度下降迭代公式

3.2.5 用梯度下降法实现INPKMR模型的算法

3.3 实验及其结果

3.3.1 实验目的

3.3.2 实验设计

3.3.3 实验结果与分析

3.4 结论

第四章 求解非正定核SVR的SMO算法

4.1 求解非正定核SVR的SMO算法

4.1.1 SVR模型

4.1.2 用于求解非正定核SVR的SMO算法

4.1.3 对算法进行分析

4.2 实验及其结果

4.2.1 实验目的

4.2.2 实验设计

4.2.3 实验结果与分析

4.3 结论

第五章 非正定核机器回归方法的应用实例

5.1 改进的非正定核机器学习模型INPKMR

5.1.1 INPKMR模型

5.1.2 求解INPKMR模型的算法

5.2 求解非正定核SVR的SMO算法

5.2.1 引入Huber损失函数的SVR模型

5.2.2 求解非正定核SVR的SMO算法

5.3 实验与实验结果

5.3.1 实验目的

5.3.2 实验步骤

5.3.3 实验结果与分析

5.4 结论

第六章 总结与展望

6.1 总结

7.2 展望

致谢

参考文献

附录：作者在攻读硕士学位期间发表的论文