基于正交最小二乘的可调核函数多输出回归模型

摘要

核学习是现在机器学习领域的热点问题，核方法的思想是利用核代入方式隐式地定义非线性映射空间，然后使用核函数代替高维特征空间中向量的内积进行计算。稀疏性和泛化能力是核函数模型的主要特性，也是评价一个模型优劣的重要指标，所以现在人们研究工作的重点是致力于构建一个稀疏的核模型。现在，核函数模型在生产中的运用日益增多，比如:支持向量机，线性规划回归等。然而，这些传统的方法都使用尺度固定的模型，也就是说模型中的核函数使用的参数固定不变。当要拟合随时间动态变化的包含噪声的样本数据时，传统的核函数模型就不得不使用更多的拟合项来迎合这种变化，这样带来的结果无疑是破坏了表示的稀疏性，从而降低了模型的泛化能力。
　　为了解决上述问题，本文提出一种构建稀疏模型的新思路，那就是模型中核函数的尺度参数采用可调的方式。由于使用新方法构建的模型对于每一个回归项来说都可以根据变化自动地调节尺度，因此新模型在实际的应用中会表现得更加灵活。多输出模型具有更加广泛的应用领域和实际的应用背景，为此本文将新模型应用于多输出问题。新模型采用正交最小二乘以贪婪的方式一步步构建回归模型，求解每个回归项的核函数参数时，利用群搜索优化最小化残差目标函数。正交最小二乘法作为构建稀疏网络的一种快速的方法，常用来非线性系统建模。因为该算法不仅简单有效，而且构建的模型有较低的复杂度和较强的泛化性能，所以在机器学习和智能控制领域备受青睐。群搜索优化基于动物的搜索行为和群体生活理论，如鸟、鱼等的觅食行为，是以PS模型为基础的群体随机搜索优化算法。在该算法中，利用动物搜索行为的原理，如动物扫描机制，来设计最优搜索策略解决连续优化问题。群搜索优化具有结构简单，收敛速度快等优点特别是应用在高维优化问题，如神经网络构建。
　　实验在模拟和真实数据集合上进行。实验结果表明与多输出支持向量机与多输出相关向量机等经典模型相比，新方法建立的模型非常稀疏，而且具有良好的泛化性能。

目录

声明

摘要

第一章 绪论

1．1 研究背景

1．1．1 机器学习

1．1．2 回归问题

1．2 核学习

1．2．1 非线性映射

1．2．2 岭回归和对偶岭回归

1．2．3 特征空间中的线性回归

1．2．4 多输出回归

1．3 论文组织与结构

第二章 核函数研究

2．1 核函数

2．1．1 核的引入

2．1．2 核的实质

2．1．3 常用核函数

2．2 核方法理论

2．2．1 核方法思想原理

2．2．2 核方法实施过程

2．3 可调核函数

2．4 本章小结

第三章 经典多输出回归模型

3．1 多输出支持向量机回归

3．1．1 支持向量机算法原理

3．1．2 多输出支持向量机回归

3．2 多输出相关向量机

3．2．1 相关向量机

3．2．2 多输出相关向量机

3．3 多输出最小二乘支持向量机

3．3．1 最小二乘支持向量机

3．3．2 多输出最小二乘支持向量机

3．4 本章小结

第四章 基于正交最小二乘的可调核函数多输出回归模型

4．1 正交最小二乘法

4．2 群搜索优化算法

4．3 基于正交最小二乘的可调核函数多输出回归模型

4．3．1 多输出正交最小二乘

4．3．2 多输出群搜索优化

4．4 实验

4．4．1 复变函数回归

4．4．2 洛伦兹方程回归

4．4．3 地震记录数据集回归

4．5 本章小结

第五章 总结

参考文献

致谢