用于回归预测的高斯过程模型研究

摘要

近年来高斯过程（Gaussian Process，GP）模型已成为一种重要的机器学习方法。它综合了基于核的机器学习与基于贝叶斯推理机器学习的特点，同时具备上述两种机器学习方式的优点。高斯过程模型既可用于分类，也可用于回归预测。本文主要研究用于回归预测的高斯过程模型，具体研究工作如下：
　　（1）多尺度高斯过程模型的近似学习曲线研究
　　基于高斯过程相关理论，对多尺度高斯过程模型的学习曲线进行研究。首先，对学习曲线进行了定义，然后根据多尺度高斯过程模型的原理，推导出学习曲线的一般表达式，并通过对多个样本集求均值的方式对学习曲线进行近似计算，得到近似学习曲线的计算表达式，最后在Matlab环境下实现了学习曲线的近似计算实验仿真。
　　（2）学习曲线的单点上界和两点上界研究
　　借鉴Williams, C.K.I.和Vivarelli, F.提出的GP模型的单点上界和两点上界的研究思路，推导出了MGP模型的单点上界和两点上界公式，并用Simpson公式或梯度公式对两种上界进行了近似计算，得到了两种上界的数值计算表达式。在Matlab环境下实现了学习曲线单点上界以及两点上界的实验仿真。通过实验验证了多尺度高斯过程学习曲线及其界的理论的正确性，并且通过对比不同参数情形下的实验结果，得出了各个模型参数对MGP模型学习曲线及其界的影响。
　　（3）高斯过程混合模型的回归预测研究
　　研究了GP模型的另一种改进型，即高斯过程混合模型（GPMs）。首先阐述如何用留一交叉验证法对模型概率进行分解表示，接下来通过分析，在EM框架下把这个分解结果进行极大化。分析了高斯过程混合模型的EM算法，给出了EM算法的具体实现步骤，并用一组实验数据进行了对比实验，收到了良好的回归效果，验证了改进模型的有效性。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 研究背景及意义

1.2 国内外研究现状及发展趋势

1.3 本文主要研究内容及结构安排

第二章 高斯过程模型相关理论

2.1 高斯过程

2.2 高斯过程模型的两类应用

本章小结

第三章 多尺度高斯过程学习曲线的研究

3.1 多尺度高斯过程的基本原理

3.2 多尺度高斯过程用于回归预测

3.3 多尺度高斯过程的学习曲线的公式推导

3.4 MGP模型学习曲线的近似数值计算

本章小结

第四章 MGP模型学习曲线上界的研究

4.1 MGP模型学习曲线的单点上界公式推导

4.2 MGP模型学习曲线的单点上界的数值实现方法

4.3 MGP模型学习曲线的两点上界公式推导及数值实现

本章小结

第五章 MGP模型近似学习曲线及上界的实验仿真及结果

5.1 实验仿真的环境及设置

5.2 MGP模型的协方差函数

5.3 实验结果及分析

本章小结

第六章 高斯过程混合模型研究

6.1 高斯过程混合模型的基本概念及原理

6.2 基于留一交叉验证的概率分解

6.3 GPMs模型的EM算法

本章小结

第七章 结束语

参考文献

攻读学位期间所取得的相关科研成果

致谢