正则化路径上的支持向量机模型组合

摘要

模型组合旨在融合并利用假设空间中的多个模型,提髙学习系统的可靠性和泛化性.目前,基模型产生通常基于训练样本集采样,实现过程比较复杂;模型组合一般利用全模型集合,确定参与组合的模型时未考虑新数据的分布;理论研究方面,缺乏模型组合一致性的工作.
　　针对这些问题,研究基于正则化路径的支持向量机(Support Vector Ma-chines,SVM)模型组合,证明正则化路径上SVM模型组合一致性,设计有效的SVM模型组合算法.主要研究内容包括:
　　1.应用正定矩阵Cholesky分解方法,分别提出二分类SVM正则化路径算法PDSVCPath和回归SVM正则化路径算法PDSVRPath.基于正定矩阵的SVM正则化路径算法可有效解决训练样本集中包含重复数据、近似数据或线性相关数据的问题.
　　2.给出SVM模型组合一致性充分条件,证明正则化路径上二分类SVM模型组合的Ia-风险一致性及回归SVM模型组合的Le-风险一致性,奠定正则化路径上的SVM组合方法的理论基础.
　　3.设计基于正则化路径的三步式SVM贝叶斯组合.首先,基于SVM正则化路径分段线性性质构建初始模型集;然后,应用模型集修剪策略获得候选模型集,修剪策略包括通用于二分类SVM和回归SVM的Occam窗口方法、适用于二分类SVM的平均GACV准则和适用于回归SVM的平均GCV准则;最后,根据新输入由最小近邻法确定最终组合模型集,并实现贝叶斯组合预测.
　　基于正则化路径的三步式SVM贝叶斯组合基础扎实,易于实现,具有更好的计算效率和预测性能.

目录

封面

声明

中文摘要

英文摘要

目录

第 一 章 绪 论

1 .1 研究背景

1 .2 本文工作

1 .3 论文结构

第 二 章 文 献 综 述

2 .1 模型组合

2.2 SVM —致性

2 .3 正则化路径

2 .4 存在的问题

第 三 章 SV M 正则化路径算法

3.1 PDSVCPath 算法

3.2 PDSVRPath 算法

3 .3 实验

3 .4 小结

第四章模型组合一致性

4.1 S V M模型组合

4 .2 基本假设

4.3 SVC模型组合一致性

4 .4 S V R模型组合一致性

4 .5 小结

第五章贝叶斯组合

5 .1 模型后验概率

5 .2 初始模型集

5 .3 修剪策略

5.4 SVMBMCs n n模型组合算法

参考文献

致谢