基于最小二乘框架下分类器选择和多核选择的集成回归学习研究

摘要

分类与回归技术已经被广泛应用于人脸识别，卫星图像识别，信息安全等等多个领域。而集成学习能够有效地提升单个模型的分类与回归效果。然而前人的研究大多只关注集成学习器的准确性，忽视了基础学习器之间的差异选取，因此集成学习器整体的泛化性能仍有不足。同时国内外学者也忽视了核学习在集成学习方面的使用。针对上述问题，本文研究基础学习器的选择，并加入核技巧，通过最小二乘的方式把分类问题和回归问题都转换成集成回归模型，使得最终的集成模型具有更好的泛化性能和鲁棒性。本论文主要工作如下： 本文提出最小二乘框架下的多样性选择集成分类策略。针对于前人忽略基础学习器差异性选取的问题，本文通过结合准确性和多样性两个关键因素来选择集成基础分类器，在集成学习过程中使用最小二乘框架来最大化地选择基础分类器；使得整个学习过程以回归的方式获取最小分类误差，有效地自适应分配基础分类器的权重。实验结果表明，论文提出的方法比其他集成方法如Random Forest， AdaBoost，EnsembleSVM等算法具有更好的分类性能。 本文提出最小二乘框架下的多核选择集成回归策略。为了进一步提升集成学习的效果，本文在选择集成基础学习器的过程中，加入了核技巧，并将集成学习扩展应用到回归问题中。基础核回归器在整个过程中被协同优化及加权，可解决多核模型中类型的选择和参数选择难题。所采用的集成在最小二乘框架下对多个希尔伯特空间中多核基础回归器最优化整体平方损失，来得到最优集成结果。实验在人工数据集，UCI回归和分类数据集以及手写数字数据集上进行的实验表明，该算法在与其他回归方法例如 Ridge Regression，Support Vector Regression 和Gadient Boosting Regression等算法的比较中，取得了更好的回归与分类效果。

目录

第一个书签之前

摘要

ABSTRACT

第一章 绪论

1.1 研究背景及意义

1.1.1 课题研究的背景

1.1.2 课题研究的意义

1.2 国内外研究现状及成果

1.2.1 国外研究现状

1.2.2 国内研究现状

1.3 本文研究的主要内容

1.4 本文的结构安排

第二章 回归学习相关理论研究

2.1概述

2.2 单回归模型

2.2.1 再生核希尔伯特空间

2.2.2 Ridge Regression模型

2.2.3 Lasso Regression模型

2.2.4 Kernel Ridge Regression模型

2.2.5 Supprot Vector Regression模型

2.3 集成回归模型

2.3.1 集成学习

2.3.2 Adaboost回归模型

2.3.3 Random Forest回归模型

2.3.4 Gradient Boosting回归模型

2.4本章小结

第三章 最小二乘框架下的多样性选择集成分类策略

3.1概述

3.2已有的分类器方法及特点

3.3最小二乘框架下的多样性选择集成分类

3.3.1最小二乘框架下的多样性选择集成分类方法框架

3.3.2最小二乘框架下的多样性选择集成分类算法描述

3.4 实验分析

3.4.1数据集介绍

3.4.2参数的选择

3.4.3实验结果分析

3.5 本章小结

第四章 最小二乘框架下的多核选择集成回归策略

4.1概述

4.2已有的回归器方法及特点

4.3最小二乘框架下的多核选择集成回归

4.3.1最小二乘框架下的多核选择集成回归方法框架

4.3.2最小二乘框架下的多核选择集成回归算法描述

4.4 实验分析

4.4.1参数设置

4.4.2人工数据集

4.4.3 UCI数据集

4.4.4手写体数据集

4.5 本章小结

第五章 总结与展望

5.1总结

5.2展望

致谢

参考文献

攻读硕士学位期间取得的研究成果