多核集成学习方法的研究

摘要

近年来，多核学习（Multiple Kernel Learning，MKL）在机器学习领域受到广泛关注，是一种很有前景的数据挖掘方法。它主要利用多个核函数的线性组合去解决数据异构或不规则、样本不平坦分布等具有挑战性的问题。
　　传统多核学习方法通常把求解多个核函数的线性组合看作优化问题，再重点研究优化算法，以达到更好的效率及精度，但计算量大、不容易收敛仍然是传统多核学习方法的主要缺点。Hao Xia与Steven Hoi创造性地提出了多核集成学习框架（Multiple Kernel Boosting,MKBoost），将AdaBoost的思想运用到多核学习中，巧妙地避开了复杂的优化问题，从而大大提高了算法效率，但由于AdaBoost算法对噪声数据敏感，所以MKBoost算法不能有效地处理被噪声污染的数据集，鲁棒性较差。
　　为了克服MKBoost算法在含有噪声的数据集中出现过拟合的难题，本文提出了两种新的多核集成学习算法，即基于噪声探测函数（noise-based MKBoost,ND-MKB）与基于噪声概率（noise-probability MKBoost,NP-MKB）的多核学习方法，新算法主要有两方面具体内容：
　　第一：噪声的识别。首先根据样本邻域信息，使用k最近邻法进行噪声初步探测，越多邻域样本被错误分类，该样本是噪声的概率越大，反之该样本是正常样本的概率越大。ND-MKB算法将 k最近邻法的探测结果二值化处理，即{-1，+1}，NP-MKB算法利用logistic回归模型函数将初步探测结果映射到[0,1]区间，得到样本是噪声的概率。
　　第二：新的多核集成学习方法的提出。AdaBoost算法中，无论是其损失函数还是样本权值的更新，均只关注分类正确与否，要提高AdaBoost的抗噪性，就有必要区别对待噪声样本与正常样本。本文分别基于噪声探测函数与噪声概率函数提出了两种新的损失函数，并利用前向分布算法进行算法推导。ND-MKB与NP-MKB算法都充分考虑了样本的噪声性质对算法的影响，所以抗噪性和鲁棒性比传统多核集成学习算法更好。

目录

声明

第一章 绪 论

1.1 研究工作的背景与意义

1.2 多核学习方法的国内外研究历史与现状

1.3 本文的主要研究内容

1.4 本文的结构安排

第二章 多核集成学习基础

2.1 多核学习

2.2 AdaBoost算法

2.3 MKBoost算法框架

2.4 本章小结

第三章 新的多核集成学习算法

3.1 MKBoost过拟合的原因

3.2 AdaBoost抗噪研究成果

3.3 ND-MKB算法

3.4 NP-MKB算法

3.5 本章小结

第四章 实验结果

4.1 数据描述

4.2 实验设置

4.3 实验结果

4.4 参数评估

4.5 本章小结

第五章 全文总结与展望

5.1 全文总结

5.2 后续工作展望

致谢

参考文献

攻读硕士学位期间取得的成果