基于类间差异性的多类多核学习研究

摘要

近年来，多核学习逐渐成为机器学习领域的研究热点之一，其通过多个候选核函数的组合来替代单个核函数，巧妙地将核函数的选择问题转化为核组合系数的学习问题，同时增强了核方法对问题的刻画能力，有效地提升了核模型的泛化性能。但是，现有的大多数多核学习方法都是基于两类分类问题而设计的，而现实世界中的许多学习问题往往归结为多类分类问题。因此，将多核学习从两类分类问题推广到多类分类问题是很有必要的。
　　现有的多类多核学习方法，大多是利用一对一或一对多的策略来处理多类分类问题，并且为所有类学习出一个相同的核组合。然而，现实问题数据往往存在类间差异性，即每一个类的数据可能服从不同的分布或者其特征空间不一致。如果仅为所有类学习一个相同的核组合，那么所有的数据只能通过同一个分布进行映射或映射到同一个特征空间，这么做显然是不合理的。针对这一问题，我们在多核学习框架中引入了类间差异性，即为每一个类学习一个不同的核组合。从这一思路出发，我们进一步提出了基于类间差异性的稀疏多核学习方法LMKLDC和基于类间差异性的多类大间隔稀疏多核学习方法M3_LMKLDC。
　　本文的工作主要体现在以下方面:
　　(1)分析了在多核学习框架中考虑类间差异性的必要性。考虑到现实问题中的数据往往来自不同的数据源，每一类的数据可能会服从不同的分布;而现有的多核学习方法大都是为所有类学习一个相同的核组合，因此所有类别的数据只能一起映射到同一个特征空间。这显然会导致模型不能很好地刻画多个类别之间的差异性，也约束了模型的表达能力，从而降低了模型的泛化性能。
　　(2)提出了基于类间差异性的稀疏多核学习方法LMKLDC。LMKLDC在多核学习框架中引入了类间差异性，旨在为每一个类学习不同的核组合;同时,通过约束核组合系数lp-范数(0＜p≤1)形式的正则化项来提高模型的稀疏性，降低了模型的复杂度。针对所提出的模型，进一步设计出了一种Two-stage的优化算法。
　　(3)提出了基于类间差异性的多类大间隔多核学习方法M3_LMKLDC。M3_LMKLDC采用更加适用于多类分类问题的多类间隔，包括多类Hinge-loss损失函数和最大化多类核间隔，充分利用了类间的有效信息。同时,考虑类间差异性，为每一个类学习不同的核组合，并利用lp-范数(0＜p≤1)约束的稀疏性来降低模型的复杂度。对比实验验证了方法的有效性。

目录

声明

摘要

图目录

表目录

第一章 绪论

1．1 研究背景与意义

1．2 核方法的研究现状

1．2．1 多类多核学习方法的研究现状

1．2．2 稀疏多核学习方法的研究现状

1．3 本文的研究动机

1．3．1 考虑类间差异性

1．3．2 降低多类多核学习方法时间复杂度

1．4 论文研究目标及内容

1．5 论文结构安排

第二章 基于类间差异性的稀疏多核学习方法

2．1 引言

2．2 相关工作介绍

2．2．1 多类多核学习方法

2．2．2 稀疏多核学习方法

2．3 模型推导

2．3．1 基于核的多类学习方法

2．3．2 基于类间差异性的稀疏多核学习方法

2．4 优化求解

2．4．1 优化分类器系数C

2．4．2 优化核组合系数B

2．5 实验

2．5．1 在toy数据集上的实验

2．5．2 在UCI数据集上的实验

2．6 本章小结

第三章 基于类间差异性的多类大间隔稀疏多核学习方法

3．1 引言

3．2 相关工作介绍

3．2．1 基于大间隔准则的相关算法

3．2．2 多类核间隔

3．3 模型构造

3．3．1 基于多类核间隔的稀疏多核学习方法

3．3．2 基于类间差异性的多类大间隔稀疏多核学习方法

3．4 优化求解

3．4．1 优化分类器系数C

3．4．2 优化核组合系数B

3．5 实验

3．5．1 优化问题的改进与自由参数γ_0的选取范围

3．5．2 在UCI数据集上的实验

3．5．3 在生物数据集上的实验

3．6 本章小结

第四章 总结与展望

4．1 本文工作小结

4．2 进一步的工作

致谢

参考文献

攻读硕士学位期间发表论文列表