多示例学习支持向量降维机及其应用

摘要

不同于监督学习，多示例学习的数据集由“包”组成，每个包中含有若干个以向量形式表示的示例。多示例学习数据集中包的标签明确，其基本假设为：正包中至少含有一个正示例，但具体是哪一个或哪几个未知；负包中全是负示例。随着多示例学习分类算法在图像和文本等领域应用越来越广泛，多示例学习降维算法也逐渐成为研究热点。 本文主要研究工作如下： 一、提出了一种对于多示例学习问题通过使用支持向量机实现线性降维的算法。首先，假设数据集每个正包中最具区分度的正示例已知，并将它们作为对应包的单特征向量表示；每个负包中的所有示例取均值作为对应包的单特征向量表示（数据集给定此项为定值）。这些单特征向量标签明确，于是可将多示例学习拓展至监督学习内解决。然后，利用这些正负类单特征向量训练一个二分类线性软间隔支持向量机模型。支持向量机的分类准则是不同类样本间隔最大化，因此分类超平面的法方向是一个很好的投影方向，可将多示例数据集向此方向投影实现降维。但问题关键在于正包中正示例是未知的，正包单特征向量的选择直接影响支持向量机模型及投影方向。本文采用交替迭代优化的块坐标下降方法实现投影向量的求解。具体的，先初始化正包单特征向量并计算出负包的单特征向量，将它们作为样本训练一个支持向量机模型并获得初步的投影方向；然后，固定模型更新优化正包的单特征向量，有了新样后本又可重新训练支持向量机模型并更新投影方向。按此方法交替迭代优化达到预设停止条件即可。 二、提出了一种对于多示例学习问题使用L1范数线性判别分析获取投影矩阵的线性降维算法。求解方法与第一种算法类似，也是将数据集每个包用单特征向量表示转至监督学习内解决，然后交替迭代优化正包的单特征向量和投影向量实现求解，不同的是这里使用更具鲁棒性的L1范数线性判别分析获取投影矩阵。现有的一种求解L1范数线性判别分析的方法是使用基于自定义梯度的梯度法，本文在此基础上使用动量梯度法实现加速收敛并可使结果更加精确。 最后用实验验证了本文提出的两种算法的有效性。

目录

声明

1 绪论

1.1 研究背景及意义

1.2 国内外研究现状分析

1.2.1 多示例学习分类算法研究现状

1.2.2 多示例学习降维算法研究现状

1.3 论文主要研究内容及结构安排

2 单示例及多示例学习降维算法

2.1 线性判别分析

2.2 主成分分析

2.3 支持向量降维机

2.3.1 支持向量机

2.3.2 支持向量降维机

2.4 多示例判别分析

3 多示例学习支持向量降维机与L1范数多示例判别分析

3.1 多示例学习支持向量降维机

3.2 L1范数多示例判别分析

3.2.1 动量L1范数线性判别分析

3.2.2 L1范数多示例判别分析

4 实验

4.1 数据集

4.2 实验设计及参数选择

4.3 实验结果分析

结论

参考文献

攻读硕士学位期间发表学术论文情况

致谢

大连理工大学学位论文版权使用授权书