半监督最小最大模块化支持向量机研究

摘要

最小最大模块化支持向量机(M3-SVM)是一种可以有效处理大规模数据分类问题的有监督集成学习算法。然而，对大规模数据进行标注是“昂贵的”，甚至是不可行的。为了将最小最大模块化支持向量机拓展以处理那些未标记数据，本文将最小最大模块化支持向量机和半监督学习相结合进行研究。本文研究的内容主要包含以下两个部分，
　　一方面是提出一种半监督最小最大模块化支持向量机(SS-M3-SVM)算法。在SS-M3-SVM算法中，首先对有标记数据集和未标记数据集进行任务划分，然后将有标记样本子集和未标记样本子集两两结合，形成多个新的训练子集，并在这些训练子集中探索其中包含的隐藏变量。在求取了隐藏变量之后，将隐藏变量对有标记样本的后验概率作为有标记样本的新特征，这样新特征中包含了未标记样本的一些判别信息。最后在包含了新特征的有标记样本子集上分别训练支持向量机(SVM)分类器，并按照最小最大规则集成实现半监督最小最大模块化支持向量机。
　　另一方面，在半监督最小最大模块化支持向量机算法的基础上，从未标记数据抽取以及未标记样本和有标记样本关联矩阵的角度，提出了基于抽取策略的半监督最小最大模块化支持向量机(Boost-M3-SVM)算法。与半监督最小最大模块化支持向量机不同的是，其训练子集中的未标记数据是通过抽取而不是任务划分获得的并且其有标记样本和未标记样本的关联矩阵采用相似性度量而不是距离度量。
　　实验证明半监督策略能够有效提升传统最小最大模块化支持向量机的学习能力。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 机器学习概述

1.2 研究目的和意义

1.3 国内外的研究现状

1.4 论文安排

第二章 半监督学习概述

2.1 为什么未标记数据能改善学习

2.2 直推学习、主动学习和半监督学习

2.3 半监督学习的基本假设

2.4 学习算法分类

2.5 本章小结

第三章 基于划分策略的半监督最小最大模块化支持向量机

3.1 最小最大模块化支持向量机

3.2 半监督最小最大模块化支持向量机

3.3 实验

3.4 本章小结

第四章 基于抽取策略的半监督最小最大模块化支持向量机

4.1 二分K-means算法

4.2 实例层面关联矩阵

4.3 未标记样本抽取

4.4 实验

4.5 本章小结

第五章 总结与展望

5.1 本文工作

5.2 未来工作

参考文献

附录1 攻读硕士学位期间撰写的论文

附录2 攻读硕士学位期间参加的科研项目

致谢