基于稀缺标记样本的半监督学习研究

摘要

基于稀缺标记样本的半监督学习作为传统半监督学习的一个重要领域，主要研究当样本集中标记样本与未标记样本数量存在严重不平衡性时，如何获得优秀的鲁棒分类器的问题。区别于一般的半监督学习问题，稀缺标记样本环境中标记样本的数量特别有限，往往只占整个样本集总量的1％-5%，这种严重不平衡的数据结构使得传统半监督学习方法难于构造具备优秀泛化能力的分类器。目前解决稀缺标记样本学习问题的方法一般采取传统的以标记样本为导向的学习策略。之前的研究成果表明，由于标记样本特别稀疏，这种思路在稀缺标记样本环境中并不可行。因此，为了进一步研究稀缺标记样本学习问题的特点并寻找更有效、更鲁棒的学习算法，本文从以下三个方面对基于稀缺标记样本的半监督学习提出了新的考量：
　　 稀缺标记样本学习问题的定义与度量。文章首先对稀缺标记样本学习问题提出了严格的数学描述。在此基础上，采取稀缺标记样本区域内曲线下面积(AUCLR)来度量学习算法的性能并给出其数学表达。
　　 采用以未标记样本为导向的方法。文章把稀缺标记样本半监督学习问题转化为一类特殊的无监督学习问题来处理。为了解决标记样本特别稀疏的难点，文章提出基于近似判断的约束扩展算法和基于矩阵幂积的约束传播算法。在此基础上，文章进一步提出采用基于约束传播的谱聚类算法CopSC来构造基分类器。最后，文章运用约束集的两类不一致性理论对算法表现进行了理论推导和优化。实验验证了CopSC在稀缺标记样本环境中良好的算法表现。
　　 采用多重半监督假设。在处理稀缺标记样本学习问题时，基于单一半监督假设的算法鲁棒性表现较差。因此，文章提出同时利用全部三类半监督假设，并采用混合系数来控制其中单一假设的权值。实验表明文章提出的SS-CE3A算法在稀缺标记样本环境中具备优秀的泛化能力和鲁棒表现。

目录

声明

摘要

第1章 绪论

1.1 半监督学习综述

1.1.1 半监督学习研究的对象和意义

1.1.2 稀缺标记样本半监督学习研究的对象和意义

1.2 稀缺标记样本半监督学习研究的难点与现状

1.2.1 稀缺标记样本学习问题研究的难点

1.2.2 稀缺标记样本学习问题研究的现状

1.3 文章研究的主要内容与贡献

1.4 文章的组织结构

第2章 稀缺标记样本半监督学习的相关知识

2.1 稀缺标记样本学习问题的描述与定义

2.2 稀缺标记样本学习问题的度量与比较

2.3 本章小结

第3章 约束传播谱聚类算法

3.1 运用无监督学习方法处理稀缺标记样本半监督学习问题

3.2 基于成对约束的谱聚类

3.3 基于近似判断的约束扩展

3.4 基于矩阵幂积的约束传播

3.5 约束传播谱聚类算法

3.6 实验研究

3.6.1 用两类不一致来度量算法性能

3.6.2 约束扩展算法有效性的研究

3.6.3 约束传播算法有效性的研究

3.6.4 约束传播谱聚类算法表现的研究

3.6.5 实验结论

3.7 本章小结

第4章 基于多重半监督假设的集成学习算法SS-CE3A

4.1 半监督假设与半监督算法

4.2 基于多重半监督假设的SS-CE3A算法

4.2.1 SS-CE3A算法的主要思想

4.2.2 构造基分类器

4.2.3 整合全部三类半监督假设

4.3 实验研究

4.3.1 实验设置与初始化

4.3.2 SS-CE3A算法有效性的研究

4.3.3 SS-CE3A算法鲁棒性的研究

4.4 本章小结

第5章 结语

参考文献

致谢

在读期间发表的学术论文与取得的其他研究成果