基于稀疏贝叶斯的半监督超限学习机分类算法研究

摘要

如何有效地挖掘和学习海量的无标记数据中的规律，让用户快速找到需要的信息，是当前机器学习领域的一个研究热点。半监督学习利用少量标记数据和大量无标记数据的综合信息来提高分类算法的准确率，引起了学术界的广泛关注。然而传统半监督分类算法的计算复杂度较高，通常为O(N3)，N为输入样本的个数，如拉普拉斯支持向量机。超限学习机是一种单隐层前馈神经网络，具有较低的计算复杂度。为了提高半监督算法的计算效率，人们将半监督学习引入到超限学习机框架中，提出了半监督超限学习机。半监督超限学习机继承了传统超限学习机的速度优势，又能充分利用无标记样本信息。但是，半监督超限学习机的分类准确率对隐层节点的数目比较敏感，在特定问题上为取得较好的分类准确率通常需要使用大量的冗余隐层节点，增加了模型的复杂度。
　　本文针对半监督超限学习机在稀疏性和分类准确率上的不足，在稀疏贝叶斯和半监督超限学习机框架的基础上，提出一种基于稀疏贝叶斯的半监督超限学习机分类算法。为了利用无标记样本数据的流形(Manifold)信息，同时使模型更加稀疏，该算法在网络输出层的权值参数上定义稀疏流形先验。模型在训练阶段自适应地剔除冗余的隐层节点，该算法降低了模型的复杂度和分类准确率对隐层节点数量的敏感性。在多个数据集上的实验结果表明:与当前主流的半监督分类器相比，本文提出的算法可以取得较好的分类性能，同时弥补了半监督超限学习机在稀疏性和稳定性方面的缺陷。
　　综上，本文的工作和贡献主要体现在以下几个方面:
　　(1)针对基于半监督超限学习机框架的分类算法在稀疏性和稳定性上表现不足的问题，本文通过稀疏贝叶斯学习方法来学习模型参数，在学习阶段自动剔除冗余隐层节点，增强半监督超限学习机模型的稀疏性和稳定性。因此，本文算法既具有半监督超限学习机的速度优势，又具有稀疏贝叶斯学习算法的稀疏性。
　　(2)传统半监督超限学习机采用最小二乘求解模型参数，容易导致过拟合，本文算法通过最大化模型的边际似然概率可以在一定程度上降低模型过拟合的可能性，增强模型的表达力，模型具有更好的鲁棒性。
　　(3)本文算法相比半监督超限学习机具有较低的计算复杂度。本文算法的时间复杂度为O(L3+N log N)，其中L为隐层节点的个数，N为样本数据的个数，N log N是构造图的拉普拉斯矩阵的时间复杂度，L3是计算权值参数w的时间复杂度。因此，相比半监督超限学习机中O(N3)的时间复杂度，本文算法训练时间更短。
　　(4)在UCI1标准数据集上的实验结果表明，相对对比算法，本文基于稀疏贝叶斯的半监督超限学习机分类算法具有较好的稀疏性能，并且，在分类准确率方面与当前主流的半监督分类算法相当。其次，在真实的邮件分类数据集上对本文提出的算法进行验证，实验结果表明，本文提出的算法同样具有较高的分类准确率和良好的稀疏性能。

目录

声明

摘要

第1章 绪论

1．1 引言

1．2 研究背景

1．3 本文研究内容

1．4 本文结构安排

第2章 相关研究与技术

2．1 引言

2．2 半监督超限学习机

2．2．2 超限学习机模型设定与求解

2．2．3 半监督超限学习机模型设定与求解

2．3 稀疏贝叶斯学习

2．3．1 模型设定

2．3．2 稀疏先验

2．3．3 后验概率与模型参数求解

2．4 半监督学习

2．4．1 半监督学习假设

2．4．2 半监督学习算法

2．5 本章小结

第3章 基于期望最大化的稀疏贝叶斯半监督超限学习机

3．1 引言

3．2 拉普拉斯矩阵和流形正则化框架的优化

3．2．1 拉普拉斯矩阵的优化

3．2．2 流形正则化框架

3．3 模型设定与求解

3．3．1 定义稀疏流形先验

3．3．2 期望最大化算法最大化后验概率

3．4 基于期望最大化算法的模型实现

3．5 算法复杂度分析

3．6 实验与结果分析

3．6．1 实验设置

3．6．2 同类算法对比与分析

3．6．3 模型预测准确率敏感性实验与分析

3．6．4 有标记样本数据占比准确率实验与分析

3．6．5 邮件数据集实验

3．7 本章小结

第4章 基于拉普拉斯近似的稀疏贝叶斯半监督超限学习机

4．1 引言

4．2 模型设定

4．3 模型求解

4．3．1 设置伯努利似然函数

4．3．2 最大化边际似然

4．4 基于拉普拉斯近似的模型实现

4．5 期望最大化算法与拉普拉斯近似方法对比

4．6 实验与结果分析

4．6．1 实验设置

4．6．2 同类算法对比分析

4．6．3 本章算法与第三章 算法对比分析

4．7 本章小结

第5章 总结与展望

5．1 总结

5．2 展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果