针对弱标记和稳定算法的多标记集成学习

摘要

随着现代各种技术的迅速发展，现实生活中越来越多的应用与多标记数据密切相关，因此，多标记数据的分类方法及其应用成为当前数据挖掘和机器学习领域的热点问题。其中基于集成学习的多标记数据分类方法是非常值得研究和探讨的一个方向。
　　 集成学习能提高分类器的性能，Adaboost算法是典型的集成学习算法之一。但是，之前研究Adaboost算法是基于不稳定且变化较大的学习算法，比如:决策树，神经网络等。本文扩展研究了Adaboost算法，使其在稳定且变化不大的算法的基础上也能有很好的性能。在本文中，我们研究了基于懒惰算法——改进的K近邻学习算法MLKNN的Adaboost算法，并提出了Adaboost.ML算法。该算法的基本思想是:用MLKNN做AdaBoost算法的基分类器，并对AdaBoost算法做一部分修改，使其适合MLKNN算法，提高算法的性能。实验结果表明，Adaboost.ML算法具有很好的分类性能。
　　 另一方面，多标记数据分类算法的研究越来越多，多标记数据分类算法主要是解决样本同时属于多个类别的分类问题，它适用于各种各样的分类任务，但是，传统的多标记数据分类学习中，分类器大多都是针对大量的具有完整标记的训练样本，然而，在现实生活的许多应用中，只能够获得一些标记不完整的训练样本。为了更好的利用这些不完整的训练样本即弱标记训练样本，本文提出了一种针对弱标记的多标记数据分类的集成学习算法RPCME算法。该算法通过采用基于相似形成对约束投影的方法来处理数据集，更好的利用了弱标记样本的特征，从而提高了分类器的分类性能。大量实验表明，RPCME算法在弱标记样本的情况下，具有很好的分类性能。
　　 本文主要研究了基于稳定分类器的Adaboost算法和针对弱标记样本的多标记集成学习的问题，并提出了Adaboost.ML算法和RPCME算法，这为将来研究基于集成学习的多标记数据分类方法提供了良好的思路借鉴。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．2．1 多标记数据分类算法研究现状

1．2．2 集成学习算法研究现状

1．2．3 弱标记数据分类算法研究现状

1．3 本文的主要研究目的、内容及章节安排

1．3．1 本文的研究目的

1．3．2 本文的主要内容

1．3．3 本文的章节安排

第二章 集成学习算法和多标记数据分类方法

2．1 多标记数据和弱标记数据描述

2．2 多标记数据分类算法

2．2．1 ML-KNN算法

2．2．2 改进的C4．5算法

2．2．3 Rank-svm算法

2．2．4 基于神经网络的BP-MLL

2．2．5 经典的两种问题转化方法BM和CM

2．3 弱标记数据分类算法

2．3．1 针对弱标记的直推式多标记分类方法TML-WL

2．3．2 主动学习和半监督学习

2．4 集成学习算法

2．4．1 Bagging算法

2．4．2 Boosting算法

2．4．3 AdaBoost算法

2．4．4 AdaBoost-MH算法

2．4．5 其他的集成学习算法

2．5 性能评价指标

2．6 交叉验证

2．7 本章小结

第三章 基于MLKNN的集成学习算法

3．1 Adaboost算法

3．2 ML-KNN算法

3．3 基于ML-KNN算法的Adaboost算法

3．4 实验及结果分析

3．4．1 数据集和实验环境

3．4．2 性能评价指标

3．4．3 实验设计

3．4．4 实验结果及分析

3．5 本章小结

第四章 针对弱标记的多标记集成学习分类方法

4．1 基于相似性成对约束投影的多标记集成学习算法

4．1．1 问题和算法的引入

4．1．2 基于相似性成对约束投影

4．1．3 权重更新策略

4．1．4 多标记数据分类中基分类器的集成

4．1．5 RPCME算法的详细描述

4．2 实验及结果分析

4．2．1 数据集

4．2．2 性能评价指标

4．2．3 实验设计

4．2．4 实验结果及分析讨论

4．3 本章小结

第五章 总结和展望

5．1 全文工作总结

5．2 未来研究工作展望

参考文献

致谢

攻读硕士学位期间的主要研究成果