一种基于AdaBoost的半监督学习标签噪声防御算法

摘要

针对数据中存在的标签噪声问题，本发明提出一种标签校正框架来检测数据中存在的标签噪声。基于五个真实的UCI数据集和TREC 2007垃圾邮件数据集，本发明技术方案首先人为地向数据集中注入标签噪声；然后利用标签噪声检测框架来标记可疑的样本标签并重新标注噪声样本的标签；最后使用机器学习算法评估了该检测框架的有效性。本发明的关键技术是一种基于AdaBoost的半监督学习标签噪声防御算法(AdaSSL)。该AdaSSL算法首先使用AdaBoost算法将数据集划分为权重较大的样本集和权重较小的样本集；然后使用半监督学习算法重新标记权重较大的样本集合的标签；最后汇总两个集合的样本。AdaSSL防御算法结合了AdaBoost和半监督学习技术的优点，有效地改善了数据集中样本的标签质量，提高了机器学习分类性能。