基于置信学习与标签平滑的噪声数据处理方法与系统

摘要

本发明提出一种基于置信学习与标签平滑的噪声数据处理方法与系统，该方法包括：对带有噪声标签的原始训练数据集合，经标签平滑正则化处理后得到的文本样本输入至文本分类的教师模型，将经过迭代计算收敛后的模型作为训练好的教师模型；利用训练好的教师模型，通过置信学习的方式对带有噪声标签的原始训练数据集合进行噪声数据的筛选，并将原始训练数据集合划分为第一训练集合以及噪声训练集合；将第一训练集合以及噪声训练集合输入至学生模型，通过标签平滑正则化方法对学生模型进行训练，以最终得到训练好的学生模型。本发明可减小学生模型对噪声数据的拟合程度，从而提高训练好的学生模型的分类性能。