文本分类中基于类别数据分布特性的噪声处理方法

摘要

【目的】为减少语料库中训练样本构建时因噪声样本对分类性能的影响,提出一种基于训练样本中类别数据分布特性的文本分类噪声处理方法。【方法】通过定义训练样本中各类别的聚类密度来表征类别下文档间的相似程度,并对文档对相似度分布进行正态归一化处理;采用近似置信区间估计以及统计相结合的方法获取含有噪声样本的文档对;基于分布的相对熵和类别聚类密度实现对噪声样本识别的正确性验证。【结果】利用该方法在公开及自建语料库中进行测试,与噪声样本处理前相比,分类性能平均提高1.21%至4.83%。【局限】样本丰富度有待进一步扩展,在多领域、多类型数据环境下对该噪声处理方法进行更全面的实验。【结论】实验结果表明该方法是有效、可行的,能够有效挖掘训练样本中的噪声样本,且可一次处理批量检测,不必事先判断各个噪声样本后再进行检测。