一种基于困难样本筛选的即兴委婉语检测方法

摘要

本发明公开了一种基于困难样本筛选的即兴委婉语检测方法，包括以下步骤：S1、构造目标语料库，包括黑语料、白语料和包含即兴委婉语的语料；S2、对目标语料进行粗分类：训练二分类模型，对目标物料进行推理；S3、细粒度筛选：训练语言模型，对粗分类的推理结果进行推理，判断前topn个是否存在seed词语，若存在则保留，作为推理结果；S4、重训练：使用细粒度筛选的推理结果重新训练语言模型，对粗分类的推理结果进行推理，获得检测结果。本发明提出了一种三段式的检测框架，使用该检测框架能够在提升即兴委婉语的检测精度的同时，提升对普通委婉语的检测精度。相较现有方法，本发明普通委婉语的检测精度提升高达0.24。