文献数据集上知识图谱实体标注错误识别方法和系统

摘要

本发明提出了一种文献数据集上知识图谱实体标注错误识别方法，包括如下步骤：对进行了实体标注的文献数据集进行数据预处理；选择预设数量的采用SentencePiece分词器的预训练模型；基于选取的预训练模型建立相应数量的深度学习网络模型进行训练，记录并保存整个训练过程中的模型及参数作为待选取评委模型；基于模型准确率从待选取评委模型中选取2k个模型作为评委模型，并为它们设置可信参数，k为所选择的预训练模型个数；基于投票机制，使用选取的评委模型选出所述文本数据集中的争议实体；搜索文本数据集中与所述争议实体文本信息重合度超过预设重合度阈值的前n个实体，根据重合度和频率对争议实体进行打分，将得分小于判别阈值的争议实体判别为错误实体。