一种基于不确定性量化的命名实体识别方法

摘要

本发明公开一种基于不确定性量化的命名实体识别方法，包括以下步骤：步骤1.收集出定位到实体位置的样本集，构建一个候选实体的检测模型；步骤2.对于样本集中的实体，采用适用于长文本记忆依赖的BILSTM和self_attention网络结构分别获取实体上下文特征和实体本身特征的表示；步骤3.采用对比损失和参数共享的思想，学习一个实体的不确定性量化模型，并给出每个实体的不确定性值；步骤4.将不确定性值转化为每个实体的dropout概率，并给定阈值，剔除掉不确定性大于阈值的样本；步骤5.通过步骤4实体的dropout概率，引入贝叶斯神经网络中蒙特卡罗dropout训练的思想训练一个新的命名实体识别模型。