一种基于主动学习的领域命名实体识别方法及系统

摘要

本发明涉及一种基于主动学习的领域命名实体识别方法及系统，涉及领域命名实体识别技术领域。所述方法包括根据通用文本集合中的各文本与待识别领域的文本之间的距离，对通用文本集合内的各文本进行聚类得到文本集合；将文本集合内的各文本和待识别领域的文本组成扩充文本集合；根据扩充文本集合对预训练模型进行自监督学习得到训练好的预训练模型和待识别领域对应的文本特征向量；构建领域命名实体识别模型，采用主动学习的方法根据扩充文本集合和待识别领域对应的文本特征向量对领域命名实体识别模型进行训练得到训练好的领域命名实体识别模型。本发明能够将通用的文本特征迁移到具体的领域任务上且无需大量标注数据的领域命名实体识别方法。