融合BERT的网络空间安全实体识别方法

摘要

实体识别是知识图谱构建的核心任务.在Bi-LSTM+CRF模型基础上,融合BERT预训练语言模型和神经网络抽取网络空间安全实体,利用BERT模型对标注语料预处理,生成字向量,通过输入Bi-LSTM和CRF模型提取上下文特征与标注出12类命名实体,在网络空间安全语料库内进行对比实验.结果表明,文中提出的BERT预训练语言模型生成字向量F值达到了0.8842,比采用Word2 vec模型提高了3.42％.该方法相较于Bi-LSTM+CRF模型,增强了词向量的泛化能力,提高了实体识别效果.