基于BERT的危险化学品命名实体识别模型

摘要

针对危险化学品实体识别及关系识别的问题,本文基于双向长短期记忆网络连接条件随机场(Bidirectional Long Short Term Memory with Conditional Random Field,BiLSTM CRF)模型,通过引入双向编码器表示(Bidirectional Encoder Representation from Transformers,BERT)模型结合多头自注意力机制,提出了一种预训练命名实体模型BERT BiLSTM self Attention CRF,通过对危险化学品的文本进行字符级别编码,得到基于上下文信息的字向量,增强了模型挖掘文本全局和局部特征的能力。实验结果表明,在自行构建的数据集上,本文模型优于其他传统模型,其F1值为94.57%。