基于BERT的初等数学文本命名实体识别方法

摘要

在初等数学领域的命名实体识别(NER)中,针对传统命名实体识别方法中词嵌入无法表征一词多义以及特征提取过程中忽略部分局部特征的问题,提出一种基于BERT的初等数学文本命名实体识别方法——BERT-BiLSTM-IDCNN-CRF。首先,采用BERT进行预训练,然后将训练得到的词向量输入到双向长短期记忆(BiLSTM)网络与迭代膨胀卷积网络(IDCNN)中提取特征,再将两种神经网络输出的特征进行合并,最后经过条件随机场(CRF)修正后进行输出。实验结果表明:BERT-BiLSTM-IDCNN-CRF在初等数学试题数据集上的F1值为93.91%,相较于BiLSTM-CRF基准方法的F1值提升了4.29个百分点,相较于BERT-BiLSTM-CRF方法的F1值提高了1.23个百分点;该方法对线、角、面、数列等实体识别的F1值均高于91%,验证了该方法对初等数学实体识别的有效性。此外,在所提方法的基础上结合注意力机制后,该方法的召回率下降了0.67个百分点,但准确率上升了0.75个百分点,注意力机制的引入对所提方法的识别效果提升不大。