基于词汇增强的中文命名实体识别方法

摘要

针对中文命名实体识别中词嵌入表示不充分,以及传统分词方法存在分词错误引起误差传播的问题,提出两种词嵌入编码策略,并结合预训练语言模型BERT增强文本的初始向量表示。输入向量以字为单位,通过输入句子与词汇库匹配的方式,为每一个歧义字符引入多种可能的分词情况,然后利用提出的两种策略将多个词向量进行融合;通过统计数据集中所有词语的词频,为词向量引入词频信息,使得模型倾向于学习词频较高的词向量,减少了错误分词带来的噪声问题。利用BERT模型根据上下文语境生成动态字向量,将字向量和融合后的词向量拼接作为双向长短期记忆网络的输入,最后利用条件随机场进行标签解码。在MSRA和Resume数据集上进行仿真实验,F;值分别提高了2.01%和1.55%。