一种基于BERT的海运邮件命名实体识别方法

摘要

本发明公开了一种基于BERT的海运邮件命名实体识别方法，其包括对海运邮件进行数据预处理，获得海运邮件数据集；统计高频词汇构建扩展词汇表；利用Word2Vec模型生成扩展词向量；利用BERT模型训练生成原生词向量；合并扩展词汇表和原生词汇表形成海运邮件词汇表，合并扩展词向量和原生词向量形成海运邮件词向量；利用BERT模型训练海运邮件词向量获得上下文信息即分布式特征；利用神经网络中的全连接层将分布式特征映射到样本标签空间和调用条件随机场标签序列。本发明利用BERT模型和注意力机制训练海运邮件词向量获得上下文信息，不需要频繁制定规则，使得在大量海运邮件中识别效果要更好。