一种适用于多语言多领域的命名实体识别方法

摘要

本发明公开了一种适用于多语言多领域的命名实体识别方法，包括以下步骤：构建初始化语料库，使用word2vec训练字嵌入矩阵；设定阈值n；对句子进行顺序遗忘编码；使用前向及后向并行LSTM分别计算长度为1,2…，n的单词记忆单元状态；融合前向及后向并行LSTM记忆单元状态；计算前向及后向LSTM的隐藏单元状态，级联前向LSTM和后向LSTM隐藏单元状态；输入单向LSTM进行实体标签预测；使用L2正则的句子级对数似然损失来训练模型，以平衡模型复杂度和准确度。本发明通过FOFE编码，充分利用了句子中字序列信息，省去了外部知识库，没有领域依赖，只需要大量的训练语料库，均能取得较好的NER结果。