一种利用五笔字根深度学习的未登录词识别方法及系统

摘要

本发明属于处理自然语言数据的技术领域，公开了一种利用五笔字根深度学习的未登录词识别方法及系统，将汉字字符按照五笔字根表，转变成4个英语字母；然后作为模型的嵌入向量输入到语料库的词所对应的嵌入向量来训练神经网络模型；最后模型会输出一个之前语料库中最为接近的词汇向量，以该词汇向量作为识别未登录词汇的重要依据，更好地识别未登录词语。本发明利用偏旁部首相近的汉字词，大多具有相同的词性，其五笔编码也相近，提出一种利用五笔字根的神经网络实体识别方法，能够提高神经网络模型识别未登录词的性能。本发明基于深度学习使用词向量来表示词语，解决了高纬度向量空间的稀疏问题，更加简单有效。