基于神经网络的分词和词类标注方法、装置、设备及存储介质

摘要

本申请属于人工智能技术领域，提供一种基于神经网络的分词和词类标注方法、装置、计算机设备及存储介质，该方法包括：获取待分词的语料并输入到预先训练的第一DNN神经网络模型中，获取第一DNN神经网络模型响应待分词语料而输出的多个初始分词；计算每个初始分词的内部聚合度和信息熵，将内部聚合度和信息熵都超过设定的阈值的初始分词确定为最终分词。将最终分词输入预先训练的第二DNN神经网络模型以及KNN模型中，用于分析最终分词的候选词类及候选词词类概率和相似词的词类及相似词词类概率，并返回概率最高的词类为最终分词的词类。本实施例在分词的同时完成词性标注的工作，进一步提高分词的精度，针对不同的场景提供最契合该场景的分词结果。