分词方法及装置、建立句子向量生成模型方法及装置

摘要

本发明公开了一种分词方法，包括：通过分词技术对待分词句子进行初步分词处理，以得到若干初步分词结果；将若干初步分词结果中的词语转化为词向量；将每一初步分词结果的词向量输入句子向量生成模型，以得到每一初步分词结果的第一句子向量；根据预设算法计算待分词句子的标准句子向量；将与标准句子向量的相似度最高的第一句子向量所对应的初步分词结果确定为待分词句子的最终分词结果；其中，句子向量生成模型为通过句子语料库中的每一句子的标准分词结果的词向量作为输入以及对应的句子的标准句子向量作为输出训练循环神经网络所生成的。本发明得到的分词结果能够有效表达语义，提高了分词的效率与准确率。