一种基于专用语料库字向量的无监督中文分词方法

摘要

本发明公开了一种基于专用语料库字向量的无监督中文分词方法，该方法包括预处理语料库，得到在语料库上的每个字对应的字向量；根据所述字向量计算出字间粘连度；计算出最佳分词路径实现无监督中文分词。对于字向量的训练，采用开源的word2vec方法，将中文语料中的每一个字对应得到一个向量，训练后，基于句子中每个字的字向量，计算每两个相邻字的字向量粘连度，在相邻字之间粘连度最小处分割，实现分词。该方法可以通过对语料进行无监督的训练进行信息提取，并利用信息直接对输入语句进行分词，便于对语料进行命名实体识别等其他任务的处理。