一种基于词权重进行分词的方法和装置

摘要

本发明实施例提供了一种基于词权重进行分词的方法和装置，该方法包括：按照一个或多个切分方式对语料进行切分处理，以获得一个或多个分词；针对每个分词，统计所述分词在所述语料中的第一词频，以及，组成所述分词的字在所述语料中连续出现的第二词频；根据所述第一词频与所述第二词频计算所述分词在所述语料中的权重；基于所述权重从所述一个或多个分词中选取分词结果。本发明实施例通过分词的词频特性，减缓或消除高频次词在分词中的歧义，提高了分词的成功率。