一种基于MMseg算法与逐点互信息算法的分词方法

摘要

本发明涉及一种基于MMseg算法与逐点互信息算法的分词方法，基于词典使用MMseg算法对文本进行分词处理，获得分词结果后使用逐点互信息算法对分词结果进行校正；所述逐点互信息算法校正分词结果的具体过程如下：计算文本中相邻的字x与字y的逐点互信息，然后判断字x与字y的逐点互信息是否大于所设定的阈值，若是则将字x与字y作为一个独立的词语进行划分。