一种基于迭代的三步式无监督中文分词方法

摘要

一种基于迭代的三步式无监督中文分词方法，属于自然语言处理技术领域。基本思想是：是一种由局部切分、全局选词、语料消减迭代执行的无监督分词框架；每轮迭代中，先利用基于切分‑上下文相互独立度的成词概率模型，对文本语料进行局部最优的无监督切分，形式简单而有效；针对长尾现象，采用文档级脉冲式加权方法；再根据全局支持度，筛选新词，增量生成词典；最后基于词典最长匹配和概率最大原则分割文本，滤除成词切分，把连续的非词切分拼接起来，重构为规模消减的训练语料，对剩余语料进行类似的迭代处理，直至无新词产生。本发明优于现存性能最好的中文无监督分词算法。