基于最大间隔马尔可夫网模型的汉语分词方法

摘要

分词是汉语自然语言处理研究中非常重要的一个环节,在早先的研究中,最大熵模型和条件随机场(CRF)模型已经广泛运用到汉语自动分词的工作中.最大间隔马尔可夫网(M3N)模型是近年来由B.Taskar等~([1])人提出的一种新型结构学习模型.该文尝试将这一模型用于汉语分词建模并进行实验,实验结果显示,基于给定的训练语料与测试语料,分词精度可以达到95%,表明基于最大间隔马尔科夫网的汉语分词方法可以取得较高的分词精度,是一种有效的汉语分词方法.