一种新的基于BMM和RMM分词方法的研究与实现

摘要

汉语自动分词是汉语信息处理的前提,也是一个极其复杂的过程.汉语自动分词的最终目的是为"计算机理解"服务的,因此在分词过程中,能保证一定程度上的精度要求,又能易于实现,这是值得研究的.同时,最大匹配法的原则是"长词优先",现有的最大匹配方法是在局部范围进行最大匹配,即每次最大匹配的范围都是建立在最先几个或最后几个汉字串,这样并没能充分体现"长词优先"的原则.基于以上这些讨论,本文提出了改进之后的正向最大匹配分词算法和逆向最大匹配分词算法,其核心思想就是在整个句子范围内寻找最长词.经测试并比较改进之前和改进之后的结果,具有歧义切分的句子数量明显减少,使得分词精度有一定程度的提高。