基于混合模型的交集型歧义消歧策略

摘要

针对交集型歧义这一汉语分词中的难点问题,提出了一种规则和统计相结合的交集型歧义消歧模型.首先,根据标注语料库,通过基于错误驱动的学习墨想,获取交集型歧义消歧规则库,同时,利用统计工具,构建N-Gram统计语言模型;然后,采用正向,逆向最大匹配方法和消歧规则库探测发现交集型歧义字段;最后,通过消歧规则库和评分函数进行交集型歧义的消歧处理.这种基于混合模型的方法可以探测到更多的交集型歧义字段,并且结合了规则方法和统计方法在处理交集型歧义上的优势.实验表明,这种方法提高了交集型歧义处理的精度,为解决交集型歧义提供了一种新的思路.