一种改进的上下文相关的歧义字段切分算法

摘要

无论在自然语言处理还是在机器翻译中,中文自动分词都是一个重要的环节.歧义字段切分是中文自动分词研究中的一个"拦路虎".在分析基于规则和基于上下文的歧义字段切分策略基础上,提出了一种改进的上下文相关歧义字段切分算法,并根据汉语中特殊的语法现象,给出了切分算法的辅助策略来对待切分字符串进行预处理,不仅提高了分词的精度,还加快了分词的速度.