基于全切分和碎片提取的中文自动分词系统

摘要

中文自动分词是中文自然语言处理的一项基础性工作，也是中文信息处理的一个重要问题，在很多领域扮演着非常重要的角色。中文自动分词系统是利用计算机对中文文本进行词语自动切分的系统。我国很早就开始了这一方面的研究工作，己经取得了很多成果，涌现出大量的基于各种算法的分词系统。但是真正满足实际需要的分词系统还没有出现，有待于进一步深入探讨。 本文对已经出现的分词算法进行了总结，对各种算法进行了优缺点的分析，并结合汉语本身的特点指出了影响分词系统性能提高的主要因素。 本文的主要工作是：针对中文分词系统实现中的主要难点——歧义切分和未登录词识别，进行了一些有意义的探讨，提出了一种基于改进的全切分算法的粗分模型和基于碎片提取的未登录词处理相结合的方法。 按照通用的、已经成为标准的分词系统评价标准(准确率P，召回率R和平均值F)，对基于该方法的分词系统进行了小规模开放测试，试验取得了比较好的结果，说明该方法对以后的自动分词研究有一定的参考价值。 文章的最后分析了系统中存在的问题，并提出了对未来分词系统的展望。

目录

文摘

英文文摘

第一章绪论

第二章中文自动分词综述

第三章基于改进的全切分算法的粗分模型

第四章基于碎片提取的未登录词识别

第五章系统的设计与实现

第六章结束语

致谢

参考文献