Chinese Words Automatic Segmentation and Out-of-Vocabulary Words Detection

摘要

分词处理是汉语信息处理过程中的一个基础环节。在分词处理过程中，未登录词及其处理是急待解决的一个难题。传统的未登录词处理方法一般都是基于规则或者统计的，也有两者结合的,这些方法各有优点，但是也存在着在理论上的不足之处。本文首先综述了目前汉语自动分词的研究现状，简要介绍了几种不同的比较有代表性的自动分词算法，以及未登录词发现处理算法，对这些算法给出分析，说明其不足的地方，在这些不足的方面加以改进。在研究了汉语分词中未登录词的发现与处理问题之后，本文的主要工作重点放在了在线分词处理过程中的新词识别与处理任务上，结合了实际的新词识别问题进行了具体的研究。本文设计了汉语词条（包括未登录词在内）的完整分类...