现代汉语自动分词研究及几个算法的实现

摘要

随着中国正在向信息化社会迅速前进，其突出特征是Internet上中文网页的急剧增加和中文电子出版物，中文数字图书馆的迅速普及。以及受限文本为主要对象的中文自然语言处理研究于是也水涨船高，重要性日益显著。而汉语自动分词是任何中文处理系统都难以回避的第一道“工序”，其作用是怎么估计都不会过分。只有逾越这个障碍，中文处理系统才称得上初步打上了“智能”的印记，构建于词平面的各种后续语言分析手段才有展示身手的舞台。否则，系统便只能被束缚在字平面上，成不了太大气候。
　　本论文正是针对上述问题，讨论了现代汉语自动分词的现实性、必要性和可行性。并介绍了现代汉语自动分词在软件中的应用和理论中的应用。详细讨论并实现了目前常用的现代汉语分词算法：最大匹配法、逆向扫描算法、最大概率法和中文姓名的识别算法。为了便于分析分词后的数据我设计了一个通用平台可将以上各种算法集合一起。通过这个平台，可以很方便的将新的分词算法挂上去，并了解整个分词的流程。为以后的研究提供了方便。
　　通过对结果的分析，可以了解了各种分词算法的优缺点，分析了分词结果的各种歧义现象。为现代汉语自动分词算法的应用提供了很好的借鉴意义。

目录

封面

声明

中文摘要

中文摘要

第一章 引 言

1.1 课题来源及本文工作

1.2 现代汉语自动分词的现实性

1.3 现代汉语自动分词的必要性

1.4 现代汉语自动分词在软件中的应用

1.5 现代汉语自动分词在理论中的应用

第二章 相关理论和技术的研究

2.1 现代汉语自动分词的可行性

2.2 现代汉语自动分词所面临的关键问题

2.3 目前现代汉语自动分词的主要算法

2.4 目前国内外主要几种典型的自动分词系统评价

2.5 小结

第三章 现代汉语自动分词系统的总体设计

3.1 现代汉语自动分词系统的总体设计和功能模块划分

3.2 现代汉语自动分词系统的整体介绍

3.3 小结

第四章 自动分词系统的实现中的问题与详细设计

4.1 现代汉语中字符的编码

4.2 自动分词系统中的词库

4.3 现代汉语中的字符串的分析

4.4 自动分词系统中分词算法的实现

4.5 分词结果的比较

4.6 自动分词系统的评测方法

4.7 关于分词的若干统计结果

4.8 小结

第五章 总结

5.1 系统的特点

5.2 系统的改进和设想

致谢

参考文献