基于蚁群算法的汉语自动分词的研究与实现

摘要

汉语自动分词是中文信息处理领域中的基础课题,其中,歧义初分的消除是影响分词精度的关键问题.国内外很多学者在自动分词领域展开了富有成效的工作,但在提高分词精度上,仍然存在着很在的困难.我们研究发现,对于汉语自动分词,首先,必须对影响分词精度的语言现象作针对性的研究,做到对问题的实质从总体上把握;其次,必需考虑分词算法的设计,建立分词模型,提高模型的计算能力;并研究在分词过程中提供更有效的语言信息的度量.该文在分词建模过程中,启发于蚁群算法在解决一系列复杂组合优化问题中所表现出来的卓越性能,创造性地交蚁群算法模型运用到汉语自动分词问题中歧义字段的识别和切分上面,通过流语句子在内存中表示的数据结构的设计,构造了我们的分词模型,以词频作为启发因子,巧妙的将纯粹分词问题转化为词的选择问题,并从计算的角度,分别以绝对减值法和后备法给出我们相应方案的详细设计.实验结果显示我们的基于蚁群算法的汉语自动分词方法是一个可行的解决方案.在统一的语料测试集上,我们就该本分词算法和中科院计算所的汉语词法分析系统在歧义切分上做了一个全面的比较.并就分词知识从词频、语义信息层次上展开了讨论,作出了展望.

目录

文摘

英文文摘

苏州大学学位论文独创性声明及使用授权声明

第一章引言

1.1研究背景

1.1.1本文研究的意义

1.1.2本文研究的难点

1.1.3本文研究目标

1.2本文综述

第二章汉语分词概述

2.1机械分词

2.2统计分词

2.3知识分词

2.4小结

第三章蚁群系统模型

3.1基本蚁群算法

3.2蚁群算法的应用和优化

3.3小结

第四章基于蚁群算法的分词模型

4.1基本思路

4.1.1模型的映射

4.1.2启发因子

4.2数据结构

4.2.1词库构造

4.2.2汉语句子在内存中的表示

4.3算法描述

4.4绝对减值法实验结果分析

4.4.1绝对减值法

4.4.2实验结果

4.5后备法实验结果分析

4.5.1后备法

4.5.2实验结果

4.6小结

第五章分词结果比较

5.1结果比较

5.2分词知识

5.3小结

第六章展望

6.1利用知网进行语义计算

6.2展望

参考文献

Acknowledgements