一种新的并发分词算法的研究与实现

摘要

汉语的词法分析是汉语理解的基础，是汉语信息处理领域的一个重要课题。 该课题提出一种新的并发检索-综合排歧的分词方法，目的是利用并行的特点，使分词与分词之间、分词与排歧分析之间能够并行处理，从而更高效、合理地实现词法分析，进一步提高分词方法的切分精度和切分效率。 该文在目前汉语词法分析方法基础上，提出了一种并行分词方法，并特别指出了全切分普遍存在的并发检索和持续检索问题，进而，给出了并发检索-综合排歧分词方法的算法模型。该方法在输入的同时进行切分，同时维护多个词库检索对象，并在分词的同时进行简单的句法分析，最后通过多种排歧方法，实现输入与切分、切分与歧义分析的并行运算，在输入结束时即刻得到分词结果。该文提出了该分词方法的体系结构模型，设计了并发检索算法，并建立了模拟实验系统。经过在模拟实验，证明该方法是一种可行而且高效的分词方法，达到了预期的目的。 该方法具有一定的理论和应用价值。它利用并行计算技术实现了词检索的并行以及检索和歧义分析的并行，克服了传统串行分词方法在实现高复杂度的全切分和歧义消解方法上存在的效率和复杂性方面的困难，有效地利用了丰富的硬件资源，提高了切分的速度。它在并行机上的实现，为高速实用工程的实现提供了可能，从而也为大规模并行中文信息处理奠定了基础。

目录

文摘

英文文摘

原创性声明和关于论文使用授权的说明

1.前言

1.1自然语言处理研究

1.2关于汉语词法分析的研究现状

1.3本课题的研究思路

2.词库并发检索算法的设计与实现

2.1几点说明

2.1.1两个定义[32]

2.1.2词库的结构[33]

2.1.3词库的并发检索和持续检索

2.2并发检索对象模型

2.2.1定义searchclass类

2.2.2由类产生若干个并发检索对象mysearch()

2.2.3并发检索对象数据结构

2.3并发检索框图

2.4并发检索算法实现

2.5算法模拟过程

3.切分消歧算法的设计与实现

3.1设计思路

3.2全切分方法的设计与实现

3.2.1句子全切分分析对象模型

3.2.2定义segmentclass类

3.2.3由类产生若干个并行分析对象mysegment()

3.2.4并行分析对象数据结构

3.2.5句子全切分方法分析框图

3.3算法模拟过程

3.4基于全切分方法的消歧设计

3.4.1消歧的基本思路

3.4.2需要解决的几个问题

3.4.3基于N-最短路径方法的设计与实现

4.并发检索-综合消歧分词系统的设计与实现

4.1关于并发检索-综合消歧的分词系统

4.2系统的整体构成

4.3并发检索-综合消歧子系统的设计

4.3.1并发检索-综合消歧分词子系统总体框架

4.3.2并发检索-综合消歧分词子系统的体系结构模型

4.4并发检索-综合消歧分词子系统的实现

5.系统的环境说明

6.实验结果与讨论

7.结束语

参考文献

致 谢

在申请学位的专业或相近专业研究成果