基于复杂特征集的汉语句法分析系统

摘要

句法分析是自然语言处理中的一个中心课题。根据目标的不同，目前主要有两类研究方向：第一类着眼于句法分析的完整性，主要依赖于大规模形式化的语言知识；另一类着眼于提取与应用相关的浅层句法信息，依赖的方法主要是概率统计及相对简单的语言模型。这两者通常分别称为理性主义与经验主义。 在中文信息处理领域，目前第一类句法分析系统在性能和效率方面离实用尚有一定距离，在相当一段时间内在实用效率方面落后于经验主义方法。然而，当前及不远的将来对计算机智能化的需要，又迫切需要能提供完整句法结构的高效汉语句法分析平台。这样，拉近句法分析系统与实用之间的距离，已成为亟待解决的问题，而一旦此类方法有所突破，必将深刻地影响经验主义方法，为新的该种方法提供语言知识。本文的研究目标也在于此。 本文设计并实现了一个能有效使用大量语言知识的开放性汉语句法分析系统模型，同时考虑了系统的效率和健壮性等实用方面的问题。语法体系、分析算法和歧义消解是句法分析中的三个主要问题，也是本文的研究重点。与此同时，本文完成了测试评价工作，确保了上述诸项工作的正确性、有效性。 构建语法体系的难点在于如何将大规模的语言知识形式化。汉语具有不同于西方印欧语系的特点，在这方面没有比较成熟的理论可供参考。本文基于合一文法的思想，采用结合复杂特征集的上下文无关文法的形式设计语法体系，并在此基础上结合大量现代汉语语言知识构建了包含三百多个语法语义特征和百余条句法规则的句法知识库，在大规模语法知识的形式化方面做了有益的尝试。同时本文使用预编译技术使得句法知识库具有良好的开放性。 句法分析算法方面，本文在传统双向图算法的基础上做了三点有益于实用的改进：第一、引入了分层渐进的分析模式，有效地提高了分析效率；第二、提供了对多输入的处理，使系统能够与切分标注前处理紧密结合；第三、加入了容错处理功能，使系统具有良好的健壮性。 歧义消解方面，本文以句法规则中特征之间的制约关系为基础，同时使用结合上下文相关信息的概率文法作为辅助手段，对句法分析结果进行优选。这种规则结合概率的混合方法，比单一方法具有更好的效果。 最后本文基于随机选取的测试集，采用多种标准对系统进行测试，从多个角度展示了系统在分析能力、歧义消解能力和效率等方面的性能，力求对所做的各项工作有一个科学、客观、公正的测试和评价，并以此为依据提出进一步的工作方向。 本文所述的理论模型、实现系统及其评测工作，形成了一个崭新的汉语句法体系平台。

目录

文摘

英文文摘

上海交通大学学位论文原创性声明及版权使用授权书

1句法分析概述

1.1 自然语言处理中的句法分析问题

1.2 基于语言知识的传统句法分析

1.2.1传统句法分析的基本方法

1.2.2传统句法分析的优缺点分析

1.3 基于语料库的部分句法分析

1.3.1部分句法分析的常用方法及其应用

1.3.2部分句法分析的优缺点分析

2句法分析系统的设计

2.1 研究目标

2.2 汉语中与句法分析相关的特点

2.2.1 词

2.2.2 词类

2.2.3 短语与句子

2.2.4 语义

2.3 系统设计中的关键问题

2.3.1交叉式的系统结构

2.3.2 歧义消解的策略

2.3.3效率的改进

2.4 系统的模块框架设计

2.4.1系统框架结构图

2.4.2主要模块说明

3句法知识库与预编译系统

3.1 形式化语法体系与合一文法概述

3.2 语法体系与句法分析的过程

3.2.1 复杂特征集

3.2.2句法规则库

3.2.3句法分析的过程

3.3 语法体系规范的形式化定义

3.3.1特征定义规范

3.3.2句法规则库的定义

3.4 句法知识库的内容

3.4.1 短语的内部结构与功能分类

3.4.2 动名短语间的语义关系

3.4.3短语的组合模式

3.4.4短语的组合限制

3.5 预编译系统

4句法分析算法

4.1 句法分析算法概述

4.2 双向图算法

4.2.1触发类与双向图分析

4.2.2双向图算法及其改进

4.2.3 双向图算法与合一文法的结合

4.2.4双向图算法的效率

4.3 完整的句法分析流程

4.3.1 多输入的句法分析

4.3.2渐增式的句法分析

4.3.3句法分析的容错处理

4.3.4句法分析流程

5基于统计的句法消歧模型

5.1 统计语言模型概述

5.2 结合上下文相关信息的句法消歧概率模型

5.2.1 概率上下文无关文法的基本思想

5.2.2上下文相关信息的引入

5.2.3句法结构树分值计算模式的讨论

5.2.4新的评分计算函数

5.3 概率参数的获取

5.3.1产生式概率的获取——Inside-Outside算法

5.3.2前后共现概率的获取

5.4 两点讨论

5.4.1统计模型的实际应用

5.4.2 统计方法与传统语言学

6系统测试结果及展望

6.1 测试例句集

6.2 系统测试结果及分析

6.2.1利用句法规则系统的歧义消解结果

6.2.2 引入统计模型后的歧义消解结果

6.2.3 效率分析

6.2.4 总结

6.3 工作展望

参考文献

附录

致谢

攻读硕士学位期间发表的论文