基于概率上下文无关语法的句法分析研究与实现

摘要

本文论述了基于概率的上下文无关语法的句法分析的原理及实现过程.本文首先回顾了自然语言的发展历史和应用范围,同时介绍了句法分析在自然语言中的重要的地位和本文的主要工作.然后介绍了句法分析的常用的分析方法,并对本文的基于概率的上下文无关语法的句法分析器所采用线图分析法作了重点介绍,分析了这种方法的原理以及优点.本文的句法分析器是基于概率上下文无关语法的,这种方法是统计分析模型中比较成功的一种模式.在本文的第三章详细介绍了PCFG的排除句子歧义的原理,并用具体实例加以阐述.基于概率的分析,当然最重要的就是概率的提取问题,在本文的第四章给出了提取概率的详细算法及实例,解决了基于概率上下文无关语法的三个重要问题.即采用向内向外算法,在给定一部概率上下文无关语法的前提下,计算句子的概率;采用Viterbi算法,在给定一部概率上下文无关语法以及句子前提下,找出最为可能的分析树.采用向内-向外算法,为语法规则选择概率,使得训练句子的概率最大.在对真实的句子进行句法分析的时候会遇到很多问题.本文在第五章,针对一些具体问题提出了一些解决方案,取得了一定的成效.主要有以下几个方面.1)根据汉语,既缺乏形态变化,又缺乏作为句法标志的黏着成分的外在特征,本文采用了短语本位的思想.2)针对汉语的具体特点,在本文中设计了预处理系统,系统利用特征词在对句子进行综合分析之前预测句子的句法结构,换句话说,预处理实际上是部分句法分析,它起着导引综合分析的作用,避免了不必要的计算.3)在本文中针对基于统计句法分析中数据稀疏问题,采取了数据平滑技术,使该问题得以缓解.4)在汉语中特定的句法范畴与特定词类之间的共现关系,在本文的句法分析器中,句法分析的歧义消解引入这类共现信息.即本文提到的制约法消歧,也就是利用句法、语义等制约条件排除不能满足制约条件的结构,从而达到消歧目的.在第六章列出了本句法分析器实验结果,并与其它几种统计句法分析模型进行了比较分析.最后,本文分析了本系统的存在的缺陷及一些改进措施.

目录

文摘

英文文摘

独创性声明和关于论文使用授权的说明

第一章绪论

1.1自然语言处理

1.1.1自然语言处理概述

1.1.2自然语言处理所用技术和方法

1.1.3自然语言处理的主要应用

1.1.4自然语言处理的发展历程

1.2句法分析

1.2.1句法分析在自然语言处理中的地位

1.2.2句法分析发展历程和现状

1.3本文的主要工作

第二章句法分析

2.1句法分析概述

2.2句法分析的主要内容与功能

2.2.1主要内容

2.2.2主要功能

2.3句法分析的主要研究方法

2.3.1基于规则的方法

2.3.2基于统计的方法

2.4句法分析的分析策略

2.5线图分析法

2.5.1概述

2.5.2线图的表示方法

2.5.3线图分析算法

2.5.4算法分析实例

第三章基于概率的上下文无关的句法分析

3.1基于统计的句法分析

3.1.1概述

3.1.2统计句法分析中的概率模型

3.2语料库和统计句法分析的处理技术

3.2.1基本思想

3.2.2语料库的基本特征

3.2.3语料库具有的优势

3.3基于概率的上下文无关语法

3.3.1概述

3.3.2原理介绍

3.3.3实例

3.3.4PCFG三个假设

3.3.5PCFG排歧原理

3.3.6PCFG与N元模型和上下文法的比较

第四章概率的提取

4.1三个基本问题

4.2向内算法

4.2.1算法描述

4.2.2实例

4.3VITERBI算法

4.3.1算法描述

4.3.2实例

4.4向内-向外算法

4.4.1算法描述

4.4.2实例

4.5规则的概率提取

4.5.1概述

4.5.2算法的过程描述：

4.5.3实验结果

第五章具体问题

5.1短语本位

5.2预处理问题

5.2.1预处理的目的和好处

5.2.2本系统所涉及的特征词词类

5.2.3附近词的属性的判定

5.2.4片语的优先权

5.2.5预处理算法

5.2.6具体实例

5.3零概率问题

5.3.1问题的提出

5.3.2采用平滑技术解决零概率问题

5.4制约法消歧

5.4.1概述

5.4.2制约消歧方法

5.4.3制约消歧框图

5.5句法分析器的流程图

第六章实验结果与分析

6.1实验前提

6.2实验结果

6.3与其它模型的性能比较

6.3.1评价方法

6.3.2两种基本模型的实现过程

6.3.3实验结果与分析

6.3.4两种模型的评价

第七章本系统的缺陷及改进

7.1规则和统计的结合

7.2上下文下相关

7.3在句法分析器中加入中心谓语动词的确定

7.4句法分析规则中嵌入语义分析排歧机制

参考文献

致谢

攻读硕士期间的研究成果及发表的学术论文