基于语义范畴扩展的词义消歧的研究

摘要

词义消歧是自然语言处理中亟待解决的一个关键问题，词义消歧研究在自然语言处理的许多应用领域中具有重要的理论和实践意义，也是近些年来是计算语言学和自然语言处理领域一个重要的研究课题。本文对词义消歧的相关研究方法和词义消歧的知识源进行了综合评述。针对当前词义消歧常见的问题采用了一种新的解决方法。 近年来计算机的运算速度成倍增长及存储设备容量的增加也使得基于统计的方法能够发展下去，所以近年来基于统计的方法也得到了较快的发展。词典资源和语料库是基于统计方法消歧消歧常用的资源，基于有指导的词义消歧需要语料库来进行训练，为消歧提供判断词义的信息。本文根据实际需要选择了扩充的词典资源，使之更符合词义消歧的需要。 数据稀疏及小概率词义的问题一直是词义消歧领域很难解决的问题。为了缓解有导词义消歧方法中人工标注语料的繁重劳动以及数据稀疏问题，我们分别对歧义词和歧义词的指示词进行了同义词扩展和同范畴扩展，以此来提高现有语料的使用效率，解决数据稀疏的问题。通过设计实验，验证了本文方法是有效的，该方法能够较有效的缓解有导词义消歧方法中数据稀疏问题及小概率词义问题。本文的方法使词义消歧的正确率有了一定的提高，对词义消歧的方法的研究具有一定的参考价值。

目录

文摘

英文文摘

声明

第1章绪论

1.1课题的研究背景及意义

1.1.1课题的研究背景

1.1.2词义消歧的应用领域

1.2国内外学术界对词义消歧的研究

1.2.1消歧的定义

1.2.2国外的研究状况

1.2.3国内的研究状况

1.3词义消歧遇到的主要难题

1.3.1上下文选择

1.3.2词典(或知识库)的建设

1.3.3语料库的获得

1.3.4词义的划分

1.4本文的主要研究内容

1.4.1课题的来源

1.4.2本文的研究内容

1.5本文的组织结构

第2章统计词义消歧的资源建设及研究方法

2.1词义消歧相关资源介绍

2.1.1 HowNet

2.1.2 WordNet

2.1.3汉语词典

2.1.4同义词词林

2.1.5语料库

2.2词义消歧方法概述

2.2.1基于规则的词义消歧方法

2.2.2基于词典的词义消歧方法

2.2.3有指导的词义消歧方法

2.2.4无指导的词义消歧方法

2.3本章小结

第3章语义范畴扩展概述

3.1语义学中语义范畴的概念

3.2语义范畴中的原型及扩展

3.3同义词及近义词的分类依据

3.4语义范畴扩展的方法

3.4.1歧义词的扩展

3.4.2指示词的扩展

3.5本章小结

第4章基于歧义词扩展的词义消歧

4.1歧义词扩展

4.1.1标注语料内的歧义词扩展

4.1.2无标注语料中的歧义词扩展

4.2歧义词扩展的统计方法实现

4.2.1贝叶斯分类模型

4.2.2基于贝叶斯分类的实现

4.3实验结果及评测分析

4.3.1实验用语料库

4.3.2结果及评测分析

4.4本章小结

第5章基于指示词扩展的词义消歧

5.1指示词的识别

5.2扩展指示词

5.3实验结果及评测分析

5.3.1实验用语料库

5.3.2结果及评测分析

5.3.3两种语义扩展方法的对比分析

5.4本章小结

结 论

参考文献

攻读硕士学位期间发表的论文和取得的科研成果

致谢