面向生物医学领域的问答系统的研究与实现

摘要

随着数字信息的膨胀，大量可用的数字信息对于回答用户的各种问题变成了可利用的资源。传统的信息检索通常会对用户的提问返回成百上千篇文档，而用户必须依靠自己在这些繁多而又充满重复的文档中筛选自己需要的有用信息。为了克服这些不足，近年来，越来越多的研究机构和公司致力于新一代信息检索系统的研究。其中一个很重要的方向就是问答系统。 现今大多数的问答系统对于简单的事实性问题和常问问题的回答已经达到了很高的准确率，然而对于特殊领域和复杂问题回答研究的很少，而且准确率不高。本文根据生物医学领域的特点，设计并实现了一个面向生物医学领域的问答系统。 本文是对生物医学问答系统的一个探索，系统包括三个主要组成部分：问题处理、信息检索和答案抽取。不同部分运用了不同的自然语言处理技术，因此可以说问答系统是集自然语言处理技术的大成。在问题处理阶段，浅层句法分析的引入，能够有效的将问题分类并提取出关键词，同时生物医学语义资源的应用能够将问题中的关键词进行有效扩展，提高系统的召回率。在答案抽取阶段，为了在文档中找到含有一定信息量并且冗余信息少的文档片断，本文给出了一种段落抽取方法，首先获得相应的自然段，然后在自然段的基础上通过热区找到所需片断的位置。为了节约用户的时间，在返回给用户答案时，利用计算句子相似度的方法有效去掉重复或相近的答案。 该系统在TREC(Text Retrieval Conference)的数据集上进行了实验及测评，从各项指标上看，本系统能够有效的回答生物医学问题。

目录

文摘

英文文摘

声明

1绪论

1.1研究背景

1.2问答系统的研究现状

1.3问答系统现有的类型

1.3.1聊天机器人

1.3.2基于知识库的问答系统

1.3.3问答式检索系统

1.3.4基于自由文本的问答系统

1.4问答技术分类

1.4.1基于事实性问题和信息检索的问答技术

1.4.2基于模式匹配的问答技术

1.4.3基于自然语言处理的问答技术

2浅层句法分析与句子相似度

2.1浅层句法分析

2.1.1浅层句法分析

2.1.2语义角色的标注

2.2句子相似度计算

2.2.1句子相似度的概念

2.2.2基于依存的句子相似度计算方法

2.2.3基于编辑距离的句子相似度计算方法

2.3本文句子相似度的计算

3问题分析

3.1确定问题的类型

3.1.1问题类型

3.1.2浅层句法分析在问题处理阶段的应用

3.2关键词提取

3.3关键词扩展

3.3.1关键词扩展技术

3.3.2本系统所用关键词扩展技术

4信息检索

4.1信息检索

4.1.1布尔模型

4.1.2概率模型

4.1.3向量模型

4.2本系统中信息检索模块的设计

4.2.1文本预处理

4.2.2本文所用命名实体识别技术

4.2.3段落划分

4.2.4本系统所用检索模型

5答案抽取

5.1答案抽取策略

5.1.1基于命名实体的方法

5.1.2基于模板匹配的方法

5.1.3基于上下文的方法

5.2本文答案的抽取

5.2.1以文本片断作为答案

5.2.2以词或短语作为答案

6问答系统的实现与测评

6.1系统设计与实现

6.1.1用户界面

6.1.2核心部分的实现

6.2系统测试

6.2.1问题集

6.2.2抽取文档片断能力的测评

6.2.3抽取实体能力的测评

结论

参考文献

攻读硕士学位期间发表学术论文情况

致谢