基于QnA网络论坛的知识表示系统及应用

摘要

随着互联网络的不断发展，网络应用已深入到日常生活的方方面面。互联网上的各类服务，在为用户提供方便的同时也积累了大量的数据，如何有效的利用这些数据已成为一个重要课题。基于Web的自动问答系统就是利用丰富的网络数据，回答用户提出的自然语言问题的应用。 本文分析了现有Web自动问题回答系统的特点和不足，着重在自然语言处理和知识推导两个方面进行了深入研究，建立了基于QnA网络论坛的知识表示系统“KNEW”。该系统选择了更有针对性的QnA(Question and Answer)问答论坛数据作为建立知识库的数据，以提高数据源的可靠性及准确性。QnA问答论坛是一种流行的网络服务。使用者通过问答论坛提出问题或提供答案。论坛积累了大量的问题与答案链数据。使用论坛数据中蕴含的知识可以建立自动问题回答、自动百科辞典、专家搜索系统等多种应用。 本文总结了建立KNEW系统四个方面的工作：第一，数据清洗，包括纠正拼写错误及网络用语，避免了问答数据上下文中拼写错误、网络用语等对匹配准确率的影响；第二，使用自然语言处理技术将问题和答案文本，通过语法分析(Parse) 和句型转换(Sentence Pattern Conversion)等步骤分解为便于查询和匹配的Term、Statement集合，以高效的数据库结构加以存储；第三，系统根据WordNet提供的先验知识，为Term集合建立了上、下位、同义、反义关系，以方便在现有知识的基础上进行推导，弥补了知识库有限性的不足，大大提高了知识查询的效率及准确性；第四，KNEW 系统还为上层应用提供了丰富的接口函数，为更有效的利用QnA论坛知识库提供了方便。 本文还基于KNEW系统，提出了建立了自动问题回答系统应用的详细解决方案。自动问题回答系统可以使用KNEW系统提供的接口函数，调用为问答系统定制的高效综合查询函数，实现自然语言问题的处理与匹配。本文还提出了专家搜索和自动百科全书应用的建立思路，KNEW系统也为以上应用提供了丰富的接口函数。

目录

文摘

英文文摘

声明

第一章绪论

第一节课题研究背景

第二节自动问题回答技术的发展

第三节问题回答技术面临的挑战

第四节主要研究工作

第五节论文内容组织安排

第二章基于QnA网络论坛的知识表示系统结构

第一节基本概念

2.1.1 Term Set

2.1.2 Statement Set

第二节基于QnA论坛的知识表示系统—KNEW结构

2.2.1一般基于Web的问题回答系统特点

2.2.2 KNEW系统结构

第三节QnA数据处理流程

2.3.1数据预处理

2.3.2词性分析标注(Part-of-Speech tagging)

2.3.3词干抽取(Stemming)

2.3.4语法分析(Parsing)

2.3.5句式转换(Sentence Pattern Conversion)

第四节小结

第三章KNEW系统核心模块处理

第一节QnA论坛数据采集系统

3.1.1网络信息采集系统功能(Web Crawler)

3.1.2 QnA论坛数据采集系统特点及功能

3.1.3 QnA论坛数据采集系统结构

3.1.4网页下载器

3.1.5网页解析器

3.1.6网页换码器

第二节QnA论坛数据的语法分析

3.2.1语法分析工具选择

3.2.2 Minipar简介

3.2.3 Minipar与KNEW系统的整合

第三节QnA论坛数据的句型转换

3.3.1句型转换器的功能

3.3.2句型转换器的处理流程

3.3.3句型转换器分析步骤实现要点

3.3.4句型转换器合并步骤实现要点

第四节基于WordNet的知识网络

3.4.1 WordNet简介

3.4.2 WordNet知识网络在系统中的应用

3.4.3 WordNet的知识网络的提取与存储

3.4.4 WordNet知识网络的扩充

第五节KNEW系统数据存储

3.5.1 KNEW系统数据库的分析与设计

3.5.2 KNEW系统数据库结构

3.5.3提高查询效率的策略

第六节小结

第四章基于KNEW系统的应用

第一节基于KNEW系统的应用简介

4.1.1自动问题回答系统

4.1.2自动百科全书系统

4.1.3专家搜索系统

第二节KNEW系统提供的服务

4.2.1 KNEW系统API函数处理流程

4.2.2数据库查询服务

第三节基于KNEW系统的问题回答系统

4.3.1基于KNEW系统的问题回答系统实现原理

4.3.2问题回答系统结构

第四节小结

第五章总结与展望

第一节总结

第二节展望

参考文献

致谢

个人简历