知识服务平台构建与段落搜索

摘要

分散在互联网上的信息资源极其丰富，但表现形式却各不相同，如何全面准确地从中查找特定信息一直是网络应用服务的重要研究内容。传统的搜索引擎使用简单的关键词匹配查找信息，尽管在一定程度上能够满足用户的需要，但是用户的信息需求通常比较复杂，很难用关键词清楚描述，有时还需要使用大粒度的文字进行检索。在实际生活中，信息需求往往要经过分类、比较等多种手段才能明确，并进一步得到满足。如何最大可能地满足用户的各项信息获取要求，成为信息检索领域最热门的话题之一。
　　本文构建了知识服务平台，并研究和实现了平台中机器自动服务模块的段落搜索引擎系统。课题的主要研究工作包括：
　　1)提出了知识服务的概念。知识服务，不仅要进行信息服务、信息检索，而且还要进行知识增值服务，提供信息交流、知识创新的场所，构建起网络信息与知识转换的平台，为实现网民随时随地查找信息、学习知识、发表个人见解创造条件。
　　2)根据以上概念构建了知识服务平台。在平台中利用自然语言处理技术对杂乱无序的网络信息进行搜集、分类、整理并加以组织，使之成为井然有序的知识体系。
　　3)实现了知识服务平台机器自动服务模块中的段落搜索引擎系统。它将文档库中的文档采用窗口固定长度分段，并使用TF/IDF值抽取出查询段落中的关键词组，按照权值大小排序后在文档库中检索。在文档分段时比较了两种不同的方法：窗口重叠固定长度分段和窗口不重叠固定长度分段。在两种分段方法的比对实验中，窗口不重叠固定长度分段的搜索时间较少，准确率略低于窗口重叠固定长度分段。而在检索使用的关键词排列组合上比较了5关键词排列和10关键词依次递减排列方法，5关键词排列组合将获得更少的检索时间，而采取10关键词排列组合会返回更多的搜索结果。
　　4)提出了针对段落搜索这种大粒度查询要求的搜索引擎系统评测指标。段落召回率和段落准确率两个指标分别评价了查找相似段落和检测疑似抄袭的系统效能。另外，系统响应时间评价了段落搜索引擎的时效性。

目录

知识服务平台构建与段落搜索

KNOWLEDGKNOWLEDGE SERVICE PLATFORM ANDPASSAGE RETRIEVAL

摘要

Abstract

第1章绪论

1.1课题背景及研究的目的和意义

1.1.1课题背景

1.1.2研究的目的和意义

1.2国内外相关技术研究现状

1.2.1网络知识服务的研究现状

1.2.2段落搜索的研究现状

1.3本课题的主要研究内容

1.4本文结构的安排

第2章知识服务平台与段落搜索相关基础理论和技术

2.1引言

2.2知识服务平台

2.2.1知识服务的概念

2.2.2知识服务平台所用关键技术

2.3段落搜索

2.3.1段落搜索中所用到的搜索技术

2.3.2段落搜索的系统评价指标

2.4本章小结

第3章知识服务平台构建及段落搜索角色分析

3.1引言

3.2知识服务平台框架介绍

3.2.1机器自动服务模块

3.2.2人对人互动服务模块

3.2.3综合类服务模块

3.2.4工具类服务模块

3.3段落搜索角色分析

3.4平台实施方案以及运行状况分析

3.4.1实施方案

3.4.2平台运行状况

3.5本章小结

第4章段落搜索中的文档分段算法

4.1引言

4.2文档分段

4.2.1文档分段数据存储

4.3用于文档检索的分段算法

4.3.1窗口不重叠固定长度分段(Window-fixed-no-overlapPartitio

4.3.2窗口重叠固定长度分段(Window-fixed-overlapPartition)

4.4本章小结

第5章关键词抽取算法及搜索策略

5.1引言

5.2关键词抽取

5.2.1根据词频抽取

5.2.2根据TF/IDF抽取

5.3搜索策略

5.3.1关键词排列组合

5.3.2选取搜索结果

5.4本章小结

第6章算法的实验结果比对及分析

6.1引言

6.2数据描述

6.3文档分段与不分段的实验结果比对

6.4分段中窗口不重叠与窗口重叠的实验结果比对

6.55关键词排列和10关键词依次递减排列的实验结果比对

6.6本章小结

第7章段落搜索系统及其评测

7.1引言

7.2系统的功能与目标

7.3系统总体设计

7.4系统详细设计

7.4.1查询模块

7.4.2元搜索模块

7.4.3后处理模块

7.5系统性能测试

7.5.1数据描述

7.5.2数据测试

7.6系统演示

7.7本章小结

结论

参考文献

哈尔滨工业大学硕士学位论文原创性声明

致谢