主题搜索引擎的信息抽取和索引的研究

摘要

随着互联网的迅猛发展,“信息过载”已经成为一个亟待解决的问题。为了使用户准确获取他想要的信息,信息抽取成为必要。从网页中抽取信息的程序称为Wrapper。关键的任务是:Wrapper的构造要尽可能快速,不需要过多人为地参与,并且,构造出的Wrapper要尽可能健壮,能适应网页的变化,同时,还要尽可能通用,与具体网站无关。针对Wrapper生成问题,人们提出了各种各样的方法。这些方法的抽取模式语言基本上都是自己定制的,往往很简单、难以描述精确或者复杂的信息抽取模式。尽管通过人为标记的样本可以自动归纳出抽取规则,但这些抽取规则很难达到很高的精度、健壮性和通用性。本文使用标准的XML技术来解决网页信息抽取问题。基于标准的XSLT,可以利用它强大而且灵活的特性编写简单、健壮和通用的抽取规则。为了快速的构造抽取规则,我们开发了一个信息抽取平台。由于抽取规则的失效主要源于XPath路径表达式的失效,所以本文还对抽取规则的优化方法作了研究,提出了几种改进的信息定位方法,并且从实际应用的角度,提出几种方法的组合策略,在此基础上可以编写出更为简单、健壮、通用的抽取规则,在实际应用中达到了较高的查准率。

目录

摘要

ABSTRACT

1 绪论

1.1 选题背景和意义

1.2 主题搜索引擎简介

1.3 信息抽取技术

1.3.1 信息抽取与信息检索

1.3.2 信息抽取与自动摘要

1.4 本文的研究内容

1.5 本文的组织结构

2 Web 信息抽取技术概述

2.1 Web 信息抽取技术分类

2.2 包装器概念（wrapper）

2.3 wrapper 构建技术的分类

2.4 几种基于HTML 的信息抽取系统

2.4.1 W4F

2.4.2 XWRAP

2.4.3 EXALG

2.4.4 Road Runner

2.4.5 国内的信息抽取研究

2.5 Web 信息抽取存在的问题

2.6 本章小结

3 Web 信息抽取的原理和方法

3.1 XML 相关标准

3.1.1 XML

3.1.2 XHTML

3.1.3 DOM

3.1.4 XPath

3.1.5 XSLT

3.1.6 用Java 进行XSLT 扩展

3.2 系统的设计目标与思路

3.2.1 系统的设计目标

3.2.2 系统设计的基本思路

3.2.3 XML 和XSLT 在系统中的角色

3.3 抽取系统的总体框架

3.4 系统中的知识库与数据库

3.4.1 抽取规则库

3.4.2 抽取结果数据库和Web 页面数据库

3.5 页面优化模块

3.5.1 XHTML 页面转化

3.5.2 页面解析

3.6 信息抽取模块

3.6.1 规则学习的依据

3.6.2 规则学习的步骤

4 抽取规则的优化

4.1 优化问题的提出

4.2 改进的定位方法

4.2.1 路径与内容结合方法

4.2.2 完全基于文本的方法

4.2.3 基于属性的方法

4.2.4 几种方法的比较

4.3 各种方法的组合

4.4 优化的抽取规则

5 倒排索引技术研究

5.1 倒排索引概念

5.2 中文分词技术

6 结论

6.1 总结

6.2 下一步工作

致谢

参考文献

附录