Web数据库采样技术研究

摘要

Web的飞速发展使其成为一个浩瀚而复杂的巨大数据源。整个Web可以进一步划分为Surface Web和Deep Web两大部分，Deep Web中信息的获取需要通过查询接口在线访问其后端的Web数据库，受限于查询接口的查询能力。由于Deep Web中数据库数量的巨大，给我们的使用带来了困难，这就需要了解Deep Web数据集成系统中所包含数据库的主题分布、更新频率以及大小等有用特征。在实际中，Web数据库所包含的信息量巨大，将Web数据库中的所有数据抽取下来进行分析的工作变得难以实现，由此Web数据库采样技术应运而生。Web数据库采样技术是指通过一定的技术将Web数据库中的数据随机地抽取一部分，这一部分数据能够代表Web数据库所具有的特征信息。
　　现有的Web数据库采样方法中存在着诸多不足，主要体现在两个方面，一是采样的代价大效率低，一是样本的质量差。采样方法在获得样本数据时，击中率低，每次查询得到结果记录的重复率高，进而导致了采样的代价大。样本的质量差，采集到的样本数据库中数据分布存在偏差，同时样本数据库还存在着不能够准确地反应出Web数据库中数据特征的问题。
　　本文提出了一种新的Web数据库采样模型，用以获得能够代替Web数据库分析的样本数据库。在该模型中主要应用了两种新的技术，一种是基于属性相关度的查询模式，一种是基于词频-属性值相关度的查询条件生成策略。通过这两种新技术的使用，不仅降低了采样的代价，同时也提高了样本的质量，达到采样的最终目的，即获得一个与Web数据库数据分布情况基本一致的样本数据库。
　　基于属性相关度的查询模式为从查询属性中选择两个属性组合构成，这两个属性要求一个属性为分类属性，另一个属性为与分类属性的最不相关的文本属性。查询条件中可以有一个或多个属性值，这些属性值可以属于同一个属性也可以属于不同的属性，本文中提出的查询模式的作用就是限制查询条件中属性值的个数和所属的属性。在本文的采样模型中，采样过程使用的所有查询条件都按照查询模式定义生成。与传统方法相比，在得到相同的样本记录数时，本文提出的Web数据库采样模型向Web数据库发送查询的次数明显减少，即采样的代价减小。
　　基于词频-属性值相关度的查询条件生成策略是从词频统计和属性值相关度两个角度分析当前样本数据库，生成满足查询模式的查询条件。词频的大小反映了Web数据库所代表领域的发展现状和发展趋势，对了解Web数据库有很大的作用。为了得到能够代表Web数据库特征的样本数据库，在生成查询条件中加入对词频的分析，达到增加样本质量的目的。属性值相关度是指两个不同的属性值出现在同一条记录中的频率，在生成查询条件中考虑属性值相关度是为了减少发送无用查询的次数，达到了减小采样代价的目的。
　　基于属性相关度的查询模式和基于词频-属性值相关度的查询条件生成策略共同作用于采样模型，在采样关注的两个重点——采样代价和样本质量两个方面得到提高。这两点在实验中得到了验证，切实说明了本文提出的新的Web数据库采样模型能够高效地采集到代替Web数据库分析的样本数据库。

目录

声明

摘要

第1章 绪论

1．1 研究背景

1．2 问题的提出及意义

1．3 本文主要的工作

1．4 本文组织结构

第2章 Web数据库采样方法概述

2．1 Web数据库采样方法

2．1．1 双层伯努利模型

2．1．2 Hidden-DB-Sampler

2．1．3 WDB-Sampler

2．1．4 Probability-Based-Sampler

2．1．5 NU-HDB-Sampler

2．1．6 Keyword-Based-DB-Sampler

2．2 Deep Web数据提取方法

2．3 Web信息抽取技术

2．4 中文分词技术

2．5 本章小结

第3章 一种新的Web数据库采样方法-RFSampler

3．1 相关符号定义及预备知识

3．2 采样方法的评价体系

3．2．1 样本质量

3．2．2 采样代价

3．3 系统模型

3．3 系统流程

3．4．1 预处理阶段

3．4．2 查询条件的生成

3．4．3 采样终止条件

3．4．4 采样方法评价

3．5 本章小结

第4章 基于属性相关度的查询模式

4．1 相关概念

4．2 相关工作

4．3 属性相关度

4．4 查询模式

4．5 基于属性相关度的查询模式

4．6 本章小结

第5章 基于词频-属性值相关度的查询条件生成策略

5．1 相关概念

5．2 相关工作

5．3 词频分析

5．4 属性值相关度

5．5 基于词频-属性值相关度的查询条件生成策略

5．6 本章小结

第6章 实验分析及总结

6．1 验结果及分析

6．1．1 实验的硬件和软件

6．1．2 实验结果及分析

6．3 本章小结

第7章 结论

参考文献

致谢

攻读硕士学位期间发表的论文和参加的项目