基于数据空间的多维动态关联和事件发现研究

摘要

在结构化、半结构化和非结构化的数据集合中发现数据之间的关联是数据空间的一个重要研究方向。已有的关联发现研究主要有两种方法:一种是使用Apriori算法发现符合某一关联规则的关联集合，它主要是在数据库这种结构化数据中挖掘不同项和属性之间的关系;另一种是基于语义，给定一组预先定义的关联，通过在非结构化的纯文本中分析描述这组关联的句子结构来获得统一的表达模式，再根据这些表达模式发现其他新的关联。因此，已有的关联发现研究不能发现预先无法定义的关联，而且仅仅基于一种数据结构，没有对不同数据结构的数据提供一种统一的关联发现方法。
　　已有的动态事件发现方法大多是基于话题发现和跟踪技术提出的。话题发现就是用聚类的方法把讲述相同主题的新闻放在一起，然后将每一类看成一个话题。随着社交网络的兴起，有人提出了基于微博的事件发现方法，该方法以微博博文这种短文本为数据源，同样使用聚类的方式归类文本并形成事件。
　　本文基于对传统的关联和事件发现方法详细的研究和总结，提出了一种基于数据空间的动态关联和事件发现方法。该方法以用户查询日志和新闻文档为数据源，使用用户日志发现基于时间窗口候选的关联实体，再为非结构化的新闻文档构建多维倒排索引，根据实体的索引项信息计算候选实体间的关联度，确定最终具有动态关联的实体，完成关联发现。在关联实体集合构成的EDR图基础上构建子图，每一个子图对应一个事件。本文提出了两个构建子图的算法分别为LTC和GTC。本文提出的动态关联的发现方法可以挖掘出预先无法定义和预测的关联，并且可以随着事件的演变实现关联的更新，然后在已经发现的关联实体的基础上构建事件。实验表明，该方法能够更加高效准确的发现关联实体和事件，并具有良好的性能。

目录

声明

摘要

第1章 绪论

1．1 课题的研究背景及意义

1．1．1 课题的研究背景

1．1．2 课题的意义

1．2 国内外研究现状及进展

1．2．1 数据空间的研究现状

1．2．2 动态关联和事件发现研究现状

1．3 主要研究内容和预期研究结果

1．4 论文的组织

第2章 相关技术理论基础

2．1 动态关联发现技术研究

2．1．1 基于标注的动态关联规则发现方法

2．1．2 基于语义的关联发现技术

2．2 基于多维的关联发现技术研究

2．2．1 基于兴趣度的关联规则挖掘方法

2．3 事件发现技术研究

2．3．1 热点事件发现的技术

2．3．2 基于微博话题的事件发现技术

2．4 倒排索引技术

2．4．1 倒排文件

2．4．2 倒排索引的压缩

2．5 本章小结

第3章 基于数据空间的多维动态关联发现方法

3．1 研究概述

3．2 问题的定义

3．2．1 基本概念定义

3．2．2 动态实体关联图

3．2．3 动态关联发现流程图

3．3 数据源预处理

3．3．1 用户查询日志

3．4 构建实体动态关联图

3．5 本章小结

第4章 事件发现方法

4．1 研究概述

4．2 事件发现算法

4．2．1 全局事件发现算法

4．2．2 局部事件发现算法

4．3 本章小结

第5章 实验结果及分析

5．1 实验数据集

5．2 实验平台及环境

5．3 实验结果及分析

5．4 本章小结

结论

参考文献

攻读硕士学位期间发表的论文和取得的科研成果

致谢