一种基于分布式路由思想的实体知识推荐模型

摘要

大数据时代，Web信息呈爆炸性增长，数据量的巨大给人们带来了新的挑战，传统关系数据库在海量数据存储和处理上捉襟见肘，为了提高运算性能和解决系统可扩展问题，利用分布式平台处理数据提取知识势在必行。虽然数据量日益庞大，但其价值密度却比较低，用户面临着信息过载带来的知识获取困扰。如何从数据海洋中挖掘知识并推荐给用户，成为了当今亟待解决的问题。
　　知识推荐是指根据用户当前搜索，将与之相关的知识从隐形或显性的资源中提取并推荐的过程。知识推荐通常作为搜索引擎的一部分实现，传统的知识推荐多是基于“关键词”的，鉴于这种方式的推荐不能“理解”用户的语义，Google、Bing等搜索引擎已开始尝试将Web中的信息按实体的方式表示、集成和推荐。基于实体的搜索和推荐已成为搜索引擎竞争的新领域，代表了未来搜索引擎的发展方向。在搜索引擎向实体技术革新的阶段，如何利用分布式平台存储和处理数据，并基于实体给用户进行可视化的知识推荐是一个值得研究的综合性课题。
　　基于上述背景，本文提出了一种基于分布式路由思想的实体知识推荐模型，模型能从维基百科中抽取出大量实体数据，并通过分布式运算获取实体之间的关系，然后以关系为基础为用户进行知识推荐。其中，数据采集过程模拟了网络爬虫的工作机制，为避免数据的重复抽取引入了Bloom Filter算法。采集好的初始数据通过预处理后转换成实体数据保存于搭建好的Hadoop云平台中。同时提出并采用了一种基于分布式路由思想的实体关系提取方法ERA(Entity RelationAcquisition)进行快速、分布式的实体关系提取。ERA的核心思想是将实体模拟成路由器，让实体按照类似动态路由的方式自发地去探寻它与周围实体形成的关系世界。最后对推荐结果进行了可视化展示，并引入了力导向算法优化界面布局。本文详细描述了模型设计及实现方法，通过实验测试验证了模型的有效性。

目录

声明

摘要

1 绪论

1．1 研究背景与意义

1．2 研究现状与存在的问题

1．3 本文研究内容及结构安排

1．3．1 本文主要研究内容

1．3．2 本文的组织结构安排

1．4 本章小结

2 知识背景与相关技术

2．1 实体相关概念概述

2．2 网络爬虫URL去重技术概述

2．2．1 Bloom Filter布隆过滤器

2．3 路由原理概述

2．3．1 路由寻径与消息转发

2．3．2 动态路由协议

2．4 Hadoop概述

2．5 数据可视化技术概述

2．5．1 图布局算法

2．5．2 Processing可视化编程语言

2．6 本章小结

3 基于分布式路由思想的实体知识推荐模型

3．1 模型核心思想概述

3．2 模型框架概要设计

3．3 模型框架详细设计

3．3．1 数据采集器设计

3．3．2 知识推荐器设计

3．3．3 可视化处理器设计

3．4 本章小结

4 模型编码设计与实现

4．1 数据文件设计

4．2 数据采集器实现

4．3 知识推荐器实现

4．4 可视化处理器实现

4．5 本章小结

5 模型实验测试与分析

5．1 模型实验环境

5．2 实验测试与分析

5．3 本章小结

6 总结与展望

6．1 工作总结

6．2 工作展望

参考文献

致谢