云计算环境下基于语义的DHT搜索算法研究

摘要

随着互联网技术的飞速发展，信息资源以几何级的数量在增长，面对海量数据的存储和处理，传统的搜索算法已显得无能为力，并且传统的搜索算法采用的是C/S模式，一旦服务器出现问题则造成整个系统的崩溃。随着云计算和P2P的出现，人们对搜索算法有了新的希望，因此对新的资源搜索算法的设计是必要的。现今P2P搜索算法大多数采用的是结构化P2P搜索算法，常用的结构化搜索算法有Chord、Pastry、CAN这些都是基于DHT(Distributed HashTable)技术只能根据词汇进行精确查找且查找命中率较低、缺乏语义，无法理解用户搜索意图，使得用户搜索真正需要的信息很困难。
　　 本文提出了基于语义的DHT搜索算法，其主要工作如下：首先通过对现有的云计算系统架构进行分析，发现其是基于中央结构，所有的数据节点通过一个主服务器被索引，这样会导致系统瓶颈的问题，影响搜索效率。为了能够减轻服务器的负载，增加整个系统的可扩展性和资源查找效率，本文提出了云计算和P2P相结合的模型，该模型利用P2P分布式体系结构的特点解决了服务器负载过重问题，具有更好的可扩展性和容错性。其次在该模型基础上实现基于语义的DHT搜索算法—semantic DHT，该算法通过向量空间模型建立文档的语义相似度，在Chord算法的基础上增加一个基于语义相似度排列的语义环，利用Chord进行精确查找，当精确查找失败时转入语义环进行模糊匹配，从而通过Chord精确查找和语义模糊匹配的融合实现智能搜索，提高查全率。在云计算仿真工具CloudSim2.1上实现提出的基于语义的DHT搜索算法的仿真。实验表明，通过与结构化Chord算法和非结构化Gnutella算法进行比较，semantic DHT能提高查全率，使查全率达到90％以上，能更好满足用户搜索的需求。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．1．1 研究背景

1．1．2 研究意义

1．2 搜索引擎研究综述

1．2．1 国内外搜索引擎研究现状

1．2．2 传统搜索引擎存在的问题

1．3 主要研究内容

1．4 论文组织结构

第二章 相关技术基础

2．1 云计算及其相关技术介绍

2．1．1 云计算概述

2．1．2 Dynamo云存储系统

2．2 搜索引擎工作原理

2．3 搜索引擎实现技术

2．3．1 抓取网页和网页消重

2．3．2 文档解析和中文分词

2．3．3 建立索引和排序

2．4 本章小结

第三章 基于P2P的分布式存储技术的介绍

3．1 P2P技术的介绍

3．2 P2P网络分类

3．2．1 集中式P2P网络

3．2．2 纯P2P网络

3．3 P2P搜索技术

3．3．1 非结构化P2P网络搜索技术

3．3．2 结构化P2P网络搜索技术

3．4 本章小结

第四章 基于语义的DHT搜索算法

4．1 现有P2P搜索算法的不足

4．2 向量空间模型

4．2．1 文档表示

4．2．2 相似度计算

4．2．3 特征权重计算

4．3 基于P2P的云计算模型

4．3．1 模型分析

4．3．2 模型设计

4．4 基于语义的DHT搜索算法

4．4．1 算法基本思想

4．4．2 建立节点资源的语义相似度

4．4．3 建立节点资源索引

4．4．4 算法流程图

4．4．5 节点资源的发布和搜索

4．5 本章小结

第五章 仿真实验与结果分析

5．1 仿真实验设计

5．1．1 实验平台

5．1．2 实验环境

5．2 基于语义的DHT搜索算法仿真结果与分析

5．2．1 平均查询延迟时间

5．2．2 平均查询路径长度

5．2．3 查找成功率

5．2．4 查全率

5．3 仿真实验数据分析

5．4 本章小结

第六章 论文总结及未来工作

6．1 论文总结

6．2 未来工作

致谢

攻硕期间从事的科研工作及取得的研究成果

参考文献