基于Chord的混合对等网分布式搜索系统研究

摘要

对等网络作为一种新兴的网络计算模式打破了传统的C/S模式，其应用越来越广泛。本文通过对目前搜索引擎系统的研究现状及其发展方向进行研究和分析，结合P2P技术在搜索引擎上的先进理念提出了P2P分布式全文搜索。P2P系统搜索性能的好坏关键在于网络拓扑结构的设计。目前的结构化和非结构化拓扑结构各有优缺点，考虑到DHT结构化拓扑在资源定位方面的优势，采用结构化拓扑作为主要搜索模式，而非结构化搜索作为辅助搜索模式。分析了Chord协议并对其进行了改进，引入超级节点概念设计了一种新型的混合对等网拓扑结构-HD-Chord，并对其运行效果做了模拟。实验结果表明其性能比传统的Chord协议有了较大的提高。
　　 结合现代信息检索技术建立了一套适合对等网查询处理的机制。运用XML技术对各种格式资源进行处理，统一为内容位置分明的XML格式。通过设计接口来调用ICTCLAS分词系统对处理后的资源文档进行分词。设计了特征词抽取算法抽取资源文档中的主题信息词。传统的基于标题的搜索不能完全反映文本内容易造成查全率降低，而向量空间模型能避免这种情况。本文在传统的向量空间模型中引入位置加权因子，为降低向量空间维数同时引入了stop词库，对无意义词进行过滤。在对主题信息词进行处理后，结合XML技术建立系统本地以及全局的索引结构。同时设计了一系列的算法，包括资源相似度计算算法、注册算法、资源发布算法以及资源检索算法来完成资源搜索功能。在研究中发现系统中活跃节点在系统的高效运行中有非常重要的地位，基于此设计了好友群兴趣域机制，这样就方便了节点发现网络中具有相似兴趣的活跃节点，提高资源发现效率。
　　 基于提出的理论体系，结合课题来源，本文设计了一个基于对等网的建筑企业在线搜索平台。针对建筑行业的特殊性进行了信息、行业以及电子资源的分类，从企业实际应用的角度设计了公司、供求产品、招标采购以及行业电子资源的搜索功能。最终对所提理论进行了验证，并给出了搜索查询的试验结果。