搜索引擎基于网格技术的应用

摘要

网格是一种新型的分布式计算技术，被称为继传统因特网、万维网之后的第三代因特网应用。网格技术利用互联网把分散在不同地理位置的计算机组织成一个虚拟的超级计算机，未来互联网的发展方向是将网络中众多闲置的计算资源、存储资源以及科学仪器等可用资源充分合理的加以利用。当前的网格技术标准经过了长期的演变正一步步趋近成熟，但网格还没有找到一种应用于企业、减少企业成本的有效切入点。本文的研究就是以搜索引擎为例，探索了一条企业应用网格技术的模式，为企业更加有效地利用网格技术达到盈利的目的奠定了基础，也为网格的进一步进入企业做出有益的尝试。 本文首先介绍了网格的概念，综述了近几年来网格技术的体系结构变化，较为详细的说明了目前较为成熟的网格中间件Globus Toolkit4.0的架构，然后具体阐述了目前搜索引擎的工作原理和主要工作，并对当前搜索引擎的应用框架不足和有待改进之处进行了剖析。在此基础上利用Globus Toolkit的成熟架构，提出了一种基于网格技术的搜索引擎系统。该系统拆分了搜索引擎工作模块，保留直接面向用户的搜索模块，将耗时、计算量大的工作模块分散给用户计算机，从而在不影响搜索引擎应用效率的基础上，达到合理利用闲置计算资源，节省企业工作和支出的目的。本文详细讲述了安全认证、目录管理、资源分配和客户端程序等核心模块的原理和实现，并详细讲述了如何调动用户的积极性参与到该模型的应用中。

目录

文摘

英文文摘

声明

1绪论

1.1研究背景和意义

1.1.1课题来源

1.1.2研究背景

1.1.3研究的意义

1.2本文的主要工作

1.3论文结构

2相关技术研究

2.1网格理论

2.1.1网格的定义

2.1.2网格体系结构

2.2网格中间件—Globus Toolkit

2.3.1 Globus架构

2.2.2 Globus模块说明

2.3搜索引擎技术研究

2.3.1信息采集模块(Crawler)

2.3.2索引模块(Indexer)

2.3.3查询模块(Searcher)

3需求分析

3.1现代搜索引擎系统的弊端

3.1.1网页覆盖面不全

3.1.2运营成本

3.2系统设计目标

3.3系统结构

3.3.1现代搜索引擎系统结构

3.3.2基于网格的搜索引擎系统结构

3.3系统功能分析

2.3.1应用层

2.3.2组件层

2.3.3容器层

4系统设计

4.1索引数据库设计

4.2系统程序设计

4.2.1安全认证

4.2.2目录服务

4.2.3资源管理

4.2.4数据缓存

4.2.5节点的高可用性组件

4.2.6客户端节点应用程序

4.2.7网络蜘蛛

4.3基于网格技术的搜索引擎系统的优势

4.3.1搜集性能的改善

4.3.2搜索范围的扩展

4.3.3节省公司运营成本

4.4用户参与的动力

结论

参考文献

攻读硕士学位期间发表学术论文情况

致谢