基于BP网络的元搜索引擎研究

摘要

在21世纪，互联网信息量巨大，同时以惊人的速度增长，而现有的搜索引擎无法对巨量的信息形成有效检索。形成这种局面的原因主要有以下两方面:一是用户需要特定的信息资源，而信息资源的快速膨胀与离散分布导致检索特定信息的难度越来越大;二是目前的主流搜索引擎面向一般用户，无法达到个性化搜索的目的。查全率与查准率是衡量一个搜索引擎好坏的最重要标准。现有的搜索引擎普遍存在查全率、查准率低的缺陷，无法充分满足人们的搜索需求。同时，在21世纪，能源紧缺、环境问题也越来越严重。在矿产资源领域，很多污染严重、效率低下、应该被淘汰的技术仍然被使用，而其替代技术很有可能早已存在，由于信息的拥堵而没有被人们发现。因此矿产资源领域相关技术的元搜索引擎具有很大的研究意义和现实意义。
　　为了解决现有搜索引擎的缺陷，本文主要从以下两方面着手解决。1.现有的搜索引擎的平均覆盖率不足20％，而搜索引擎之间的覆盖范围也有很大区别。可以通过整合多个搜索引擎的搜索结果来解决覆盖率不足的问题。元搜索引擎通过调用多个搜索引擎进行搜索，能够较好的解决覆盖率的问题，提高查全率。2.特定的用户对于信息的检索要求有很大的区别，也具有一定的规律性。本文通过引入BP网络来对搜索结果进行二次检索，进而提高查准率。
　　本文在元搜索引擎基础上，通过BP网络对矿产资源领域相关主题进行学习，对成员搜索引擎的搜索结果进行相关性判断，进而达到个性化搜索的目的，并展开了相关研究。

目录

声明

摘要

第1章 引言

1．1 主流搜索引擎特性

1．2 研究目的和意义

1．3 论文的主要研究内容

第2章 与本文相关的知识

2．1 搜索引擎

2．1．1 搜索引擎历史

2．1．2 搜索引擎的原理

2．1．3 搜索引擎的分类

2．1．4 搜索引擎的现状以及面临的问题

2．2 元搜索引擎

第3章 BP网络

3．1 人工神经网络

3．1．1 人工神经网络的产生

3．1．2 生物神经元模型

3．1．3 人工神经元的数学模型

3．2 BP网络

3．2．1 BP网络的算法描述

第4章 元搜索引擎关键技术研究

4．1 引言

4．2 元搜索引擎的总体设计

4．3 成员搜索引擎搜索结果处理

4．3．1 多线程处理技术

4．3．2 获取网页文本

4．3．3 网页文本预处理

4．4 BP分类器

4．4．1 训练样本的采集

4．4．2 主题词的提取及主题词库的建立

4．4．3 神经元的设计

4．4．4 初始权值的确定

4．4．5 隐层层数的确定

4．4．6 隐层结点数的确定

4．4．7 激活函数的确定

第5章 个性化搜索引擎的设计与实现

5．1 开发环境

5．1．1 开发环境

5．1．2 开发工具

5．2 系统的总体设计

5．3 系统运行实例

5．4 实验与分析

5．4．1 训练样本及主题词提取

5．4．2 BP网络训练

5．4．3 实验结果

总结与展望

参考文献