智能化搜索引擎技术的研究及其在CIS中的应用

摘要

本文旨在探索一种个性化搜索引擎，并将它应用到竞争情报系统。随着互联网的迅猛发展，Web信息已经成为一种非常重要的信息资源，如何从海量的Web信息中有效地获取信息成为一个重要的研究课题。搜索引擎技术就是顺应这种需求，近年来成为研究热点的一种技术。 搜索引擎的关键问题是准确性和性能问题。针对准确性问题，通过抽取目标信息源中权重较高的信息，剔除无效信息，配合有效的分词算法，生成合格的标引，然后通过高效的匹配算法计算出匹配率，能提供较好的精度和召回率。针对性能问题，本文通过合理的系统设计，例如URL的队列管理，多线程技术，基于正则表达式的匹配算法，获得了较好的性能。 本文为了解决搜索引擎中的个性化问题，提出了一种基于在线启发式学习方法的用户兴趣模式挖掘算法，该算法通过捕捉用户的每一次操作，进行自学习，然后进行模式抽取，形成知识，当用户下次使用的时候，从知识库中提取出该用户相关知识，进行模式呈现，从而使用户感觉搜索引擎有了智能。 本文首先介绍了搜索引擎的发展历史及相关概念，当前搜索引擎存在的问题，例如准确性不高，个性化不够。然后详细分析了Web信息查找机理，网络搜索机器人的工作原理和搜索策略，并介绍了机器人搜索算法等搜索引擎相关的关键技术。最后提出了一种个性化搜索引擎的实现方法，并将它应用到竞争情报系统中，并详细的介绍了该个性化搜索引擎的实现。

目录

文摘

英文文摘

学位论文独创性声明及使用授权声明

第一章 绪论

1.1 搜索引擎概述

1.1.1 搜索引擎的发展

1.1.2 搜索引擎的分类

1.1.3 现有搜索引擎的不足

1.2 竞争情报系统概述

1.2.1 什么是竞争情报系统

1.2.2 企业竞争情报系统的应用效益

1.3 本论文所做的工作

第二章 搜索引擎信息查找原理

2.1 WEB信息查找原理

2.1.1 操作的表示

2.1.2 WEB资源查找的基本方法

2.1.3权值

2.1.4 爬取

第三章 智能搜索引擎关键技术

3.1 网络搜索机器人

3.1.1 机器人的搜索算法

3.1.2 巡视器

3.1.3 标引器

3.2 web文本挖掘

3.2.1 文本总结

3.2.2 文本分类

3.2.3 文本聚类

3.2.4 信息提取

3.2.5 关联分析

3.2.6 趋势预测与分布分析

3.3 机器学习

3.3.1 机器学习的概念

3.3.2 几种常用的机器学习方法

第四章 竞争情报系统的实现

4.1 系统概述

4.1.1 B/S架构简介

4.1.2 J2EE平台介绍

4.1.3 MVC模式介绍

4.2 系统架构

4.2.1 架构说明

4.2.2 数据库设计

4.3 基础技术

4.3.1 数据库连接池技术

4.3.2 日志管理

4.3.3 中文问题

4.4 Spider程序的实现

4.4.1 Spider程序的结构

4.4.2 Spider程序中多线程技术的应用

4.4.3 解析HTML

4.4.4 自动标引的实现

4.5 个性化服务机器人的实现

4.5.1 个性化服务机器人框架

4.5.2 分词技术的使用

4.5.3 页面匹配

4.5.4 用户兴趣模式挖掘

第五章 总结与展望

5.1 本文总结

5.2 尚待解决的问题

5.3 搜索引擎发展的趋势

参考文献

附录1部分源代码

附录2数据库表补全

攻读学位期间发表的学术论文目录

致谢