基于云平台的数据库搜索引擎实现方法的研究

摘要

随着电子商务信息快速地增长，在日益复杂的网络环境中搜索信息变得越来越重要，电子商务未来发展趋势将是搜索引擎和电子商务的结合。面对海量数据，传统数据库搜索引擎已经无能为力，主要存在三个问题，一是单点故障问题，二是索引效率问题，三是搜索结果准确率问题，很难满足应用要求，如何提高系统的性能是亟需解决的问题。
　　针对传统数据库搜索引擎系统的不足，本文开展基于云平台的数据库搜索引擎实现方法的研究。首先，提出基于云平台的数据库搜索引擎体系结构，使现有的数据库搜索引擎系统在HBase分布式数据库中得到实现，以提高了索引和搜索效率；其次，提出新的数据预处理方法，改进了关系型数据库和HBase分布式数据库之间的数据交互技术，简化了项目开发的框架；接着，提出基于LevenshteinDistance矢量距离算法的搜索评分机制，通过计算关键字间的相似度来判定用户注册重复数据，提高搜索结果的准确率。
　　最后，在电商公司BI部门，实现了基于云平台的数据库搜索引擎的原型系统。测试结果表明，本文提出的系统具有更好的准确性、高效性和扩展性。本文的研究成果在云计算、数据库搜索引擎及其应用领域具有一定的理论价值和很好的应用前景。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1课题研究背景

1.2 国内外研究现状

1.3论文研究的目标和内容

1.4论文课题来源和主要贡献

1.5论文章节安排

第二章 云计算平台及关键技术

2.1 MapReduce编程模型

2.2 HDFS分布式文件系统

2.3 数据交互技术

2.4内存缓存技术

2.5本章小结

第三章 全文检索技术

3.1 Lucene简介

3.2 Lucene索引功能

3.3 Lucene搜索功能

3.4 Lucene和数据库的检索功能区别

3.5文本分析方法

3.6本章小结

第四章 基于云平台的数据库搜索引擎体系结构的研究

4.1系统需求分析

4.2系统总体结构的设计

4.3数据预处理子系统的设计

4.4索引子系统的设计

4.5搜索子系统的设计

4.6本章小结

第五章 数据预处理方法及搜索评分机制的研究

5.1数据预处理方法

5.2搜索评分机制

5.3本章小结

第六章 原型系统的实现和性能测试

6.1数据预处理子系统的实现

6.2索引子系统的实现

6.3搜索子系统的实现

6.4系统性能测试

6.5本章小结

第七章 总结与展望

7.1总结

7.2展望

参考文献

附录1攻读硕士学位期间申请的专利

附录2 攻读硕士学位期间参加的科研项目

致谢