分布式全文检索中缓存系统研究与实现

摘要

缓存技术是提高响应速度、处理效率及系统性能的关键性技术，在分布式全文检索过程中，具有重要的应用价值。研究分布式全文检索中的缓存技术，具有很高的理论价值和应用基础。本课题通过分析用户查询行为，设计了基于用户查询日志的缓存系统，经实验测试，此系统在提高舆情采集系统查询响应时间和处理效率，以及改善舆情采集系统搜索引擎性能上，具有良好效果。
　　根据舆情采集系统实际情况和具体需求，设计了分布式缓存系统的体系结构，重点包括分布式缓存系统协作机制、数据同步、缓存结构和替换算法等关键环节。
　　在本论文中，设计了双级缓存结构。在此结构中采用了静态和动态两种不同类型缓存，通过统计用户查询行为规律，提取查询热度最高的一部分查询，对缓存数据进行初始化分配。处理用户查询时，检索次序为静态缓存、动态缓存和底层索引库。由于静态缓存中存放热度最高的查询，并采取动态缓存辅助，结合行之有效的缓存替换算法，在命中率、缓存效率和时间开销等指标上，与采用其它缓存结构的分布式缓存系统相比，理论和实验上均有一定优势。
　　同时，通过分析传统缓存替换算法理论基础和优缺点，在LRU算法和LFU算法基础上，提出一个基于评分机制的缓存替换算法。该算法兼顾了静态缓存和动态缓存间替换，以及动态缓存内替换两方面。与单纯采用传统动态缓存替换算法相比，命中率更优。

目录

分布式全文检索中缓存系统研究与实现

RESEARCH AND IMPLEMENTATION OF CACHE SYSTEM IN DISTRIBUTED FULL-TEXT SEARCHING

摘要

Abstract

第1章 绪论

1.1 课题研究背景和意义

1.2 国内外研究现状

1.3 本文的主要研究内容

1.4 论文结构安排

第2章 分布式缓存系统体系结构设计

2.1 引言

2.2 舆情采集系统需求与体系结构分析

2.3 分布式缓存系统设计

2.4 各功能模块

2.5 系统测试与实验过程

2.6 本章小结

第三章 基于用户查询日志分析的双级缓存结构

3.1 查询重复性及热点分布特征分析

3.2 双级缓存结构

3.3 缓存数据分布策略

3.4 双级缓存结构性能理论分析与实验测试

3.5 本章小结

第四章 基于评分机制的缓存替换算法

4.1 传统缓存替换算法分析

4.2 基于评分机制的缓存替换算法设计

4.3 基于评分机制的缓存替换算法工作流程

4.4 实验数据及结果分析

4.5 本章小结

结论

参考文献

哈尔滨工业大学学位论文原创性声明及使用授权说明

致谢