基于固态盘的图片缓存优化研究

摘要

随着互联网的快速发展，类似Facebook、微信等社交类的互联网企业缓存的图片数量呈指数级增长，传统磁盘构建的缓存系统在性能上已经无法满足应用需求。固态盘(SSD)作为一种新型存储，被越来越多用于缓存系统中。然而，传统的缓存方案应用于SSD中导致过多的无效写入。这造成缓存的资源浪费的同时，也缩短了SSD的使用寿命。针对这一问题，将数据集分为冷数据集与热数据集，分别研究并提出了新的缓存策略，在提高缓存效率的同时，大幅降低了SSD写次数。
　　针对图片冷数据集中，＂只访问一次＂的图片缓存污染问题，提出一种基于分类预测的缓存选择策略。该策略利用朴素贝叶斯分类思想将数据分为两类:＂只访问一次＂和＂访问大于一次＂。避免将＂只访问一次＂的图片放入缓存。在缓存过程中，通过历史信息表对预测不准的图片进行弥补，降低误判概率。此外，根据缓存实时情况动态调整＂只访问一次＂的预测权重，使更有效地利用缓存。
　　针对图片热数据集中，热数据的流行度随时间不断变化且呈现特定趋势的特点，提出了一种基于流行趋势改进的RIPQ-GDSF缓存替换算法。将热度代替访问频率，相对于基于频率、时间局部性的传统算法，该算法能更准确地预测并利用图片流行度趋势。此外，结合RIPQ架构将基于文件的替换优化成基于块的替换，使小写变成大写，减少了SSD的写入次数。将时间复杂度从GDSF算法的O(n)降低到o(1)。
　　对所提两种算法进行大量的真实trace测试，结果表明结合基于分类预测的缓存选择策略的缓存算法相比较于结合前的算法，在缓存命中率和减少SSD写入次数方面分别优化22％和51%；基于流行趋势改进的RIPQ-GDSF缓存替换算法相较于GDSF算法，在命中率和减少SSD写入次数方面分别优化22%和92%。

目录

声明

1 绪 论

1.1 课题研究背景

1.2 国内外研究现状分析

1.3 研究内容

1.4 本章小结

2相关技术介绍

2.1 SSD技术介绍

2.2 缓存技术介绍

2.3 基于SSD的缓存技术

2.4 本章小结

3 基于分类预测的缓存选择策略

3.1 算法核心思想

3.2 朴素贝叶斯分类器

3.3 特征分析与统计

3.4基于分类预测的缓存设计

3.5 本章小结

4 基于流行趋势改进RIPQ-GDSF缓存替换算法

4.1 数据流行度时变特点分析

4.2 RIPQ-GDSF缓存替换算法

4.3 改进RIPQ-GDSF算法思想

4.4 改进RIPQ-GDSF算法架构

4.5 改进RIPQ-GDSF缓存过程与实现

4.6 本章小结

5 系统测试与分析

5.1 测试环境

5.2 数据来源与采样

5.3 基于分类预测的缓存选择策略测试结果与分析

5.4 基于流行度趋势改进RIPQ-GDSF算法测试结果与分析

5.5 本章小结

6 总结与展望

6.1 工作总结

6.2 工作展望

致谢

参考文献