Cappella数据服务器多级缓存系统的设计与实现

摘要

信息技术的飞速发展，数字化信息的快速激增，给存储系统带来了严峻的挑战。传统磁盘存储设备因其固有的机械特性，已不能满足当前的数据密集型应用程序的需求。基于闪存的固态存储设备的出现改善了这种情况，并被广泛用作缓存以降低内存与磁盘之间的性能差距。
　　针对分布式文件系统Cappella的数据服务器性能较低的现状，引入了固态存储设备与DRAM组成了两级混合缓存。提出了一种可配置的及历史信息感知的多级缓存替换算法Charm，Charm允许用户配置应用的访问模式、读写模式等多项内容，并且还可以根据应用对文件的历史访问信息来判断访问模式，从而能够适应访问模式的变化。此外，Charm过滤掉那些只访问一次的数据，将多次访问的热数据缓存至SSD中，从而减少对SSD的写入次数，提升SSD的寿命。在Cappella数据服务器上，设计并实现了基于DRAM和SSD的多级缓存系统，高效地管理缓存空间，将Charm算法作为缓存替换策略，实现了数据预取及对写回数据聚合后持久化到磁盘中。
　　使用MCsim对Charm与现有的多级缓存替换算法进行了对比测试，在实际的工作负载下，Charm的整体缓存命中率提升了13％~46%，对SSD的写入次数减少了14%~30%。对使用了多级缓存的Cappella系统的测试表明，大文件顺序读写性能提升了9%~37%，小文件随机访问时延减少了68%~89%，有效提升了Cappella的数据服务器的性能。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 背景

1.2 国内外研究现状

1.3 本文研究的主要内容

1.4 论文结构安排

2多级缓存算法Charm的研究

2.1 现有多级缓存替换算法分析

2.2 可配置及历史信息感知的多级缓存算法Charm

2.3 测试验证

2.4 本章小结

3 基于Cappella数据服务器的多级缓存系统

3.1 多级缓存系统设计

3.2 数据块管理模块的设计

3.3 缓存替换模块的实现

3.4 数据预取模块的设计

3.5 数据持久化模块的设计

3.6 本章小结

4 测试

4.1 测试环境

4.2 测试结果

4.3 本章小结

5 全文总结与展望

致谢

参考文献

附录1 攻读硕士学位期间发表的论文和专利

附录2 攻读硕士学位期间参加的主要科研项目