分布式对象文件系统的缓存策略研究

摘要

对象存储提供了跨平台、高可靠性、高性能的存储体系结构,满足了大规模数据的存储需求。但是,对象存储系统也会遇到读写性能瓶颈,在存储设备性能提升有限的情况下,缓存技术的发展提供了有效的解决方案。
　　针对Cappella文件系统,设计了一种基于分布式对象文件系统的缓存策略。在对象服务器端实现了一套用户态的缓存方案,达到了对原有缓存方案的优化和完善。缓存策略实现了缓存空间的统一管理和调度,提高了缓存空间分配和回收的效率,并能对缓存资源使用情况做出智能的响应,对缓存读写策略进行调节与控制。当缓存资源使用率达到上限值时,缓存策略开始启动写缓存持久化和读缓存淘汰操作。当缓存资源使用率降低到下限值时,再停止读缓存的淘汰操作。写缓存持久化操作将把前一时间窗口内写入缓存的数据持久化到磁盘,读缓存淘汰操作将依次释放读缓存权值较低的缓存资源。
　　缓存写策略实现了数据的延迟写入和聚合,有效的减少了写时延和写磁盘的次数。缓存读策略能根据读请求的特点,优化数据的读取,实现了顺序预读和缓存部分命中条件下的读方案优化选择。缓存策略通过直接I/O方式,能在较少内存使用率下,不依赖Linux内核页高速缓存实现更好的读写性能。结合实际环境对相关参数进行优化配置,缓存策略也可以很好的利用在其他分布式对象文件系统上。
　　测试结果表明,缓存策略实现了对原有方案的较大优化。在大文件顺序读写的情况下比Linux内核页高速缓存性能更优。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 研究背景

1.2 现有缓存策略研究

1.3 主要工作和论文组织结构

2 Cappella系统缓存策略设计及优化

2.1 Cappella原有缓存设计及问题

2.2 优化方案设计

2.3 本章小结

3 用户态缓存策略的设计与实现

3.1 缓存策略总体设计

3.2 多级缓存结构

3.3 缓存空间管理与调度

3.4 缓存写策略的设计与实现

3.5 缓存读策略的设计与实现

3.6 本章小结

4 测试与分析

4.1 测试环境

4.2 性能测试

4.3 本章小结

5 全文总结

5.1 研究内容总结

5.2 研究展望

致谢

参考文献