基于蓝光存储的光盘存储系统的研究与实现

摘要

各种互联网应用的广泛使用，导致了数据量正在以指数形式快速地增加。根据预测显示，到2020年，整个世界的数据总量将是目前数据量的45倍。而在这些数据中，经常被访问的数据只占了20％，极少使用的冷数据却占了80%。蓝光光盘库适用于存放不经常被修改的固定的资料，使用它来存储这些冷数据。即使是冷数据也有被访问的时候，再加上存储的数量多，所以被访问的数据积累起来也较多，而蓝光光盘库的查询速度很慢，如何提高蓝光光盘库的查询速度将是本文研究的重点。本文将从两个方面来提高查询速度，一方面是从缓存层面，通过改进缓存替换算法来实现；另外一方面是从数据库层面，通过优化数据库来提高。论文的主要工作内容如下：
　　(1)本文研究了缓存替换算法的模型，分析了 VDL缓存模型对整个系统性能的影响以及在缓存模型下的几个重要因素。通过对传统缓存替换算法、影响缓存算法的性能参数的研究，再结合蓝光光盘库和磁盘阵列的特点，提出了一种基于对文件分类和对蓝光光盘分组的最近最久未使用(TypeAndDisk-LRU)算法。LRU具有较容易实现和较低的开销的特点，但是会出现缓存污染，TypeAndDisk-LRU算法对传统的LRU算法做了改进，不仅具有速度快和效率高的优点，还具有磁盘阵列和蓝光光盘库的优点，同时缓解了算法所具有的缓存污染问题。该算法通过与传统的LIRS和LRU算法进行比较得出，改进的算法效率更高效。
　　(2)本文研究了影响数据库查询效率的主要的三个因素，然后针对影响查询效率的因素，设计了技术方案来解决这些问题，主要有对数据库连接池的优化、对索引进行优化和对SQL语句进行优化。最后对这三个优化方案进行了实现，采用数据库优化的方式后，数据查询效率得到了明显的提高。
　　(3)本文根据前面的研究分析和改进并结合蓝光光盘库寿命长、容量大和磁盘阵列查询速度很快的优点，将磁盘阵列虚拟成蓝光光盘库，实现了一个光盘存储系统。该系统主要完成文件的查询、上传、下载、分享等功能。通过改后的缓存替换算法和数据库优化后，系统的查询数据的效率得到了极大的提高。

目录

声明

第一章 绪 论

1.1 研究背景和意义

1.2 国内外的研究现状

1.3 本文的研究内容和结构安排

第二章 光盘存储系统的相关理论知识

2.1 蓝光光盘存储

2.2 存储虚拟化技术

2.3 缓存相关技术

2.4 数据库优化技术

2.5 本章小结

第三章 光盘存储系统的总体设计

3.1 需求分析

3.2 光盘存储系统模型

3.3 系统开发的技术选型

3.4 各个模块的设计

3.5 本章小结

第四章 系统的缓存模块及数据库的设计和优化

4.1 缓存算法模型的建立

4.2 现有的缓存算法研究

4.3 TypeAndDisk-LRU算法

4.4 缓存一致性算法研究

4.7 算法的性能测试

4.8 MYSQL数据库的设计和性能优化

4.9 本章小结

第五章 光盘存储系统的实现与测试

5.1 各个模块的实现

5.2 系统功能测试

5.3 系统性能测试

5.4 性能测试分析

5.5 本章小结

第六章 结论

6.1 本文的主要贡献

6.2 下一步工作的展望

致谢

参考文献