基于Ceph文件系统客户端元数据预取的研究

摘要

近年来，由于生活水平的提高和互联网的发展，人们使用互联网的时间越来越多，频率越来越高，再加上物联网的发展，政府管理的需要等原因，产生了大量的数据。大量数据的出现对大规模数据的存储技术需求日益增大，技术要求日益提高。由此，出现了许多的分布式存储系统，而其中，Ceph文件系统由于其可扩展性和可靠性赢得不少青睐。Ceph文件系统从本地文件系统出发，它保留了本地文件系统中元数据的角色，并以目录树的形式对用户的文件进行管理，让用户很自然地从本地文件系统过渡到分布式文件系统。　　Ceph文件系统分为两大部分，一个是存储元数据的服务器端，为元数据服务器，另一个是供应用程序调用的客户端。现有的客户端将部分使用频繁的元数据缓存在客户端的缓存空间中，并使用最近最久未使用算法进行替换。Ceph文件系统客户端根据元数据的使用时间进行管理，并未考虑元数据内部的信息以及元数据在文件系统中的空间位置。根据上述提出的问题,本文在深入研究客户端对元数据缓存机制的基础上，做了如下工作：　　(1)对现有客户端中缓存的元数据进行聚类分析，以找出两个聚类中心。这两个聚类中心所包含的是冷和热元数据的时间特征。具体来说，本文通过设置元数据统计装置，并利用文件系统测试工具来统计某段时间内Dentry元数据的使用次数，同时获取的还有Dentry和Inode中包含的信息，将这些信息组成五元组，该五元组记录的是文件在当前时间段内各种属性。在收集到这些五元组后，利用聚类算法对这些五元组进行聚类，而聚类的结果为两个聚类中心，其中，一个聚类中心的使用次数比另外一个聚类中心高。而使用次数较高的聚类中心中的其他信息将会在后面的预取工作中指导Ceph文件系统客户端预取更合适的“热”数据。　　(2)在获得文件元数据的聚类中心的基础上，本文将根据两种情况进行缓存预取，这两种情况会激发预取模块工作。第一种情况是：在某次使用文件时，其文件的元数据离某一分类的聚类中心特别接近，本文认为该元数据应当被视为使用频繁的数据，利用该元数据指导客户端请求元数据服务器将其他相关元数据提前存入客户端缓存中。第二种情况是，如果元数据使用次数已经超过一定界限，同样，客户端将请求元数据服务器将其他元数据提前存入客户端缓存中。通过这两种措施来达到提高客户端缓存命中率的目的。　　本文在研究了Ceph客户端缓存机制的基础上，提出了缓存预取的方法，该方法能帮助客户端缓存系统对使用频繁的元数据做出更全面的预测，从而提高了缓存命中率，并通过实验证明了预取机制的有效性。

目录

声明

第1章 绪 论

1.1 研究背景及意义

1.2 国内外研究现状

1.2.1 Ceph 文件系统研究现状

1.2.2 缓存及缓存预取的研究现状

1.3 本文的主要工作

1.4 本文的组织结构

第2章 Ceph 文件系统的相关研究基础

2.1 存储器层次结构简介

2.2 缓存预取简介

2.3 HDFS 文件系统及其缓存算法

2.3.1 HDFS 文件系统简介

2.3.2 HDFS 缓存系统

2.4 Ceph 文件系统及其缓存算法

2.4.1 Ceph 系统架构

2.4.2 Ceph 客户端操作

2.4.3 元数据的存储

2.4.4 动态子树分片

2.4.5 分布式对象存储

2.5 客户端

2.5.1 FUSE 简介

2.5.2 Ceph 文件系统客户端

2.5.3 Ceph 文件系统客户端中元数据

2.6 Ceph 客户端缓存系统

2.6.1 缓存系统数据结构介绍

2.6.2 客户端 LRU 算法介绍

2.7 本章小结

第3章 Dentry 的聚类中心

3.1 K-均值算法

3.1.1 聚类算法和 K-均值算法简介

3.1.2 本文的 K-均值聚类

3.2 聚类算法实现

3.2.1 元数据统计数据结构

3.2.2 元数据统计工作

3.3 实验环境

3.4 实验结果分析

3.5 本章小结

第4章 Ceph 文件系统客户端元数据预取

4.1 预取背景

4.2 预取条件

4.3 预取实验

4.3.1 实验内容

4.3.2 实验总结

4.4 本章小结

结 论

参考文献

附录 A 攻读硕士学位期间发表专利目录

附录 B 攻读学位期间参与的学术科研项目

致 谢