网络计算环境分布式COW盘设计及优化方法

摘要

人类社会进入信息时代以来，对计算性能的要求不断提高，网络计算模式能充分的整合计算资源，满足人们对计算性能的高要求，成为当前研究的热点。网络计算模式将计算任务分配给各种分布的计算资源（各客户主机），而将数据（系统数据和用户数据）部署在相应的网络存储设备中，实现了存储与计算的分离，即存储在存储设备的系统数据不再属于某一特定的主体，而是被网络计算环境中所有主机共享。在这种模式下，网络计算环境中存储结构及存储优化变得极为关键。
　　 本文主要针对大规模网络计算环境的分布式计算和数据集中存储的特点，结合COW(copy-on-write)写时复制技术，提出了一种分布式COW网络盘的存储体系结构。在这种存储体系下，客户主机的共享数据以只读的方式集中存储在共享源盘中，各客户主机对共享数据的改写块被保存在其相应的分布式COW盘中，在实现存储与计算分离的基础上进一步优化了对共享数据的读写操作。
　　 本文的主要研究工作如下:
　　 首先，基于COW技术提出了分布式COW网络盘的存储模型，同时结合磁盘记录改写块的稀疏和突发特性，详细描述了分布式COW网络盘体系结构及读写模式，将服务器处理所有客户主机相应COW盘的聚合开销分摊到各个客户主机自身，以加速网络计算环境系统的构建速度。
　　 其次，设计了一种改进的64位位图压缩算法以有效减少COW盘位图文件大小，节省服务器磁盘空间和降低分布式COW盘网络传输开销;提出一种适合COW盘改写块突发特性的预取算法，以提高分布式COW盘Cache的命中率。
　　 最后，通过实验验证，采用COW网络盘成功的实现了网络计算环境下多主机数据的共享访问，同时实验证明基于改进的COW盘位图压缩和预取算法实现的分布式COW盘降低了多客户主机网络计算环境的构建延迟。

目录

声明

摘要

插图索引

附表索引

第1章 绪论

1．1 课题背景

1．2 研究意义

1．3 国内外研究现状

1．3．1 存储与计算分离的相关研究

1．3．2 网络计算模式相关研究

1．3．3 共享存储优化策略

1．3．4 位图压缩算法

1．3．5 预取算法

1．4 本文的主要研究内容

1．5 论文组织结构

第2章 理论基础和相关技术

2．1 网络计算概述

2．1．1 网络计算定义及相关概念

2．1．2 网络计算的形式

2．1．3 网络计算的通信模型

2．1．4 网络计算的应用

2．2 网络存储技术

2．2．1 直接附属存储(DAS)

2．2．2 网络附属存储(NAS)

2．2．3 存储区域网络(SAN)

2．3 存储虚拟化

2．3．1 存储虚拟化概念

2．3．2 虚拟存储技术的实现方式

2．3．3 块级和文件级的存储虚拟化

2．4 写时复制技术

2．4．1 写时复制技术原理

2．4．2 写时复制技术应用

2．5 网络块设备

2．5．1 Linux设备类型

2．5．2 Linux块设备层

2．5．3 网络块设备

2．6 小结

第3章 分布式COW网络盘体系设计

3．1 传统的网络存储方式

3．1．1 传统网络计算环境存储方式

3．1．2 共享数据与私有数据

3．2 分布式COW网络盘存储模型

3．2．1 分布式COW盘的存储模型

3．2．2 COW机制的应用

3．2．3 COW盘位图定义

3．2．4 COW盘读写模式

3．3 分布式COW网络盘体系结构

3．3．1 COW网络盘体系结构

3．3．2 COW盘缓存机制与读写请求

3．4 分布式COW网络盘块驱动设计

3．5 分布式COW网络盘优势

3．5．1 节省磁盘空间

3．5．2 分摊服务器开销

3．5．3 管理维护简单

3．6 小结

第4章 分布式COW网络盘位图压缩及预取算法

4．1 COW盘改写块统计特性

4．1．1 相关定义及统计分析

4．1．2 COW盘改写块稀疏特性

4．1．3 COW网络盘突发特性分析

4．1．4 多主机改写块规律

4．2 64位稀疏位图压缩算法

4．2．1 COW盘位图统计特性

4．2．2 64位处理技术

4．2．3 COW盘位图压缩的原则

4．2．4 64位稀疏位图算法BSWAH设计

4．2．5 算法压缩示例

4．2．6 算法实现

4．3 COW网络盘的预取机制

4．3．1 COW盘预取分析

4．3．2 构建概率转移矩阵

4．3．3 基于样本命中率的马尔科夫跳转预取

4．3．4 COW网络盘的预取算法

4．4 小结

第5章 实验结果及性能分析

5．1 分布式COW网络盘块设备驱动测试

5．2 位图压缩算法性能测试及分析

5．3 COW盘有效数据块预取命中率测试

5．4 网络计算环境构建延迟测试

5．4．1 实验平台

5．4．2 主机构建计算环境的延迟测试

5．4．3 计算环境COW盘位图压缩性能测试

5．5 小结

结论

参考文献

附录A 攻读学位期间所发表的学术论文

附录B 攻读学位期间参加的科研项目

致谢