混合型分布式存储系统中的存储策略研究与实现

摘要

随着航天事业的不断发展，人造卫星的发射数量急剧增加。人造卫星不断地对地球和太空环境进行探测和监控，产生海量数据。现有的卫星数据存储系统需要将卫星数据发回地面站进行存储和处理，通信效率和实时性低，不能满足日益增长的数据存储和处理需要。卫星收集到的数据数量庞大、形式多样且包含多种结构，需要运用多个存储系统进行分别存储，操作十分复杂。因此需要建立一个高轨道卫星集群存储系统，在星上进行分布式数据存储，混合存储各类不同的数据，为星上应用提供统一的数据服务。
　　本文基于对现有各类存储系统的研究，提出了混合型分布式存储系统，结合关系型数据库、非关系型数据库、分布式文件系统等多种存储形式，对结构化、半结构化和非结构化的数据进行统一的操作。设计混合存储管理模型，通过数据类型服务端对不同数据结构的各个数据类型进行存储，对上层应用提供统一的客户端接口用于进行数据操作。混合存储管理模型作为各类存储系统与上层应用之间的中间层，在客户端接口与实际各个存储系统接口之间进行转换，提供与多个存储系统等效的数据服务。
　　分布式文件系统通过副本技术为数据进行冗余备份，提高容错性并平衡负载。根据研究文件数据的读取会有冷热之分，现有副本策略不能很好利用文件热度的特性，对存储空间消耗过大，不适用于卫星环境。本文进行了动态副本存储策略的设计，通过数据观测周期内的读取频率对文件的热度进行区分，并根据文件的热度动态调整文件的副本个数。针对卫星环境下卫星站点间通信速度低于卫星站点内通信速度的特征，考虑节点间距离和负载的影响，设计了副本位置选择策略。
　　本文结合关系型数据库MySQL、非关系型数据库MongoDB和分布式文件系统HDFS设计并实现了混合型分布式存储系统的原型系统，验证了其与各个存储系统之间的等效性，进行了功能测试。基于HDFS实现了动态副本策略，通过真机实验和仿真实验，验证了本文策略与HDFS静态策略和Scarlett动态策略相比，能够在占用更少存储空间的前提下，提高文件的读取速度。

目录

声明

摘要

第一章 绪论

1．1 研究背景

1．1．1 卫星数据存储发展概述

1．1．2 卫星集群混合型存储概述

1．2 本文主要工作和贡献

1．3 论文组织结构

第二章 研究现状及相关技术

2．1 混合型存储概述

2．2 分布式文件系统研究现状

2．2．1 典型分布式文件系统概述

2．2．2 副本存储策略

2．3 分布式数据库系统研究现状

2．4 本章小结

第三章 混合型分布式存储系统存储策略

3．1 应用场景分析及问题描述

3．2 系统模型

3．2．1 模型假设

3．2．2 系统模型功能分析

3．2．3 模型描述

3．3 统一数据接口机制

3．3．1 数据类型接口机制

3．3．2 数据操作接口机制

3．4 分布式文件系统中的动态副本策略

3．4．1 副本数量策略

3．4．2 副本位置策略

3．4．3 副本策略分析

3．5 本章小结

第四章 原型系统的设计与实现

4．1 系统概述

4．2 系统设计

4．2．1 系统模块设计

4．2．2 数据存储方式设计

4．2．3 数据格式设计

4．3 统一数据接口实现方法

4．3．1 数据类型新增接口

4．3．2 数据类型删除接口

4．3．3 数据存储接口

4．3．4 数据查询接口

4．3．5 数据删除接口

4．4 接口等效性验证

4．4．1 接口初始化

4．4．2 数据类型操作

4．4．3 数据操作

4．5 基于HDFS的动态副本策略实现

4．5．1 节点状态信息新增

4．5．2 副本动态数量策略实现

4．5．3 副本放置位置策略实现

4．5．4 新增配置项

4．6 本章小结

第五章 实验评估及结果分析

5．1 实验环境

5．2 统一接口功能测试

5．3 动态副本策略实验

5．3．1 实验方法

5．3．2 实验结果及分析

5．4 本章小结

第六章 总结和展望

6．1 论文总结

6．2 未来工作

参考文献

致谢

作者简介