分布式文件系统管理和监控平台的研究与实现

摘要

随着互联网和移动信息化的快速发展，各种业务数据爆炸性增长。不停产生的海量数据需要被存储，并需要被高速访问。传统的集中式存储已经很难满足这样的需求，分布式存储系统也应运而生。高吞吐量、更高的性价比、更加可靠、部署友好、易于扩展，这是正是现在的互联网分布式存储的主要特性。
　　HDFS正是这样一个分布式存储系统。它提供了无可匹敌的收集和存储功能，但是随着集群规模的增大，集群的部署，升级和维护变得越加艰难，维护人员不得不花费宝贵的时间来做一些重复而繁琐的工作。因此，在使用了基于HDFS的分布式文件系统之后，使用者有必要对HDFS的管理和监控进行研究，开发出一套简单可靠的分布式文件系统管理和监控解决方案。
　　论文以实际工程项目为背景，在深入分析研究现有集群监控技术和自动化部署技术的基础上，在监控方面提出了通过补充和修改Hadoop监控模块源代码以实现内置的监控客户端的可行性和实现方法，在自动化部署方面提出了基于对等计算模型的集群部署方法，并在此基础上设计了分布式文件系统管理和监控平台的系统框架。整个框架由管理子系统和监控子系统两大部分组成。管理子系统包括集群部署，集群配置管理和集群管理三个模块，本文主要介绍集群部署模块。集群部署模块包括文件服务器和文件客户端。监控子系统包括监控客户端和监控服务器两个部分。在此系统框架下论文详细介绍了系统的详细设计和实现。
　　通过测试，验证了系统的有效性和正确性。与其他同类产品相比，本文提出的系统经过高度定制，能获取自定义的监控信息，更适合监控和管理HDFS;部署更加高效，比使用脚本部署效率提升了20％。进一步需要开展的工作包括提高集群的稳定性。

目录

声明

摘要

第一章 绪论

1．1 研究背景

1．2 国内外研究现状

1．2．1 集群监控

1．2．2 云平台集群管理

1．3 论文的主要内容和组织结构

第二章 相关技术研究和介绍

2．1 分布式文件系统相关技术

2．1．1 Hadoop和HDFS介绍

2．1．2 Zettabyte File System

2．2 Hadoop监控技术研究

2．2．1 Hadoop度量数据系统的整体架构

2．2．2 Metric基本数据类型

2．2．3 度量数据源MetricsSouce

2．2．4 度量数据池MetricsSink

2．2．5 数据源适配器MetricsSourceAdapter

2．2．6 数据池适配器MetricsSinkAdapter

2．2．7 MetricsRecord和MetricsBuffer

2．2．8 度量数据构建和转移过程

2．3 基于P2P的集群部署相关技术介绍

2．3．1 P2P技术

2．3．2 JGroups

2．4 本章小结

第三章 管理和监控平台的总体设计

3．1 分布式文件系统监控和管理的需求

3．1．1 分布式文件系统管理的需求

3．1．2 分布式文件系统监控的需求

3．2 分布式文件系统的整体架构

3．3 管理和监控平台的系统结构

3．3．1 总体结构

3．3．2 管理子系统结构

3．3．3 监控子系统结构

3．4 本章小结

第四章 管理子系统详细设计与实现

4．1 自动化部署模块的结构设计方案

4．2 预处理模块的设计和实现

4．2．1 预处理模块的作用

4．2．2 预处理模块的设计和实现方案

4．3 源文件部署模块的整体结构设计

4．4 源文件部署模块服务器的设计与实现

4．4．1 服务器的业务逻辑设计

4．4．2 服务器的实现方案

4．5 源文件部署模块客户端的设计与实现

4．5．1 客户端的业务逻辑设计

4．5．2 客户端的实现方案

4．6 服务器和客户端的交互

4．6．1 系统初始化过程中服务器与客户端的交互

4．6．2 源文件拷贝过程中服务器与客户端的交互

4．7 本章小结

第五章．监控子系统详细设计与实现

5．1 监控子系统的结构设计方案

5．2 监控客户端的设计与实现

5．2．1 监控客户端的业务逻辑设计

5．2．2 监控客户端的实现方案

5．3 监控服务器的设计与实现

5．3．1 监控服务器的业务逻辑设计

5．3．2 监控服务器的实现方案

5．4 本章小结

第六章 实验结果分析

6．1 实验方案和结果

6．1．1 自动化部署模块的测试

6．1．2 监控子系统测试

第七章 总结与展望

致谢

参考文献