基于Ganglia的Hadoop集群监控系统研究

摘要

随着云计算的快速发展，分布式集群系统也被广泛应用，发展云计算技术已经成为我国重要的经济和科技发展战略之一，研究和发展云计算技术并将原有信息化数据向云计算平台迁移，是未来十年政府信息化建设的主流方向。Hadoop作为高效的数据分析与数据挖掘的软件，已经成为云计算平台不可或缺的一部分。云计算提供的服务越来越多，需要处理的数据量和种类不断增加，同时对于数据处理结果的快速性和准确性要求越来越高增加，所以对云计算平台的监控就显得非常必要。数据量的增加导致 Hadoop自带的监控系统已经无法满足对资源的有效监控，现有的监控软件只能分别的监控不同平台、不同系统的各种应用以及服务，无法对云平台的所有资源进行全面监控。为解决这个问题，本文利用 Ganglia监控软件，设计并开发实现 Hadoop集群监控系统，主要研究工作如下：
　　1）利用Ganglia实现对Hadoop集群系统的监控。通过对每个节点之上部署Gmond客户端收集节点监控数据，Gmetad汇总收集信息传递到RRDTool中，最终利用RRDTool的绘图功能把监控信息以图表形式通过Web界面展现给管理人员。
　　2）利用Nagios实现警告服务。通过对Nagios中监控时段、监控联系人、主机与主机组、服务与服务组等配置文件的修改，使集群监控系统能够实现通过界面、邮件或者短信的方式，即使管理者不在监控系统之前，也能够收到警告信息。
　　3）实现数据的持久化存储。RRDTool数据库是一个环形数据库，存储容量有限，利用HBase的Java API接口把RRDTool数据库中的数据转移到HBase之中，从而实现数据的持久化存储。
　　4）对集群的监控效果进行验证。在监控系统部署实施完成之后，对需求分析中所要达到的监控效果，如数据块的监控、节点任务的监控、邮件警报服务和短信警报服务进行验证，对显示丢包率和三种警报方式的反应时间做了具体的数据测试，确认所设计的监控系统满足系统监控需求。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪论

1.1 课题研究背景及目的意义

1.2 国内外研究现状

1.3 论文主要研究内容及章节安排

第2章 Hadoop集群监控的基本原理及相关技术

2.1 集群监控系统概述

2.2 Hadoop核心技术

2.3 Hadoop集群的监控软件及其优缺点

2.4 Hadoop监控集群数据库技术

2.5 本章小结

第3章 监控系统需求分析与设计

3.1 系统需求分析

3.2 集群监控系统的总体设计

3.3 集群监控系统的设计

3.4 本章小结

第4章 监控系统的实现

4.1 节点监控模块的实现

4.2 Hadoop监控模块实现

4.3 告警模块实现

4.4 监控数据处理模块实现

4.5 本章小结

第5章 集群监控系统测试

5.1 测试环境

5.2 Ganglia功能测试

5.3 Nagios功能测试

5.4 本章小结

结论

参考文献

攻读硕士学位期间发表的论文及取得的科研成果

致谢