云环境中集群监控数据采集与分析系统的研究与实现

摘要

目前基于云计算技术的数据中心已经被越来越多的企业部署，云数据中心的资源分布高度集中，如何有效地对云环境下的各类资源进行监控，并依据监控数据进行合理分析以提高集群服务质量及可用性成为各企业在建立私有云的过程中所面临的一个重要问题。一些公有云服务提供商如亚马逊等都提供了一定的监控功能，但大多数开源私有云环境如OpenStack提供的监控功能并不完善，为此，本文结合企业实际项目实现了一套云环境中的集群监控数据采集与分析系统。
　　本文实现的这套系统能够采集虚拟机与物理机的基础信息和性能监控数据，支持用户通过添加自定义采集脚本增加自己的采集项，解决了目前私有云环境下的监控系统难以满足多样性数据采集的问题。本文主要研究内容有三个方面。首先，本系统采用目标节点自动注册和心跳机制来同步目标节点状态，实现了监控节点的自动发现和状态维护，并提供了基于Web的管理控制端，可以查看每台节点的当前状态。其次，本系统提供了对监控数据的REST API操作接口，允许第三方组件如数据呈现模块获取数据并呈现到Web视图，做到了服务的独立性和可扩展性。再次，系统提供了性能分析模块，以定时任务的方式每天提交计算性能指标和集群健康度的作业到性能分析平台，利用性能分析的结果使集群获得DRS(Dynamic Resource Scheduler)功能，为运维排障提供参考依据，提高集群整体利用率。
　　本系统各模块之间通过API来进行交互，如此便可对整个系统进行解耦，简化了系统复杂性。经企业实际应用验证，本系统的设计是合理的，功能方面基本满足了预期需求，性能方面可以支持到上万规模的目标机器，性能分析方面给出了较准确的结果，提高了集群的利用率，集群可用性达到了99.98％，是一套切实可行的集群数据监控与分析系统。

目录

声明

摘要

第一章 绪论

1．1 研究背景

1．2 国内外研究现状

1．3 研究目标与内容

1．4 本文组织结构

第二章 云平台与监控系统概述

2．1 云计算平台

2．1．1 云计算部署模式

2．1．2 云计算服务模式

2．1．3 云平台关键技术

2．1．4 开源云计算平台

2．2 集群监控系统

2．2．1 Ganglia

2．2．2 Zabbix

2．3 本章小结

第三章 数据采集与分析模型

3．1 数据模型

3．1．1 数据采集方式

3．1．2 数据存储模型

3．2 性能衡量指标

3．3 性能分析模型

3．3．1 性能指标计算

3．3．2 集群健康度模型

3．4 本章小结

第四章 系统设计与实现

4．1 系统简介

4．2 系统架构

4．2．1 架构设计

4．2．2 系统应用

4．3 Cloud-Agent模块

4．3．1 功能设计

4．3．2 功能实现

4．4 Astro-web模块

4．4．1 功能设计

4．4．2 接口设计

4．5 性能分析模块

4．6 本章小结

第五章 系统测试验证与结果分析

5．1 测试环境

5．2 系统部署

5．3 测试验证

5．3．1 系统基本功能测试

5．3．2 性能分析结果验证

5．4 本章小结

第六章 总结与展望

6．1 总结

6．2 展望

参考文献

致谢

攻读硕士学位期间发表的学术论文