云环境下虚拟机监控的研究与实现

摘要

如今，云计算已经成为最广泛的互联网服务模式。对云平台的资源进行有效、及时、高效、低开销的监控，是保证云计算服务质量的关键因素，同时为后续系统作业管理、负载管理和均衡等工作提供依据。云平台中虚拟节点的资源监控包括:虚拟机运行状态的获取、虚拟机异常的分析和故障的预测。
　　本文提出一种基于聚类的异常检测算法，并基于该算法设计和实现了云环境下的虚拟机异常检测系统，该系统的主要功能是对云平台中虚拟机节点的运行状态进行监控以及故障预警。
　　基于聚类的异常检测算法分为两部分:基于聚类的建模方法和基于非参数CUSUM的异常分析方法。第一部分利用k-means和k-modes两种聚类方法分别建模。首先输入训练数据并指定聚类中心;然后用两种算法分别对虚拟机状态建模，得出结果并对结果做出修正;最后根据建模结果将虚拟机状态分为三类:正常、异常、故障。由于本文采集的数据均为数值类型，因此两种算法中k-means效果较好。第二部分对划分为异常的数据进行处理。利用CUSUM算法，当系统发现虚拟机状态异常时，增大采集频率，并对异常数据进行累计，达到预警门限时发出预警。
　　在Hadoop和Spark平台上实现云环境下虚拟机监控系统。系统采用集中式监控体系结构，对主从节点的虚拟机进行设计。从节点的功能是对虚拟机运行状态的数据进行采集;将采集到的数据通过Kafka消息系统发送给主节点并存入Rsdis数据库中。主节点通过消息系统接收检测数据，并利用相关算法对异常分析和故障预警，同时主节点具有用户接口，供用户查看虚拟机运行状态以及具体报警信息。实验结果表明，Spark平台下的监控系统能实现预期功能，而Hadoop平台下时效性稍差一些。

目录

声明

摘要

1 绪论

1．1 选题背景

1．2 国内外研究现状

1．2．1 云计算监控

1．2．2 异常检测

1．3 研究目的与主要工作

1．4 论文的组织结构

2 云计算平台相关技术

2．1 云计算

2．1．1 云计算的概念

2．1．2 云计算的特点和体系结构

2．1．3 云计算监控技术

2．2 Hadoop云计算平台

2．2．1 HDFS体系结构

2．2．2 MapReduce框架

2．3 云计算关键技术虚拟化

2．3．1 虚拟化技术的分类

2．3．2 常用的虚拟化软件

2．4 本章小结

3 基于聚类算法的虚拟机异常检测

3．1 基于聚类算法的数据建模

3．1．1 聚类算法介绍

3．1．2 K-means算法

3．1．3 K-modes算法

3．1．4 聚类方法建模

3．1．5 聚类结果与分析

3．2 基于非参数CUSUM算法异常检测

3．2．1 检测方案设计

3．2．2 CUSUM算法介绍

3．2．3 非参数CUSUM算法异常检测

3．2．4 性能分析

3．3 实验结果与分析

3．4 本章小结

4 云环境下虚拟机监控系统的设计与实现

4．1 云环境下监控系统体系结构

4．2 云环境下监控系统体系相关模块设计

4．2．1 主节点设计

4．2．2 从节点设计

4．2．3 核心服务模块设计

4．2．4 通信模块

4．2．5 数据持久模块

4．3 云环境下虚拟机监控系统的实现

4．3．1 实验系统的搭建

4．3．2 检测数据的采集

4．3．3 启动检测程序

4．3．4 运行分析

4．4 本章小结

结论

参考文献

致谢