基于发布/订阅技术的云平台监控系统研究与实现

摘要

随着云计算的兴起，云平台监控系统作为维持云平台稳定运行必不可少的一部分而变得越来越重要，但由于云中的资源具有分布式、大规模、动态性等特点，给云平台监控技术带来了一定的挑战。本文依托国家海洋公益项目基于发布/订阅技术构建了一个高效的B/S架构的云平台监控系统，使用户可以通过web页面订阅自己感兴趣的监控信息，并且用户不仅可以基于谓词约束对单一监控事件进行无态订阅，还可以基于对一段时间窗口内所有监控信息的聚集值约束对监控信息进行有态订阅。通过对发布/订阅技术的应用，系统可以高效地从海量监控数据中提取到用户关心的监控信息，从而使用户避免了被大量无关的监控数据所淹没，此外，该项技术对及时发现系统故障和资源瓶颈也有着重要意义。
　　本文将云平台监控系统分为三个层次来介绍，分别是监控信息收集层、监控信息处理层和监控信息表示层。收集层基于Ganglia框架对监控信息进行收集，它由三部分构成:负责采集节点监控信息的gmond，负责汇集群簇中所有节点监控信息的gmetad，以及对监控信息进行存储的RRD数据库;监控信息处理层利用发布/订阅技术对监控信息进行过滤，并利用多线程技术及其同步机制实现了监控数据解析器、订阅管理器、订阅匹配器和事件通知管理器的并行工作;监控信息表示层由一组php脚本编写的web服务构成，该层通过对数据库的访问及与下面层次的socket通信，使用户可以通过web页面对监控信息进行订阅、查看订阅结果以及查看整个云平台的运行情况。针对系统的发布/订阅匹配策略，本文利用高维索引技术对系统中的无态订阅集建立了基于R树结构的订阅索引，从而有效地提高了监控事件与无态订阅的匹配效率;而对于有态订阅的匹配，本文提出了基于多层滑动窗口模型的MSA Tree结构来存储不同时间粒度的监控数据概要信息，并且基于MSA_Tree结构提出了两种有态订阅匹配算法;最后给出了云平台监控系统中事件与订阅的具体匹配流程。最后对无态订阅匹配算法和有态订阅匹配算法分别做了实验和分析，表明了算法具有很好的扩展性和实用性，并进一步给出了云监控系统的运行示例和界面展示。

目录

声明

摘要

第1章 绪论

1．1 课题研究背景

1．2 课题研究现状

1．3 本文的研究内容和目的

1．4 本文组织结构

第2章 相关研究工作

2．1 开源云计算系统Hadoop

2．2 已有的监控技术

2．2．1 大型分布式数据收集系统Chukwa

2．2．2 分布式监控系统Ganglia

2．2．3 网格监测体系结构GMA

2．2．4 分布式监测框架DMF

2．3 发布／订阅系统概述

2．3．1 发布／订阅概念模型介绍

2．3．2 发布／订阅系统的数据模型

2．3．3 发布／订阅系统的匹配算法

2．3．4 有态的发布／订阅系统

2．4 基于滑动窗口模型的数据流聚集查询处理技术

2．5 本章小结

第3章 云平台监控系统的整体设计与实现

3．1 云监控系统的整体架构

3．1．1 监控需求

3．1．2 设计原则

3．1．3 整体架构

3．2 监控信息收集层的设计与实现

3．2．1 收集层的设计思想

3．2．2 监控数据项

3．2．3 采集策略

3．3 监控信息处理层的设计与实现

3．3．1 处理层的设计思想

3．3．2 处理层的线程及同步机制

3．3．3 处理层的实现

3．4 监控信息表示层的设计与实现

3．4．1 表示层的设计思想

3．4．2 表示层的功能实现

3．5 本章小结

第4章 云平台监控系统中的发布／订阅匹配技术

4．1 云平台监控系统的发布／订阅数据模型

4．1．1 事件模型

4．1．2 订阅模型

4．2 基于高维索引的无态订阅匹配技术

4．2．1 基本思想

4．2．2 基于R树的无态订阅匹配技术

4．3 基于MSA_Tree的有态订阅匹配技术

4．3．1 基本思想

4．3．2 MSA_Tree算法

4．3．3 基于MSA_Tree的有态订阅匹配算法

4．4 云平台监控系统中的发布／订阅匹配过程

4．5 本章小结

第5章 实验与性能分析

5．1 云平台监控系统中发布／订阅匹配技术的实验及性能分析

5．1．1 无态订阅匹配技术的实验及性能分析

5．1．2 有态订阅匹配技术的实验及性能分析

5．2 云平台监控系统运行示例

第6章 结束语

6．1 内容总结

6．2 未来展望

参考文献

致谢

攻读硕士期间发表的论文和参加的项目