集群监控中的数据采集技术研究

摘要

当前集群系统已经成为高性能计算机体系结构发展的趋势，但在实际中应用集群系统时为便于对集群进行管理维护，需要能对构成集群的各个结点以及相关设备的状态进行实时监控。因此研究集群监控中的数据采集技术并设计一个监控系统对集群技术的发展和应用具有重要的现实意义。 以Lustre存储集群为背景，对存储集群环境下的远程监控技术进行了分析，并在此基础上实现了一个针对Lustre存储集群的监控系统原型ClusterMonitor。ClusterMonitor集群监控系统基于CIM/WBEM（Common Information Model/Web Based Enterprise Management）架构，由节点驻留程序MonDaemon，监控服务端程序MonServer，远程用户程序MonGui三个部分组成。对CIM/WBEM架构的遵循使得ClusterMonitor具有良好的可扩展性，而且不再依赖于传统的数据库。 监控数据采集包括监控数据的获取和监控数据的汇集。监控数据获取方面，设计了一个基于Linux内核模块的内核态监控数据获取方案，可以通过一个统一接口获取所有监控数据，并且不需要解析文本文件；监控数据汇集方面，为适应大规模集群监控的需要，设计了一个二叉树自收敛的监控数据汇集协议，采用这种协议节点能自动发现数据汇集代理并产生优化的汇集路径。 通过实验以对内存信息的获取为例验证了内核态监控数据获取方案的可行性，对二叉树自收敛汇集协议的定量分析表明了将该汇集协议应用于大规模的集群监控时将具有良好的实时性。