基于Hadoop的高性能集群状态监测分析

摘要

油气勘探对高性能集群的稳定性提出了更高的要求,为解决其与传统管理技术间的矛盾,设计并实现基于Ha-doop技术的集群状态数据存储与分析平台.该方案包括状态数据收集、HBase存储与通过MapReduce实现的k-means聚类算法.通过对HBase的压力测试以及k-means算法的聚类效果分析验证了该方案的实用性,其适用于高性能集群的主动方式故障管理.