基于Hadoop的监控数据存储与处理方案设计和实现

摘要

云计算环境下的监控系统会实时产生大量监控数据,如何在大数据的环境下实现对监控数据的高效存储和处理尤为重要.针对这一问题提出一种基于Hadoop的监控数据存储与处理的方案.该方案采用HBase数据库存储时序监控数据,并用提升字段法的宽表存储模型改进HBase数据库提升监控数据的存储效率;针对流量数据,采用MapReduce进行分布式计算处理提高处理效率.经过实验测试,验证了该方案的科学性和有效性,提高了海量监控数据下监控系统数据处理速度,解决了云计算环境下监控数据的计算瓶颈问题.