一种基于分布式计算的广域测量系统数据处理方法

摘要

一种基于分布式计算的广域测量系统数据处理方法，主要通过对分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统，用它来储存广域监测系统WAMS(Wide Area Measurement System)大量的数据加载方法，利用MapReduce的软件架构，用于大规模数据集对许多的文件进行抽样加载和转换，将大量的文件分布和储存到各个云计算平台，实现数据的分类和备份处理，利用ＭａｐＲｅｄｕｃｅ优化关联Ａｐｒｉｏｒｉ算法对ＷＡＭＳ电网数据挖掘中的应用进行改进，系统平台中的大量的ｌｏｇ文件的数据问题的处理的本质其实四是利用此分布式计算云平台对ｌｏｇ形式的文件进行数据挖掘，利用ＭａｐＲｅｄｕｃｅ对数据处理算法的改进增强了该算法的并行处理能力。