基于Hadoop的电网非结构化数据智能分析云平台

摘要

cqvip:大数据环境下,电网非结构化数据蕴含的信息爆炸式增长对于其数据的挖掘具有重要的支撑作用。与此同时,传统的数据存储与计算成本较为高昂,并行程序编写困难。面对这种情景,我们设计并实现了一个在大数据环境下的电网非结构化数据智能分析云平台。该系统包括数据提取,数据清洗,大数据分析,数据标记,点云模型,数据挖掘等诸多智能分析模块,使用Hadoop大数据分析并储存和计算海量电网非结构化数据,建立云文件系统支持多用户跨平台操作分析。