基于Hadoop的电力大数据采集方案优化

摘要

电力大数据平台是新一代智能电网、能源互联网应用体系的核心。本文首先介绍电力大数据平台的主要特点，提出基于Hadoop的电力大数据采集优化方案，同时提出一种动态触发式ETL调度流程与算法。根据Hadoop和Oracle的系统运行日志，分析比较了两个平台的采集效率与数据量之间的关系。分析表明，基于Hadoop的电力大数据平台，与Oracle定时启动的ETL流程调度方式相比，可有效缩短部分流程的超长等待时间；有效避免资源抢占拥堵现象，提升数据采集时效性，获得比较好的应用效果。