电网大规模数据仓库的数据接入研究与设计

摘要

随着电网业务量的不断扩大,业务数据正向着更加海量与多元化的方向发展.使用大数据技术存储、处理与分析业务数据已经成为电力行业发展的必由之路.数据仓库是大数据分析的重要组成部分,如何将业务数据高效地接入数据仓库是现今实际生产环境中的一大难点.经过对当前电网业务数据的种类与特点的分析,结合实际应用场景需求研究并提出一种复合式的数据接入方案.结合数据同步复制、数据抽取转换装载等技术,在数据同步复制过程中创新性地提出将所有删改操作转换为增操作进行记录的方式,采用多级架构实现海量结构化业务数据接入数据仓库,具有较高的可行性和应用价值.