基于大数据Spark的配网运维数据处理研究

摘要

传统数据处理方法采用抑制量测误差方法改变权值,但增加了迭代次数,导致迭代总应用时间过长。为解决这一问题,提出基于大数据技术Spark的配网运维数据处理方法。先采用大数据技术Spark评估配网运维数据,再设计数据处理环节,运维数据经过HDFS、数据添加、数据清洗、数据合并、数据类型管理处理后,即可投入使用。在应用实例分析中,随机抽取10个配网运维数据,完成本次实验。实验结果表明,设计的基于大数据技术Spark的配网运维数据处理方法迭代总应用时间相比传统数据处理方法少26%。由此证明,该方法符合设计需求。