基于Spark Streaming的电力流式大数据分析架构及应用

摘要

近年来,为了应对许多业务需求的实时性要求,大数据流计算得到了研究.文章通过使用Apache Hadoop、Spark Streaming、Kafka和NoSQL Cassandra等开源资源,提出了一种用于电力流式大数据分析的通用架构.通过高吞吐量发布-订阅消息传递、实时计算和分布式存储系统的结合有效地解决并发访问数据流的收集、存储、实时分析等问题,从而实现电力行业流数据的实时分析.最后构建用电数据实时异常检测系统验证了其性能.