基于分布式离线技术的电量数据批量高速处理方法及系统

摘要

基于分布式离线技术的电量数据批量高速处理方法及系统，涉及一种数据批处理方法及系统。目前，高速海量数据存储计算模型欠缺，未能满足不同种类、不同形式的海量数据存储、计算。本发明包括以下步骤：1）电量采集前置机将采集电量实时发送到Kafka队列缓存；2）Storm集群读取Kafka队列电量信息，并实时存储到Hbase；3）Spark在Hbase中抽取需要处理的电量信息，并将其导入到Hive数据表；4）通过Spark离线计算操作相关Hive数据表得到当期电量，并对相关异常处理；本技术方案集Storm和Spark的优点，提升整体计算处理容量。从事务保障任务节点动态迁移技术，提出完整的任务节点迁移的事务保障协议，在确保迁移过程中流系统消息不丢包、不重复的同时，提高迁移本身的执行效率，提升系统稳定性。