一种基于流及消息调度的实时数据计算及存储方法

摘要

本发明涉及一种基于流及消息调度的实时数据计算及存储方法，包括如下步骤：步骤一、数据流缓冲，建立大数据高并发场景下的数据缓冲通道，采用kafka系统为数据消费者提供消峰后的稳定数据源；步骤二、实时数据分析，通过准实时流计算引擎，根据实际需求完成海量实时数据的在线运算分析；步骤三、实时数据存储，源数据根据时间点存入分布式时序数据库，实现大数据的实时性时序存储及历史数据检索。本发明提供的方法，可应用于海量数据的实时数据分析存储系统中，提升其快速数据处理能力、实时运算响应速度、海量数据存储能力以及满足数据订阅需求。