用于处理实时数据流的系统框架及实时数据流处理方法

摘要

本发明实施例公开了一种用于处理实时数据流的系统框架及方法，系统框架包括：分布式发布订阅消息系统，用于接收实时数据流，并将其推入文件夹；数据传输系统，用于监听文件夹，并在文件夹中有实时数据流进入时，将实时数据流推送到HDFS；HDFS，用于对实时数据流进行清洗，以得到目标数据，并将其推送至存储系统进行存储以供后端查询。实施本发明实施例，搭建了一种新的实时数据流系统框架，其包括分布式发布订阅消息系统、数据传输系统、HDFS及存储系统，通过该系统框架可对实时数据流进行处理及存储，其框架简单，所需要的服务器本身配置不高，降低了成本，且数据处理逻辑简单可行。