一种流式计算和批处理计算相结合处理系统及方法

摘要

一种流式计算和批处理计算相结合处理系统，包括：基础设施层，用于提供系统运行的硬件环境，包括虚拟化、机房、网络及集群；数据存储管理层，用于存储分布式数据，保存处理后的实时数据与批处理数据，同时对元数据进行管理；数据计算层，用于提供流式计算与批处理计算方式；任务调度层，用于对系统任务进行调度，并对系统作业进行判断，根据判断结果控制数据计算层对元数据进行实时处理或者批处理；数据分析层，用于对处理后的数据进行数据分析；数据视图及查询优化层，用于提供数据实时处理视图、数据批处理视图及查询优化；数据展示层，用于提供数据分析结果的可视化信息。该方案不仅有效提高了数据处理效率，而且优化了数据查询方法。