一种面向数据流离线分析的多策略并行查询中间件

摘要

数据流成为日益重要的数据密集型应用.离线分析处理是对数据流产生的海量日志数据进行随意的统计查询,单个查询处理的数据量在上百GB,及时的响应时间和扩展性对传统数据库提出巨大挑战.本文以网络监控为背景,分析了离线分析处理的应用特征,提出了一种无共享的并行查询中间件,利用多策略及DBMS实现局部结果的汇总,通过具体的执行过程,分析了不同类型查询的扩展性.