基于节点性能感知的数据仓库并行处理方法

摘要

实时OLAP对数据装载、查询分析的性能具有更高的敏感性,采用多计算节点进行OLAP查询的并行化处理己成为研究热点.本文关注于实时OLAP应用中数据装载和多维查询分析的性能瓶颈,针对目前数据仓库并行化处理在架构复杂性、动态自主调优、数据迁移代价等方面存在的局限性,提出一种对用户透明的、具有自主校准能力的轻量级并行处理方法,通过并行ETL过程将大规模、高维度事实表分布于多个数据节点,并基于多数据节点实现多维查询分析的并行处理.本文基于开源OLAP引擎Mondrian实现,并在一个实时数据仓库商业项目中进行了应用.结果表明,能够有效提高基于大规模、高维度事实表的数据ETL和多维查询性能,同时预测及校准模型能够有效保证数据分割的合理性,避免了目前并行化处理方法中的数据迁移代价.