基于多维压缩数组的并行Data Cube算法

摘要

Data Cube计算是数据仓库和联机分析中一个重要的问题。对多维数据模型来说，多维数组是一个很自然的存储结构。如何在并行环境下，从分片的、压缩的多维数组中计算Data Cube是一个需要研究的课题。本文给出了一个多维数组的存储结构和分片索引文件结构，提出了一个基于PipeLine技术的并行Data Cube算法，该算法将对多维数组的排序操作转变为对索引文件的排序操作，减少了排序的工作量，可以快速完成分片间的合并。提出了多维数组下的Run和等价Run的概念，并据此给出了一个分片内的合并算法，大大减少了坐标转换的计算量。