一种实时数据仓库中海量数据高效分区算法

摘要

数据库分区技术采用"分而治之"的策略来降低管理海量数据复杂性,提升系统性能,其中以区间分区最为常用。实时数据仓库通常要求迅速地对数据仓库数据进行分区以满足实时性要求.常规的区间分区算法的时间复杂度随着分区个数增加而线性增长,不适合海量数据实时分区的要求.为提高海量数据的分区速度,研究了现有数据库分区算法,提出了一种有效的针对海量数据的非等数据量的区间分区算法NEP,该算法通过允许各分区的数据量在小范围内浮动等改进策略提高分区效率。实验结果表明,该算法与目前常用分区算法相比,能大幅度地减少运算时间,与传统算法比较,在大规模实时分区的情况下有明显优势。