一种基于列存储的区级数据压缩方法

摘要

本发明涉及一种基于列存储的数据压缩方法，其特征在于包括以下步骤：步骤1、将按列存储的数据进一步划分为多个区；步骤2、为区中的数据定义一组统计信息；步骤3、利用步骤2中的统计信息，为每一个区按顺序定义一组统计量，进行该区数据分布特点的量化估计；步骤4、利用学习得到的区的统计量计算相邻两区之间的相似因子；步骤5、对于一列中的第一个区，依次计算各个统计量的值，采用逐步选择的方法，根据统计值进行压缩方法选择；步骤6、对于剩余第i个区，利用该区的统计值计算相邻两区之间的相似因子；若相似性较高，则直接沿用上一区的压缩策略，否则按照步骤5中压缩方法选择方式，重新选择压缩方法；步骤7、对当前区按获得的压缩方法进行压缩。本发明提供了一种基于列存储的压缩方法，按区进行压缩，并设计了高效的压缩策略选择方法，能够有效的支持面向列存储的海量数据管理。