大规模数值模拟数据的无损压缩

摘要

针对数值模拟数据的特点，对数据进行预处理后，进一步采用小波变换和洗牌（Shuffle）算法，再使用通用无损数据压缩算法Gzip对科学数据进行无损压缩。数据预处理：为了使用第二代小波变换，数据的预处理就是使用内存拷贝的方法把浮点数转换为整数，对数据的符号位、指数部分和尾数部分分别进行了预处理。由于科学数据数值变换平缓的原因，高频部分通常比低频数据小若干数量级，该数据预处理方法在小波变换及逆变换过程中不会出现溢出现象。