面向精度可控的大规模结构化数据集约减方法

摘要

科学与工程模拟产生的数据规模可达TB甚至PB量级,数据约减已成为降低I/O时间开销和存储成本的重要手段.为实现高精度的科学可视化和数据分析,面向大规模结构化数据集,提出一个精度可控的数据约减方法.该方法首先以可视分析数据的插值误差为约束条件,根据物理场量的空间分布特征构造多层嵌套的自适应背景网格;然后,将原始数据插值映射到轻量化的背景网格,减少冗余数据的存储;最后,将约减后的数据集并行输出至高效存储的可视化文件.数据约减算法基于并行编程框架JASMIN实现,能够无缝对接基于JASMIN框架研发的数值模拟程序.经测试,并行算法可扩展至上万CPU核.数据约减方法已成功应用于无人机辐照电磁模拟,在不超过10％的相对误差范围内,将千亿结构网格数据集的规模降低了99.8％.基于约减数据绘制的图像与原始数据图像之间的峰值信噪比为47.08 dB,具有较高的相似度,满足可视分析的分辨率要求.