大规模科学计算采样数据的并行聚集I/O方法

摘要

一些大规模科学计算应用并行输出采样数据.与可视化数据与重启动数据不同,科学计算应用输出的采样数据具有输出频次较高、数据存储规模较小等特点.由于并行程序执行过程和I/O特征的限制,一般的科学计算应用难以高效率并行读写采样数据.在JASMIN框架中设计、实现了采样数据的并行聚集I/O方法.该方法使用采样点数据缓存减少并行I/O数量.采样点数据缓存不仅并行的存储数据,还在科学计算应用的运行过程中不断更新缓存状态,保障数据在文件中的存储一致性.测试表明,新方法不仅在具有负载平衡与重启动等复杂功能的并行应用中正确输出数据,还提高采样数据的并行IO效率7.5到49倍，提高输出性能。