通过并行算法改进FY-3 250M 植被日收工处理时效

摘要

随着卫星遥感技术的发展，对卫星气象业务系统的时效性、稳定性提出越来越高的要求。研究开发基于卫星气象业务需求的并行优化算法，并在实际应用中发挥效能，是提升卫星气象业务系统高性能高可用能力的必要途径。并行处理的性能与计算机体系结构密切相关，不但取决于CPU，还与系统架构、指令结构、存储部件的存取速度等因素有关。从业务调度和产品算法角度，通过采用分层控制的并行处理模式，即流程级的粗粒度并行，产品作业级的细粒度并行，结合资源预测、断点容错处理等并行匹配调度算法达到优化业务系统软件结构，提高业务质量的目的。作为尝试，本文讨论了在FY-3业务机群上采用的基于空间区域划分的分粒度并行优化算法；以具有一定的气象卫星业务处理典型特征的FY-3MERSI 250M植被日产品的处理为例子，讨论了针对海量数据产品处理如何在产品作业级采用细粒度并行匹配优化算法，提高产品处理的计算速度。测试表明，通过以上优化手段可使MERSI 250M植被指数日产品时效提高5个小时左右，且可有效减轻I/O负载瓶颈，均衡系统负载，提高系统的吞吐率。这种优化方法对气象卫星其他具有类似数据处理特点的产品具有一定的借鉴意义。