北京全球信息系统中心的数据缓存功能优化

摘要

世界气象组织信息系统(WMO Information System,WIS)是一个支撑全球气象数据交换共享的通用信息服务平台,北京全球信息系统中心作为WIS的核心功能中心之一,必须缓存最近24 h内的WMO全球交换数据以提供高效的数据访问服务.为了检查收集到的全球交换数据的合法性,需要校验每条数据是否存在与之匹配的元数据,这些元数据信息以关系型数据库方式存储在北京全球信息系统中心中.由于每日接收到的WMO全球交换数据文件个数多且收集时间分布不均,大量频繁的数据库查询操作导致处理性能下降,特别在数据密集收集的情况下容易产生较大延迟,直接影响业务的实时性.设计并实现一种基于内存对象缓存的应用优化现有通过数据库查询的校验方式,实现在内存中一次性载入元数据信息,并在内存中完成缓存数据校验的操作,以此来减少磁盘的读写访问,提升处理效率.此外,还通过多线程方法实现与缓存数据相关的功能,使该方案具有良好的扩展性.实际应用表明:数据缓存功能优化后能满足实时业务性能要求.