高性能计算环境中资源信息服务的建设和优化

摘要

步入大数据时代之后,致力于解决大规模科学计算问题和处理海量数据的高性能计算,得到越来越广泛的关注与应用.高性能计算机制造产业蓬勃发展,具有每秒上亿亿次浮点运算速度的高性能计算机群对高性能计算环境的性能提出了更高的要求.现有的高性能计算环境中,资源信息服务采用逐条汇报模式传输信息,无法满足海量资源信息快速更新的需求.为了改善高性能计算环境的性能,本文借鉴ETL思想,将现有的信息逐条汇报模式优化为信息同步模式.信息同步模式在处理2000条作业状态更新时,延迟时间缩短50％、系统负载降低60％、网络连接数减少90％.其中,信息同步模块延迟时间稳定在110ms-120ms,与阿里巴巴的数据库同步系统Otter处于同一数量级.优化后的高性能计算环境为系统维护人员、环境用户带来更好的用户体验.