神威蓝光计算机轻量级文件系统LWFS的优化和测试

摘要

随着高性能计算机进入千万亿次时代,其存储系统所面临的扩展性难题更加突出,为了提高存储系统扩展性,一些高性能计算机使用了IO转发机制.该机制在全局存储和计算节点之间构建了一个转发层,计算节点的IO请求首先到达转发层,并由转发层在全局存储系统上执行.轻量级文件系统(Light Weight File System,LWFS)是一种适用于通用架构的转发系统,目前已经在神威蓝光计算机系统等多个高性能计算系统中得到了应用.本文针对LWFS的单客户端性能和聚合性能,提出了两种优化LWFS性能的方法,一种是数据缓存技术,另外一种是动态的数据服务节点调度技术,测试表明,前者能提供LWFS但客户端性能10％左右,后者能实现聚合性能的线性增长.