I/O Forwarding架构下的I/O优化技术研究

摘要

磁盘I/O的发展速度永远比不上CPU性能的提升,I/O常常成为数据处理的瓶颈.本文研究大规模超级并行计算系统基于I/OForwarding架构的I/O优化技术,在I/O中转节点设计并实现了一个基于主存+SSD的异构缓冲区,解决I/O中转节点入口网络带宽与出口网络带宽速率不匹配的矛盾.针对I/O中转节点多核多线程的特点对数据进行异步缓存、重组转发、并行压缩等,提高I/O中转节点到磁盘这段I/O路径的有效网络带宽.本文在天河平台实现I/O架构设计和测试,实验显示:通过I/O优化,可以加速数据在网络和磁盘上的传输.