面向海量数据存储的Erasure-Code分布式文件系统I/O优化方法

摘要

随着海量数据的快速膨胀,机群文件系统的存储方式正在逐步从复本向Erasure Code过渡.Erasure Code存储能够以更低的存储空开销提供更高的可靠性.然而,由于Erasure Code存储需要通过编码生成编码数据,在存储原始数据和编码数据过程中更容易产生磁盘争用和不均衡负载,从而影响整个存储系统的I/O性能；同时,Erasure Code存储在写回编码数据时,数据一致性和数据缓存之间存在冲突,传统处理数据的无缓存方式和全缓存方式在机群文件系统中都存在很大的局限性.针对这两个问题,本文提出了一种包括均衡负载的数据放置策略和编码缓存的一致性维护策略的Erasure Code机群文件系统I/O优化方法.通过在我们开发的Erasure Code分布式文件系统ECFS的实验测试表明,使用这种优化方法后机群文件系统的聚合带宽能够提高95.53％.