面向分布式文件存储系统的数据恢复策略

摘要

分布式存储系统构建于大量的廉价节点之上,使得节点失效成为一种常态.为了保证数据的可靠性,系统必须具备数据容错方案.纠删码冗余方案可以在提供更低的存储开销的同时,获得和副本冗余方案相同的可靠性.但是在实际运用中,基于纠删码的存储系统在恢复数据时,恢复节点需要从多个存活节点读取数据到本地,然后通过解码算法恢复出数据.这不仅对恢复节点造成了较大压力,而且会占据大量的网络带宽,影响系统整体性能.由此,提出了一种基于纠删码的存储系统数据恢复优化方法.通过对纠删码恢复算法的分析,证明了纠删码的恢复操作是可以并行的;设计了一种基于流水线的并行化数据恢复方案;通过分析现实中的网络拓扑结构,设计了一种可以最小化恢复过程中数据传输总长度的算法,提高网络中高层数据链路利用率.实验表明,相比目前存在的星型恢复方式,流水线式并行恢复方法可以显著降低数据恢复延时,提高恢复效率.