基于SSD的分布式存储系统纠删码方案设计和优化

摘要

随着云计算、大数据、移动互联网的快速发展，数据量正在急速增加，存储系统面临的挑战也愈发艰巨。基于机械硬盘的传统分布式存储系统，难以满足信息存储的需求。高性能固态盘的引入，有效缓解了这一现状。随着其单位存储价格的持续下降，全固态盘组成的存储系统成为可能。但是，经典的副本保护策略，会增加系统存储开销，减少固态盘使用寿命，从而影响系统整体的可靠性。 针对分布式环境下副本策略冗余数据过多的问题，引入纠删码保护策略。基于文件大小设计了副本和纠删码混合容错方案，小文件采用副本模式存储，大文件则直接用纠删码模式存储，解决小文件随机写带来的磨损问题。部分加速磨损策略，实时统计集群中所有固态盘的使用情况，合理确定校验数据的位置。在前期维持所有固态盘的磨损均衡，剩余寿命为20%时，将校验分布在固定的一组节点中加速其磨损，从而降低多个节点同时出错的可能性，提高系统可靠性。基于条带的并行编码策略，利用多个节点的计算及远程数据处理能力，大大提高编码的速度。数据转码过程，定期扫描副本区的数据，将访问少的数据转换为纠删码模式存储。为此优化了小文件副本放置策略，以便将多个小文件的主副本组合成新的条带，并计算其校验，进一步减少对固态盘写入。 使用iozone测试系统的大文件读写性能，filebench模拟各种负载对存储系统的访问，测试系统写入数据量的变化及对应的带宽。测试结果表明，在多种负载下，系统均能在前期维持节点的写均衡，在后期加速部分节点的磨损，符合部分加速磨损策略的预期。混合存储及部分加速磨损策略增加了计算开销，但并行编码策略的引入，仍为写性能带来11.1%~21.5%的提升。与副本模式相比，纠删码写性能提升了3.5%~29.5%，验证了在线编码的可行性。小文件副本放置策略也可以有效减少数据转码带来的写放大，使其增幅仅有5.6%~14.8%。

目录

M201572661-彭育鹏加独创性声明

独创性声明

M201572661-彭育鹏加独创性声明

M201572661-彭育鹏加独创性声明

M201572661-彭育鹏加独创性声明