静态场景下HDFS副本放置的改进策略

摘要

云存储系统中的副本放置策略关系到云存储的可用性和可靠性、数据负载均衡程度以及数据访问速度。在静态场景,也即数据分批次处理场景下,HDFS默认策略只对每个数据块的3个副本分别进行放置,而未综合考虑整批数据放置方案对集群负载、访问失效率、整体读写性能的影响。针对这一问题,改进基于二进制多目标灰狼优化算法的副本放置策略,以平均副本失效率、磁盘相对负载标准差及读取评价因子为目标函数,得出3个目标函数值都较低的副本放置策略。实验结果表明,采用改进策略后,集群的整体负载均衡度更高,并且在随机读取指定数量数据块的实验中,耗时也远小于默认策略。另外,改进策略未采用默认副本因子3,数据块最低有2个副本,因而减少了集群负担。