一种HDFS中数据块的副本管理策略

摘要

一种HDFS中数据块的副本管理策略，包括副本的启动时机的选择方法，副本个数的选择方法，副本位置的选择方法，以及新增副本的放置方法，副本的启动时机的选择方法是先确定启动周期，把一天当做一个访问周期来进行副本策略的启动，然后确定启动时刻；副本个数的选择方法是采用泊松分布来计算副本的个数，然后基于排队论的副本个数计算方法计算；副本位置的选择方法采用的副本放置策略在机架和节点的选择上，需要考虑节点的利用情况；新增副本的放置方法，新增副本位置选择在用户访问最多的节点所在机架中，在该机架中选择负载最轻的节点进行副本的创建，本发明提出了HDFS先副本策略，可以减少用户在访问HDFS数据时候的等待时间，提高系统吞吐量。