基于KNN的HDFS副本放置策略研究

摘要

HDFS的默认副本放置策略较为简单,若随机选择的节点负载过重,会影响HDFS的文件写入速度。为改善这一问题,提出了一种基于KNN的副本放置策略模型KRPM(KNN Replica Placement Model)。该策略中,数据节点会将自身的特征通过心跳发送给名称节点,通过训练好的KNN回归模型对节点的写入速度进行预测。若随机选择的节点预测值小于集群的平均值,则重新随机选择,直到选择到符合条件的数据节点。实验表明,新的策略能够提高HDFS的文件写入性能。