基于权重因子的Hadoop HDFS数据块分布优化算法

摘要

本发明涉及移动通信网络大数据优化和规划技术领域，具体涉及一种基于权重因子的Hadoop HDFS数据块分布优化算法，它采用如下的方法步骤：步骤一：采用如下的选择策略：chooseLocalStorage(本地)到chooseLocalRack(本机架)到chooseRemoteRack(远端机架)最后到chooseRandom(全集群)；步骤二:在步骤一的基础上，在现有技术的chooseRandom算法的基础上，引入一个权重来调整随机数在不同DataNode上的分布策略，将原有chooseRandom算法改造成如下算法；采用一种实时数据块分布算法，对HDFS的副本放置策略做出适当的优化，使数据落地过程中始终达到集群数据块负载均衡，并且尽量减少此过程带来的额外资源消耗。