HDFS数据副本优化放置策略研究

摘要

HDFS(Hadoop Distributed File System)默认随机选择副本存储位置,未充分考虑数据节点的差异性。文章提出了一种改进的数据存放策略,使用多目标优化方法选取机架,通过计算集群和节点的使用率,择优选择存放节点。实验结果表明,改进后的策略优化了集群中节点的负载均衡,提高了数据读取性能。