基于实时负载的HDFS负载均衡改进与实现

摘要

针对HDFS系统自带的负载均衡策略所使用的静态固定阈值的主观性太强以及未考虑集群繁忙时启动均衡机制对主业务运行效率的影响,重新定义了系统负载,提出了基于实时负载的动态阈值的计算方法.该方法根据各DataNode所占磁盘空间使用率情况以及DataNode的工作繁忙状态,使集群动态地计算出能反映当前集群繁忙状态的阈值,减少均衡机制对整个集群主业务的影响,从而实现集群在系统使用和磁盘占用空间之间更好的平衡.