大数据存储中副本存放、补全、节点选择方法及管理系统

摘要

本发明涉及大数据存储中副本存放、补全、节点选择方法及管理系统，该节点选择方法为：根据各数据节点服务器的实时状态信息及历史故障信息选取副本存放节点的评价指标，其中将数据发生故障的概率的预测值列入评价指标，确定各个评价指标的权值，根据权值计算得到数据节点进行副本存储。基于上述节点选择方法，按照三副本方案选择合适的节点进行副本存放。在副本故障需要补全时，先按照故障节点所在的机架上的活动节点进行副本补全，当副本故障节点所在的机架不能正常工作时，选择故障率相近的活动节点进行副本补全。本发明在不影响副本安全的情况下有效提高存储时的写入效率和负载均衡程度，从根本上解决集群长时间运行以后需要负载均衡的问题。