一种基于HDFS的云环境数据存储优化方法

摘要

本发明涉及一种数据存储的技术领域，揭露了一种基于HDFS的云环境数据存储优化方法，包括：将HDFS集群各个节点的元数据以及存储数据放入预创建的数据卷容器中；分别计算各个物理机以及数据卷容器中HDFS集群节点的可用存储空间评估值；计算各个物理机的可用性值，并根据物理机的可用性值计算基于物理卷容器的HDFS集群节点的性能评估值；利用数据存储副本放置算法对数据块进行存储；对待存储数据的数据属性信息增益比进行计算；利用基于信息增益比与加权的KADC‑KNN算法对HDFS集群中待存储的数据块进行划分；对于经过基于信息增益比与加权的KADC‑KNN算法所划分完成的待存储数据块，以不同的存储策略存储进Federation HDFS集群当中。本发明实现了数据存储的优化。