不依赖访问热度信息的分布式文件放置算法研究

摘要

在大数据的背景下，人们对海量数据的存储和管理越来越依赖于分布式文件系统，而文件的放置算法是影响分布式文件系统整体性能的重要因素之一。近年来，研究者针对文件的访问热度对分布式文件系统的文件放置问题进行了研究，取得了一定的效果。但是文件访问热度信息是不确定的动态值，而且在文件存储时其访问热度是未知的。本文针对这一不足，对分布式文件系统的文件放置问题展开了研究。 首先本文对分布式文件系统进行了研究。通过对HDFS(Hadoop Distributed File System)文件放置算法相关源代码的分析和研究，提取了HDFS分布式文件系统默认文件放置算法模型；通过Hadoop集群进行了数据存储结果的验证和分析，指出了HDFS分布式文件系统默认文件放置算法的不足之处。 然后本文针对文件访问热度信息的不确定性问题，提出了一种不依赖文件访问热度信息的分布式文件放置算法，称为WDFPA(Distributed File Placement Algorithm Without Depending on Popularity Information)算法。通过分析文件的访问寿命，发现文件已创建时间与文件的访问热度值之间存在极强的相关性。因此，本文根据文件访问分布规律，利用指数函数的方法将时间进行划分，并通过文件的创建时间确定文件所属的时间区间，最终将文件按照所属时间区间进行分时间段放置。 最后，本文基于WDFPA算法，提出了一种动态副本管理策略。充分利用文件所属时间区间不同，其访问热度也不同的特点，对不同时间区间的文件设置不同的文件副本数量等级，然后根据分布式文件系统的存储负载情况，动态改变不同时间区间文件相应的副本数量，最终实现动态调整文件系统存储负载的目标。 实验结果表明，本文提出的文件放置算法可以实现分布式文件系统各节点存储负载均衡，同时提升了各节点的访问负载均衡能力。本文提出的动态副本管理策略可以根据文件系统整体存储负载情况，动态改变副本数量，实现文件系统存储负载的调整。

目录

第一个书签之前