几个常见分布式文件系统特征分析和性能对比

摘要

近年来随着云计算市场规模不断增长,作为云计算平台基础设施的云存储系统也随之显得越来越重要.数以万计的互联网应用已经运行于云计算环境,同时大量不同的应用也即将从传统运行环境转移到云计算平台.不同的互联网应用的存储需求可能不一样.例如:应用中涉及的单个文件大小,文件数量,I0访问模式,读写比率等,都对底层存储系统提出了不同的要求.这说明在云计算环境中,单个文件系统可能无法满足全部应用的存储需求, 本文尝试通过在单一云计算平台中部署多个不同分布式文件系统来优化存储系统的总体性能.为了优化混合式文件系统的性能,首先需要分析不同文件系统的性能特征.本文通过量化方法分析了云计算环境下几个常用的分布式文件系统,这些文件系统分别是ceph,moosefs,glusterfs和hdfs.实验结果显示:即使针对同一文件的相同读写操作,不同分布式文件系统之间的性能也差异显著,当单个文件的大小小于256MB时,moosefs的平均写性能比其它几个文件系统高22.3％;当单个文件大小大于256KB时,glusterfs的平均读性能比其它几个文件系统高21.0％.这些结果为设计和实现一个基于以上几个分布式文件系统的混合式文件系统提供了基础.