基于分层治理的HDFS分布式与集中式混合数据存储系统的方法

摘要

本发明提供了一种基于分层治理的分布式与集中式混合数据存储系统，通过将分布式文件系统HDFS与集中式存储的网络文件系统(NFS)结合，以HDFS存储高活性数据(或称为热数据)，以NFS存储低活性数据(或称为温冷数据)。通过提供用户可定制的文件存储定位策略，可以将基于用户策略定义的低活性文件由HDFS缓释到NFS系统上，并释放HDFS上相应的空间。本项发明可以帮助使用基于HDFS的大数据应用厂商对存储资源进行有效的管理和调度，确保高活性数据以分布式存储方式进行管理，并提供高并发相应，而低活性数据可以NFS方式存储，而无须引发由扩展HDFS容量(横向扩展)而导致增加不必要的计算资源，从而造成资源量费的情况。通过NFS良好的纵向扩展能力，保障了占据数据总体份额多数的温冷数据以相对低廉且安全的方式进行管理，实现了对多层次数据的有效治理。