海量小文件的分布式存储方法和系统

摘要

本发明提供海量小文件的分布式存储方法和系统，包括将物理磁盘通过逻辑分区形成多个虚拟磁盘；根据海量小文件的文件命名规则进行分类，创建目录索引树；根据文件命名规则解析所存储的海量小文件的文件名，获取其在目录索引树中的存储位置，存储海量小文件，对应的存储目录记为原始目录，并对海量小文件进行冗余存储，对应的存储目录记为冗余目录；当出现所述原始目录、所述冗余目录两者中的文件数据不一致时，触发数据同步与恢复操作。本发明针对海量小文件的分布式存储，在存储大量小文件时通过建立索引及文件名定位，实现在海量数据中迅速定位信息，在可靠性上利用数据冗余来保证，机制简单，容错性强，在保证正确性的同时减少元数据存储空间。