海量文件存储技术研究

摘要

随着安防行业互联网+业务的开展,需对海量文件进行存储和读取.现有存储系统已不能满足业务的需求,需要一套适用于互联网+业务应用场景的分布式文件存储系统.本文调研了FastDFS和TFS两套开源的海量文件存储系统,FastDFS和TFS在顺序和批量访问大量的小文件时,会产生同等量的磁盘操作,出现磁盘I/O效率和吞吐量低的问题.本文针对两套系统存在的问题,结合应用场景的需求,基于TFS设计实现了一套适用于文件连续处理和批量存取文件应用场景的分布式文件系统PCIFS(PCI File System).PCIFS有如下优点:较高的硬盘读写(I/O)效率,支持批量存取文件和提供高磁盘I/O吞吐量.PCIFS满足了佳都科技公司的现有业务需求,并具备高可靠性和拓展性,产生了良好的经济效益.