基于Redis的海量互联网小文件实时存储与索引策略研究

摘要

随着信息技术的迅猛发展,互联网数据迸发、海量互联网小文件的实时存储与处理成为越来越多互联网应用所面临的难题.相对于大文件而言,海量小文件的实时存取会给文件系统带来巨大的压力,传统的文件系统很难快速地存取海量小文件,这严重影响到互联网应用的实时性.内存数据库技术凭借其在数据处理速度上的优势,为海量互联网小文件的实时存储与处理提供了新的方法.基于Redis内存数据库进行面向海量小文件的实时存储与索引策略研究,一方面基于Redis键值数据库的特点,提出了互联网文件到Redis数据库的缩写映射优化算法;另一方面,面对不断涌入的海量互联网数据,提出了基于查询关键字的轻量级索引策略,在大数据量下的实验数据表明此索引策略的索引规模更小,维护代价更低,基于关键字的查询响应时间更短.