海量小数据对象存储系统及优化技术研究

摘要

随着互联网的发展,接入设备数量和用户群体不断扩大,产生的数据呈爆炸式的增长.一些业务系统具有单文件较小而并发读写要求高等特点,这要求构建具备支撑千万级、亿级甚至十亿、百亿级能力的海量小数据对象存储系统.为了解决当前海量小数据访问性能差和存储效率较低等问题,本文提出一种具有良好扩展性的海量小数据对象存储架构以及针对小文件的存储优化技术.海量小数据对象存储系统主要包括系统前端、数据管理和元数据管理三个模块.同时,海量小数据对象存储采用了多种优化技术,包括小文件合并策略、提高分配效率以及添加binlog机制等.实验结果表明,本文所设计的对象存储系统突破了海量小数据高速访问的性能瓶颈且满足大部分应用的实际需求.