面向非结构化数据查询优化的存储系统

摘要

为了解决非结构化数据的存储与访问问题，向上层应用提供数据存储基础性架构，加快应用开发进度，设计并实现了面向非结构化数据查询优化的存储系统，提供统一、简单、透明、安全的数据访问接口和查询方式，有效组织、管理非结构化数据，保证低延迟、高吞吐量的数据服务及系统的高可用性。
　　 面向非结构化数据查询优化的存储系统的主要思想是借鉴Bigtable的数据模型和架构思路并做出改进，采用键值对的形式提取非结构化数据的元数据信息、建立索引，并将索引信息及非结构化数据持久化存储到文档数据库，同时，系统接口采用REST架构，提供系统平台、语言无关的数据访问方式，解决了Bigtable 将复杂的数据处理和控制交由用户实现的问题，工作主要集中在以下几个方面：（1）根据NWR模型在数据一致性与可用性之间做出权衡，大量使用层次化的缓存结构，并根据数据的相关性建立了预缓存机制；（2）采用基于消息队列的数据同步机制同步缓存与持久化存储，使数据达到最终一致，同时还进行节点之间数据同步、备份，以保证有限数量节点失效时系统始终可用；（3）采用基于URL 数字签名的方式保证数据访问的安全性，最后，提供复杂查询功能以满足不同层次的用户需求，通过将键值对形式的查询语法翻译为类似于SQL的查询语句进行实现。
　　 在充分挖掘系统需求和特点的前提下实现了上述系统，实验表明，在高负载情况下该系统也能稳定提供数据存储服务。相比于以文件形式存于文件系统和以BLOB类型存于关系数据库这两种方式，面向非结构化数据查询优化的存储系统在吞吐量和并发处理能力上提高了大约30％，响应时间保持在200ms 左右。

目录

文摘

英文文摘

声明

1 绪论

2 非结构化数据存储系统的设计

3 非结构化数据存储系统的主要实现技术

4 系统功能和性能评测

5 总结与展望

致 谢

参考文献

附录