NoSQL数据库技术及其应用研究

摘要

NoSQL是非关系型数据库技术的总称,它是为满足日益增长的互联网及物联网等应用需求而产生的数据管理技术。本文从概念与特性、数据模型、可靠性和分布式扩展等方面对NoSQL数据库技术进行了综述;剖析了NoSQL数据库代表MongoDB的内部服务机制,在此基础上着重研究了分片部署策略、分片键选择机制以及磁盘碎片化问题解决方案,提出了反范式模式设计理论和基于语义关联、细粒度模式的查询改进算法,并以MongoDB在Web信息采集系统中的应用为背景,分析了非关系型数据库的存储策略和查询设计策略。
　　论文的主要研究内容和成果有:(1)MongoDB存储机制分析与反范式模式设计方法研究。在分析MongoDB面向文档数据存储模型的基础上,根据非关系型数据处理特点提出了反范式模式设计方法。该方法基于数据依赖理论,针对不同依赖关系分别采用分解或联合数据项的策略,实现了非关系型数据库的逻辑模式设计。(2)MongoDB分布式扩展机制与应用优化研究。剖析了MongoDB自动分片机制的分区算法和负载均衡实现;提出了实际应用中分片集群的部署策略;针对分区算法中的分片键,提出了基于分区粒度、写扩展和查询隔离的选择机制;针对磁盘碎片化现象分析产生原因并提出了解决方案。(3)MongoDB查询技术及改进研究。剖析了MongoDB基于简单模式分类、多计划并行的查询处理策略及其存在问题,提出了加入语义关联、细粒度模式分类的改进查询算法,提高了查询处理效率。(4)Web信息采集系统的应用。分析Web信息采集系统的数据库需求,给出MongoDB与SQL Server的系统解决方案;测试MongoDB的反范式模式设计与SQL Server范式模型设计的查询效率,MongoDB因嵌套避免了关联效率提高显著;针对系统常用查询测试MongoDB的不同索引使用方案,证明了复合索引在该应用场景下的高效率。

目录

摘要

Abstract

第一章 绪论

1.1 课题背景

1.2 国内外研究现状

1.3 目的和意义

1.4 论文研究内容

1.5 论文组织结构

第二章 NoSQL技术综述

2.1 NoSQL概念与特性

2.2 数据模型

2.2.1 基于Key值的数据模型

2.2.2 图结构数据模型

2.3 数据可靠性

2.3.1 单机可靠性

2.3.2 多机可靠性

2.4 分布式扩展

2.4.1 哈希分区

2.4.2 范围分区

2.4.3 分区策略选择

2.5 MongoDB简介

2.5.1 MongoDB的存储

2.5.2 MongoDB的分布式扩展

2.5.3 MongoDB的复制冗余

2.5.4 MongoDB的查询

2.5.5 MongoDB的应用

2.6 本章小结

第三章 存储机制与反范式模式设计

3.1 数据模型

3.1.1 逻辑模型

3.1.2 物理模型

3.2 GridFS文件系统

3.3 存储架构

3.4 反范式模式设计

3.4.1 理论研究

3.4.2 实例分析

3.5 BSON存储优化

3.6 本章小结

第四章 分布式存储机制与应用

4.1 自动分片机制

4.1.1 分区算法

4.1.2 负载均衡

4.2 复制集技术

4.2.1 数据同步

4.2.2 主节点选举

4.2.3 应用设置

4.3 分片部署策略

4.4 分片键选择机制

4.5 磁盘碎片化解决方案

4.6 本章小结

第五章 查询机制与算法改进

5.1 查询实现

5.2 查询接口

5.3 索引

5.4 查询优化改进

5.4.1 优化算法

5.4.2 存在问题

5.4.3 算法改进

5.5 索引的使用

5.6 本章小结

第六章 MongoDB在Web信息采集系统中的应用

6.1 系统介绍及需求

6.1.1 存储需求

6.1.2 查询需求

6.1.3 扩展性及复制需求

6.2 SQL Server解决方案

6.3 MongoDB解决方案

6.3.1 存储方案

6.3.2 查询方案

6.3.3 扩展性及复制方案

6.4 数据库性能测试

6.4.1 数据模型性能对比

6.4.2 查询优化测试

6.5 本章小结

第七章 总结及展望

7.1 总结

7.2 展望

参考文献

致谢

作者简介