面向POI的分布式结构化存储系统存储引擎设计与实现

摘要

随着增强现实在生活中的逐步应用以及空间数据的爆炸性增长,对空间数据的存储也提出了更严格的要求,尤其是存储系统的可用性,可扩展性和高效性等。传统的分布式数据存储方案不符合空间数据存储的要求,而大部分的空间数据库又不能有效的存储大量的空间数据,尤其是实现与互联网的对接,实现线上和线下的结合,因此面向空间的分布式结构化存储系统的研究是势在必行的,面向POI的分布式结构化存储系统即是这样一种针对于POI的存储系统。
　　本文首先对增强现实以及云计算目前的研究现状做了大致的介绍,调研了目前国内外比较主流的几种分布式存储系统,描述了各个系统的优缺点。在增强现实的各种技术开始成熟时,面对海量的空间数据,本文设计并实现了面向 POI的分布式结构化存储系统CBASE,同时对CBASE的数据存储引擎进行了重点研究。
　　CBASE采用分布式的架构,底层存储数据库为MySQL,主要使用的MySQL的空间扩展实现对空间数据的支持。
　　CBASE设计了良好的空间索引机制,通过使用POIID解析规则将标识符和范围合并成一个唯一性的 ID,对客户隐藏了内部的查询机制,提高系统的透明性。系统使用二级索引提高系统的效率,第一级索引为R树索引,根据POI的地理位置坐标定位POI所处的空间,第二级索引为索引表,根据POI所处的空间定位该空间所处的存储节点。
　　CBASE的容错机制采用副本冗余策略,通过版本号机制实现数据的一致性。当数据发生修改时,系统都会通过Lazy同步机制修改版本号。系统在修改数据时采用多数派策略,即只有当超过半数的副本操作成功后才返回给用户成功消息,提高了系统的效率同时保证了数据的正确性。
　　CBASE设计了区域四分策略进行区域负载均衡的管理,区域四分策略会在区域超载的时候将区域拆分以保证不会有过量的用户请求对该区域进行访问,同时设计了域迁移和域拆分两个流程来实现区域和存储节点之间的数据转移,防止区域和存储节点产生热点问题,影响系统的效率。
　　本文最后对系统的实现进行了描述,并进行功能和性能测试,生成并分析了测试结果。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1背景介绍

1.2国内外研究现状

1.3主要研究内容

1.4论文组织

1.5本章小结

第二章 相关理论与技术基础

2.1 POI概述

2.2分布式数据库

2.3 OpenGIS几何模型

2.4二维空间数据结构表示

2.5负载均衡

2.6容错机制

2.7本章小结

第三章 分布式存储系统的总体设计

3.1需求分析

3.2系统设计方案

3.3 CBASE系统架构

3.4系统主要流程

3.5本章小结

第四章 存储引擎的分析与设计

4.1资源查询机制的设计

4.2数据存储模块的设计

4.3通信协议设计

4.4本章小结

第五章 存储引擎的实现

5.1通信框架的实现

5.2 GWLib的实现

5.3 Master的实现

5.4 LDB的实现

5.5本章小结

第六章 系统测试与分析

6.1测试环境

6.2系统功能测试

6.3系统性能测试

6.4本章小结

第七章 结 论

致谢

参考文献

攻研期间的研究成果