基于MapReduce的分布式空间连接查询研究

摘要

近年来，随着信息化步伐的加快，地理空间信息获取技术进步日新月异。同时，地理空间数据规模与日俱增，已成为海量数据的重要来源之一。空间连接查询是一种常用且非常耗时的复杂空间查询操作，特别是在处理大规模空间数据集时，由于传统单机系统和MPI集群系统都难以满足其对时空开销的需求，因此，如何在云计算环境中设计高效的分布式空间连接查询算法已成为当前学术界和产业界研究的热点问题。
　　本文首次尝试提出了一种云计算环境下的分布式 QR-树索引结构，并在该索引基础上进行基于MapReduce的空间连接查询。本文主要工作如下：
　　（1）提出了一种云计算环境下能够支持大规模数据集的分布式QR-树索引结构，并详细介绍了其构建的过程。分布式 QR-树索引的构建过程可分为以下两个步骤：首先，采用基于四叉树的空间数据划分对空间数据集进行划分并分布式存储在HDFS数据块中；然后，在分割后的每个子区域数据块中并行构建R树索引。
　　（2）在构建分布式QR-树索引基础上，将分布式QR-树索引结构与分布式并行计算框架MapReduce相结合，设计和实现了基于MapReduce的空间连接查询算法QRSJ-MR。另外，针对算法中存在的索引并发访问问题，采用了实时缓存机制对索引并发访问进行优化。
　　（3）搭建Hadoop集群环境，测试基于MapReduce的分布式空间连接算法QRSJ-MR的效率。本文在空间交叠连接查询和空间包含连接查询上，分别与非索引的MapReduce空间连接算法和基于R-树索引的MapReduce空间连接算法做了性能对比实验。
　　实验结果表明：与非索引的MapReduce空间连接算法和基于 R-树索引的MapReduce空间连接查询算法相比，无论在空间交叠连接查询还是在空间包含连接查询上，QRSJ-MR算法都具有更高的执行效率。

目录

封面

中文摘要

英文摘要

目录

第一章 绪论

1.1 研究背景

1.2 研究意义

1.3 国内外研究现状

1.4 研究目标、研究内容及技术路线

第二章 空间索引与空间连接查询技术

2.1 空间索引技术概述

2.2 空间连接查询技术

第三章 分布式存储与并行计算技术

3.1 分布式存储技术

3.2 并行计算技术

第四章 基于MapReduce的分布式空间连接查询算法设计

4.1 构建分布式QR-树索引

4.2 空间连接算法QRSJ-MR

4.3 算法存在的问题与优化

第五章 实验与分析

5.1 实验环境

5.2 实验数据

5.3 实验内容

5.4 实验结果与分析

第六章 总结与展望

6.1 总结

6.2 展望

参考文献

致谢

个人简历

在校期间发表的学术论文