矢量大数据高性能计算模型及关键技术研究

摘要

近年来，随着我国空间数据采集手段日益丰富，精细化管理日趋深入，地理信息技术在国土、林业、交通、海洋、水利等多个领域广泛应用，高精度、大覆盖的超海量矢量空间数据呈爆炸式增长，矢量大数据时代已然来临。“量变”引起“质变”，面对亿级超大规模矢量数据的存储管理和分析计算，现有GIS并行计算理论、方法和商业空间数据处理平台的能力几近极限，地理信息理论和技术面临着严峻挑战。
　　本文围绕矢量大数据空间计算展开研究，从空间认知、表达模型、存储结构、组织索引、分析计算等方面探索矢量大数据高性能计算体系结构，建立数据活化理论下的空间计算理论模型，设计矢量大数据高性能计算的关键技术方法。本文研究工作旨在建立一套矢量大数据高性能计算模型，高效组织、计算和展现亿级大规模矢量数据，为矢量大数据研究和应用提供一套有效、完备的解决方案。具体研究内容如下:
　　(1)探讨矢量大数据计算内涵、方法和平台框架。归纳矢量大数据计算的方法体系，探讨云GIS和矢量大数据计算的相关研究现状、体系架构、内涵和方法，总结矢量大数据高效存储管理和并行空间算法的相关研究，探索矢量大数据计算的GIS集成框架。
　　(2)建立矢量大数据高性能计算模型。在六面体认知模型下，将数据活化的理论融入空间计算领域，提出矢量数据活化细胞、数据活化池、活化行为、活化过程等概念模型，以此抽象和表述矢量数据元组模型、多态存储和索引、高性能计算范式，建立矢量大数据高性能计算模型。
　　(3)研究矢量大数据高性能计算关键技术。针对矢量大数据索引、分析和可视化三个基本问题，在矢量大数据高性能计算模型下，基于无依赖超级步并行计算框架，设计实现SDGR*-tree分布式内存索引构建，空间二路连接、多路连接和混合矢量瓦片金字塔构建高性能算法，并进行大规模真实矢量数据性能分析实验。
　　(4)构建全国土地基础数据集成管理系统。基于开源项目建立集海量土地基础数据云存储、高性能空间计算、数据集成浏览和业务应用于一体的集成管理系统，实现全国范围内亿级土地矢量数据多态存储、高性能空间分析和多尺度浏览。
　　研究及实验结果表明，本文提出的矢量大数据高性能计算模型及关键技术，能有效结合云计算、内存计算等高性能计算技术与空间计算理论方法，实现大规模矢量数据高性能空间索引、空间分析和瓦片地图可视化。最后，通过建立全国土地基础数据集成管理系统，为国土“大数据大分析”提供技术支撑，具有重要的科学和现实意义。

目录

声明

致谢

摘要

图索引

表索引

1 绪论

1．1 研究背景和意义

1．2 国内外研究现状与分析

1．2．1 矢量大数据计算理论基础

1．2．2 云GIS与矢量大数据计算研究现状

1．2．3 矢量大数据高效存储管理相关研究

1．2．4 矢量大数据并行空间算法研究进展

1．3 研究目的与内容

1．3．1 研究目的

1．3．2 研究内容

1．4 论文章节安排及组织思路

2 矢量大数据高性能计算模型

2．1 矢量大数据高性能计算模型总体结构

2．2 六面体基准下矢量数据的统一描述

2．3 扩展Key-Value的矢量地理元组对象模型

2．4 基于数据活化的矢量大数据多态存储模型

2．4．1 数据活化理论

2．4．2 矢量数据多态存储模型

2．4．3 矢量数据多态组织索引

2．4．4 矢量数据多态存储格式设计

2．5 矢量大数据高性能计算范式

2．5．1 无依赖超级步并行计算模型

2．5．2 数据活化计算抽象

2．5．3 高级数据活化过程

2．6 本章小结

3 矢量大数据高性能计算关键技术

3．1 SDGR*-tree分布式空间索引

3．1．1 基于计算量评估模型的空间数据划分

3．1．2 SDGR*-tree构建

3．1．3 SDGR*-tree存储形态

3．1．4 SDGR*-tree检索

3．2 高性能空间连接

3．2．1 空间连接理论基础

3．2．2 并行空间连接相关研究分析

3．2．3 基于分布式内存计算的并行二路空间连接算法设计

3．2．4 基于分布式内存计算的并行多路空间连接算法设计

3．3 高性能矢量瓦片构建与组织

3．3．1 瓦片地图相关理论基础

3．3．2 并行地图瓦片构建及存储相关研究

3．3．3 基于分布式计算的矢量瓦片金字塔构建算法设计

3．3．4 海量地图瓦片分布式存储设计

3．4 本章小结

4 全国土地基础数据集成管理系统的设计与实现

4．1 系统架构设计与技术选型

4．1．1 系统架构设计

4．1．2 技术选型

4．1．3 Hadoop生态系统

4．2 全国土地基础数据集成管理系统

4．2．1 系统技术路线

4．2．2 数据集成管理

4．2．3 元数据管理与模型管理

4．2．4 数据浏览与集成展现

4．2．5 快速检索与并行处理

4．3 系统测试与总结

4．3．1 软硬件环境

4．3．2 测试项目及结果

4．3．3 测试总结

4．4 本章小结

5 总结与展望

5．1 内容总结

5．2 主要创新点

5．3 研究展望

参考文献

作者简介