并行数字地形分析数据划分方法研究

摘要

空间信息获取技术的更新使DEM数据呈现出海量化特征，导致基于单机环境的数字地形分析算法计算效率低的问题日益突出，而数据并行技术的发展为海量空间数据处理带来新的契机。数据划分作为数据并行的基础，如何构建顾及DEM数据结构及数字地形分析算法并行特征的自适应数据划分、任务调度及结果融合策略是一个亟需解决的问题。本文基于多核集群环境，采用主从式并行架构对基于海量DEM的并行数字地形分析数据划分方法进行了研究，主要研究成果包括: 1.面向数据并行的数字地形分析算法分类 基于DEM的并行数字地形分析数据划分方法受算法类型影响显著。本研究从数字地形分析算法的数据依赖特性及数据并行过程中有无进程数据通信，将并行数字地形分析算法分为局部地形算法和全局地形算法，并构建了同一分类体系中数字地形分析算法的任务依赖关系。 2.设计了面向并行数字地形分析算法的数据划分方法 针对局部地形算法计算过程相对独立的并行特性，设计了基于行的数据划分方法，利用窗口数据冗余策略消除了窗口分析造成的数据通信，基于令牌控制实现了结果数据集的无缝融合;为消除可视分析算法对视线数据的绝对依赖性，提出了基于等栅格量的自适应数据划分策略，利用三元组数据结构实现了进程数据的低冗余、高效率存储，基于边界平移数据缓冲策略，保证边界计算结果的正确性;针对流域分析算法计算栅格与全局栅格存在模糊依赖的问题，基于行数据划分策略阐述了基于双栈的流域分析算法并行设计模式。本文分别以可照时间算法、可视域算法及汇流累积算法的并行化为例，分析了不同数据划分策略的并行效率，取得了较好的加速比，有效提高了并行算法的执行效率。 3.提出了顾及内存约束的数据划分改进方法 本文详细阐述了内存约束的必要性，提出了顾及内存约束的行数据划分和等栅格量数据划分改进策略，分析了内存约束对基于不同数据划分策略的数字地形分析算法并行效率的影响。实验结果表明，针对本文采用的多核集群环境，内存约束量为60～120M左右时，并行数字地形分析算法执行效率最优。 综上所述，本文提出的数据划分方法有效提高了数字地形分析对海量DEM数据实时处理的能力，提升了数字地形分析技术的实用化程度，为大范围地理区域与地理过程虚拟空间建模提供了技术支撑。

目录

声明

论文说明

摘要

图索引

表索引

第1章 绪论

1．1 选题背景与意义

1．1．1 选题背景

1．1．2 研究意义

1．2 国内外研究进展

1．2．1 数字地形分析研究进展

1．2．2 并行数字地形分析算法研究

1．2．3 研究现状小结

1．3 研究内容与论文组织

1．3．1 研究目标

1．3．2 研究内容

1．3．3 论文结构

第2章 研究基础

2．1 理论基础

2．1．1 数据并行基本理论

2．1．2 并行计算性能评价

2．2 实验区域

2．2．1 实验样区

2．2．2 实验数据

2．3 研究方法与技术路线

2．3．1 研究方法

2．3．2 实验环境

2．3．3 技术路线

第3章 并行DTA数据划分与调度策略研究

3．1 数字地形分析算法并行特征分析

3．1．1 数据划分方法分类

3．1．2 并行数字地形分析算法分类

3．2 局部地形算法数据划分方法

3．2．1 DEM数据行拆分策略

3．2．2 结果融合策略

3．2．3 行划分并行效率分析

3．3 全局地形算法数据划分方法

3．3．1 可视分析算法数据划分方法

3．3．2 流域分析算法数据划分方法

3．4 本章小结

第4章 顾及内存约束的数据划分方法

4．1 内存约束的必要性

4．2 并行DTA算法数据划分方法改进

4．2．1 顾及内存约束的行数据划分方法

4．2．2 顾及内存约束的等栅格量数据划分方法

4．3 内存约束对并行效率的影响

4．4 本章小结

第5章 结论与展望

5．1 主要工作及结论

5．2 存在问题与研究展望

附录

参考文献

在读期间发表的学术论文及研究成果

致谢