基于GPU-hadoop的海洋环境信息可视化并行计算框架研究与实现

摘要

“海洋环境信息可视化”是海洋公益项目的重要课题之一（海洋环境信息可视化是指将原始的数据转换成可供用户直观分析的图像或图形，以可视的方式展现给用户）。
　　近年来，伴随着科学计算技术和海洋观测技术的进步与发展，海洋环境信息的数据量呈爆炸式增长，对于大规模可视化的任务，单机计算机已经远远达不到要求。随着hadoop的日益发展，越来越多的项目开始使用hadoop作为并行计算平台。所以，将hadoop应用于大规模可视化计算，是解决以上问题的有效方案。高性能并行计算已经推广，作为新领域的并行计算，非常有利于巨大数据量的处理和计算，尤其是GPU的飞速成长，以及英伟达公司推出的CUDA应用越来越广泛，GPU受到了越来越多人的关注。
　　和CPU相似，在GPU内部有很多核芯，这些核芯可以并行执行，由于GPU内显卡核芯数远远高于CPU，所以GPU的性能大大超过了CPU。在其他指标，如能量消耗、带宽等方面也有很大的优势。为了提高海洋环境信息可视化的计算效率和实时性，将GPU与hadoop进行强强联合，共同应用于可视化计算，已经成为了一个很好的解决途径。本文根据海洋公益项目对海洋环境信息可视化精度和计算效率的要求，研究了将GPU高效融入hadoop的可行方案，并设计出了GPU-Hadoop体系，并将可视化计算成功部署到该框架中。为了追求更高的加速比，本文对设计出的GPU-hadoop体系中的任务分配调度进行了相应的优化。
　　本文完成的工作主要有：1、在分析hadoop特性和GPU优势的基础上，研究了将GPU合理结合hadoop的可行方案，并根据我们实验环境和可行性，提出了一套完整的将GPU结合hadoop的解决方法，该方法不仅对海洋环境信息可视化有效，对其他项目也有很强的适用性。2、在搭建的GPU-hadoop体系下，使用了数据动态处理器来对CPU传给GPU的数据进行拆分和组装，以此来提升GPU的计算效率；同时使用stream，达到了GPU和CPU的并行，很好的提高了框架的计算性能。3、将海洋环境信息可视化计算部署在搭建好的框架中，并达到了良好的效果，同时开发了海洋环境信息可视化平台来进行可视化的远程作业提交和展示功能。4、使用守护进程和基于GPU处理能力的优化方法，有效地提高了GPU-hadoop体系下的计算任务分配调度效率，从而使整体的计算能力得到很大的提升，基于GPU的流场可视化相比于CPU模式下的流场可视化的加速比可达到15倍。

目录

中文摘要

英文摘要

目录

1 绪论

1.1 课题研究的背景和意义

1.2 Hadoop 与 GPU 相结合研究现状

1.3 GPU 及高性能并行计算技术发展现状

1.4 本文主要工作及其贡献

1.5 本文组织结构

2 Hadoop 和 GPU 关键技术介绍

2.1 Hadoop 概述

2.2 Hadoop 核心技术 MapReduce

2.3 Hadoop 核心技术之 HDFS

2.4 GPU 和 CUDA

2.5 本章小结

3 GPU-hadoop 并行计算框架体系

3.1 海洋环境信息实验云平台简介

3.2 将 GPU 嵌入 hadoop 的原因

3.3 GPU 与云平台相结合的有效途径

3.4 hadoop 融入 GPU 并行架构

3.5 框架体系中实现海洋环境信息可视化

3.6 本章小结

4 GPU-hadoop 并行计算框架下任务调度研究与优化

4.1 Hadoop 原生的作业调度

4.2 Hadoop 中作业调度的具体流程

4.3 GPU-hadoop 平台下可视化任务分配和调度优化

4.4 本章小结

5 实验结果对比与分析

5.1 GPU-hadoop 并行框架体系的性能分析

5.2 守护进程和基于 GPU 计算能力的优化性能测试分析

6 总结与展望

致谢

个人简历

发表的学术论文