基于融合架构的MapReduce模型与Hadoop加速策略研究

摘要

异构结构的并行编程开发，特别以CPU-GPU为代表的异构结构，在GPU的开发利用上需要使用厂商提供的OpenCL/CUDA等GPU编程标准，而对普通开发者GPU内部底层架构的复杂性为其开发带来了诸多困难。MapReduce编程模型成功的应用在基于多核CPU或GPU设备中，为开发者提供了抽象可编程接口。
　　本文在已有基于CPUs或GPU的MapReduce编程模型的基础上，针对新的异构计算架构——CPU-GPU融合架构，提出了一种新的MapReduce编程模型(FGMR)，并提供统一的编程接口。主要工作包括以下两个方面。
　　第一，本文分析了多种基于MapReduce的异构编程模型，以前的MapReduce模型都是基于分离式的CPU-GPU架构，在GPU内采用全局原子操作带来严重的写延迟。基于新的异构架构提出了FGMR的编程模型，为了解决使用全局原子锁的影响，设计了一种多hash表的结构，解决了多线程之间的并行写入问题，并巧妙的利用了GPU中的shared memory加速数据的写入。本文分析了静态任务调度和动态任务调度策略，根据实际情况采用了动态的任务调度策略，提高了系统的计算性能，定量分析了任务块大小对异构结构的性能影响。用四种不同的负载分别在Mars、MapCG和FGMR进行测试，实验结果表明数据处理性能有明显的提高。
　　第二，针对原有的Hadoop分布式系统，分析了多种异构架构加速基于CPU的Hadoop分布式系统的方法，将Fusion的单节点模式扩展为多节点的分布式系统，利用多层的并行加速数据的处理。文章给出了多节点情况下的Fusion结构Hadoop框架，并通过Kmeans的实例在不同数据情况下验证了该加速模型的性能，与CPU版本的Hadoop比较，实验结果显示性能有了一定的提升，同时验证了FGMR模型具有良好的可扩展性。

目录

声明

摘要

插图索引

附表索引

第1章 绪论

1．1 研究背景

1．2 研究意义

1．3 国内外研究现状

1．4 课题研究内容

1．5 本文组织结构

第2章 理论研究基础和相关技术

2．1 MapReduce编程模型

2．2 Hadoop分布式结构

2．2．1 HDFS文件系统

2．2．2 Hadoop中的MapReduce

2．3 Fusion CPU-GPU架构

2．4 OpenCL编程标准

2．4．1 OpenCL的模型

2．4．2 编程步骤

2．5 小结

第3章 节点内Fusion CPU-GPU的MapReduce编程模型

3．1 设计动机

3．1．1 设计目标

3．1．2 设计的挑战和难点

3．2 设计

3．2．1 设计方案分析

3．2．2 总体设计

3．2．3 目标系统的设计模型

3．2．4 抽象的接口模型设计

3．2．5 关键问题分析

3．2．6 利用hash表的无锁设计

3．3 调度策略

3．3．1 静态调度策略

3．3．2 自适应调度策略分析

3．4 实验与数据分析

3．4．1 实验平台

3．4．2 实验负载

3．4．3 结果和分析

3．5 本章小结

第4章 Fusion架构加速的Hadoop分布式集群

4．1 Hadoop和OpenCL的结合

4．1．1 Java Aparapi

4．1．2 JNI

4．1．3 Hadoop Streaming和Hadoop pipes

4．2 基于Fusion架构的Hadoop

4．2．1 系统框架设计

4．2．2 Kmeans算法

4．2．3 FHadoop中的Kmeans

4．3 实验结果

4．3．1 实验平台介绍

4．3．2 性能分析

4．4 小结

结论

参考文献

致谢

附录A 攻读学位期间所发表的学术论文

附录B 攻读学位期间参加的科研项目