一种GPU上MapReduce的负载分配和线程结构优化方法

摘要

为实现数据密集型应用程序并降低并行编程的复杂性，MapReduce提供了一组简单的编程接口。由于采用大规模并行架构，GPU在并行计算平台中逐渐占据主导地位。然而，设计GPU上的高性能MapReduce框架却是一项具有挑战性的任务。本发明描述了一种GPU上的高性能MapReduce框架，并着眼于该框架的工作负载与线程结构两个参数，这两个参数属于该框架的一级参数。本框架采用的是一种分层搜索方法，结合了负载分配与线程结构优化并对两者进行了协调。由于基于高效而精确的采样和多项式拟合方法，本框架能够快速搜索其设计空间，速度比穷举法快860倍，且准确率可达99.7％。在实际应用程序中，本框架的性能可达到当前GPU上最先进MapReduce框架的7.7倍(平均4.04倍)。