基于FPGA加速的YARN异构集群管理方法研究

摘要

大数据时代下，通用处理器的处理能力无法满足工业界、学术界对数据挖掘、机器学习类算法计算性能要求，加速设备与Hadoop集群融合已成为一种重要的趋势。当前研究主要集中在利用加速设备实现MapReduce编程模型，或者利用Hadoop集群集成加速设备，探讨利用加速设备的并行计算能力及其他优势优化MapReduce计算框架。在Hadoop集群上集成加速设备，需要从实现的角度，研究加速设备的具体集成方式，构造更通用、可靠性更高的加速系统。
　　Hadoop集群中计算任务分为本地任务与非本地任务，任务执行的基本设计思想是“计算跟着数据走”，但考虑到作业执行效率，非本地任务的计算数据会通过网络传输到达任务执行节点，利用任务执行节点的计算资源进行运算。当加速设备在Hadoop集群中每台计算节点不统一部署时，即YARN异构集群，任务执行节点有可能没有加速计算资源，但现有的研究工作中非本地任务有可能无法完成计算，导致加速程序运行失败。在YARN平台集成FPGA加速器基础上针对YARN异构集群提出解决方案，方案首先将集群计算节点分为加速类型计算节点和非加速类型计算节点，针对加速程序，数据块副本定向存储到加速类型计算节点上，并且集群资源调度器只分配加速类型计算节点的资源容器，有效地解决了加速程序的非本地任务成功执行问题。普通类型应用程序则按照原有的执行方式运行。
　　所提解决方案主要对HDFS客户端写数据过程以及资源调度器资源调度算法进行改造，通过实验验证其可行性和向前兼容性，并对扩展后的资源调度器就小规模集群中影响作业执行性能进行实验评估和分析。

目录

声明

1 引言

1.1 研究背景

1.2 国内外研究现状

1.3 本文主要研究内容

1.4 本文组织结构

2 集成FPGA加速器的YARN平台扩展

2.1 YARN平台

2.2 YARN平台扩展

2.3 FPGAMapReduce计算框架扩展

2.4 加速设备驱动设计与实现

2.5 基于FPGAMapReduce框架的K-Means算法设计

2.6 实验结果与分析

2.7 本章小结

3 YARN异构集群管理方法

3.1 原型系统在节点异构场景下的问题

3.2 YARN异构集群的目标系统

3.3 YARN异构集群的总体解决方案

3.4 YARN异构集群的详细解决方案

3.5 本章小结

4 实验分析

4.1 实验设计

4.2 实验设置

4.3 实验结果分析

4.4 实验小结

5 总结与展望

5.1 总结

5.2 工作展望

致谢

参考文献

附录1 攻读硕士学位期间申请的国家发明专利

附录2 攻读硕士学位期间参与的科研项目