异构集群下的MapReduce编程环境

摘要

该报告针对Godson-D的芯片特征和亿级并发负载的特征,研究了层次化MapReduce编程模型,对上层应用呈现简洁的编程接口,并利用OpenCL来开发Godson-D芯片的计算能力.对其中的3个关键问题进行了阐述:形成了完整的层次化MapReduce编程模型的框架,并实现了原型系统,旨在解决现有MapReduce模型在多核/众核芯片组成的集群中存在的性能墙、在适用场景方面存在的无法适应增量式分析这两个主要的问题;为了解决Godson-D上的编程困难问题,该研究提出使用OpenCL编写程序,并配套开发CPU+Godson-D异构系统中OpenCL编译/运行时系统的解决方案.在该研究中,首先完成了OpenCL编译/运行时支持系统的框架设计,该框架采用层次化设计思想,分为功能层、优化层、平台层;多核/众核处理器及云计算被认为将会统治计算领域的未来,多核/众核处理器在目前的云计算数据中心中被广泛采用,但是目前其资源利用率非常低,主要原因在于核间性能干扰的存在,使得数据中心的调度程序不得不禁止关键应用的co-location来保证QoS,为此,提出了一种基于统计学习的多核间性能干扰分析方法,可以量化地分析任意程序遭受的核间性能干扰,并根据干扰模型提高资源的利用率.