基于FPGA的流计算加速框架设计

摘要

随着大数据时代对数据实时性处理的需求不断提高,各大公司纷纷部署基于CPU计算平台的流式计算框架以满足推荐系统、计算广告等实时性应用的需求;但是当前基于CPU计算平台的流式计算系统在实时性和并发度上很难满足企业的需求.与传统CPU相比,FPGA具有高数据吞吐率、低延迟、低功耗、高灵活度等优势,基于FPGA这些特点本文提出了一种基于FPGA的流式计算加速框架,通过软硬件协同设计的方法来提高流式计算系统的并发度,并降低处理延迟.在硬件结构上,该计算框架将流式处理系统的核心操作通过硬件逻辑的方式映射到FPGA中,并通过FPGA中的轻量级通信协议接口实现多FPGA之间的直接通信,从而降低流式计算部件之间的通信延迟;在软件结构中,通过统一的编程接口和流量分配方式,实现流式计算框架的负载均衡等操作.经原型系统和模拟实验验证,该计算系统可以大幅度降低流式计算部件之间的数据交互延迟,在选取的测试模型中可以取得7.89倍的加速效果,处理延迟只有处理器系统的1/11.