一种应用于面向云端深度学习推理的分布式FPGA多任务调度算法

摘要

一种应用于面向云端深度学习推理的分布式FPGA多任务调度算法，包括：面向多节点FPGA现场可编程门阵列的两阶段静态‑动态编译器，具体包括：基于切分的静态编译器生成沿宽度切分或沿输出通道切分的细粒度指令包；通过考虑多节点FPGA通信代价的延时仿真器，根据细粒度指令包生成延时查找表；将细粒度指令包和延时查找表存储在动态编译器中；通过动态编译器，根据预先生成的细粒度指令包和延时查找表生成指令文件；将指令文件发送到虚拟化核心分配器中进行在线部署，同时，通过监控器记录指令运行时的延时结果，将延时结果返回至多任务调度器的虚拟核分配器并更新性能模型。解决现有技术中同类编译器性能模型编译效率低下和多任务调度算法性能差的技术问题。