EdgeMI:资源受限条件下深度学习多设备协同推理

摘要

深度神经网络广泛应用在多种工业场景中,并且取得突破性的成就,但是深度神经网络应用落地困难,难以部署在资源受限的设备上,现有的解决方案有边缘-云端协同和DNN模型压缩,借助云计算平台或特殊的硬件平台,对多边缘设备上的DNN计算研究较少。提出EdgeMI,一种在边缘资源受限条件下多设备协同推理框架,能够在异构边缘设备集群上进行动态推理;时间预测模型预估卷积层和全连接层的运行时间和通信时间;卷积层划分方案划分计算任务,使得各边缘设备负载平衡;数据调度策略减少边缘设备间的数据交换,降低通信负载。实验结果表明,EdgeMI在确保推理精度的条件下,边缘节点数量从2到4,深度神经网络模型加速比达到1.84x-3.57x,单设备内存占用平均减少73.67%。