基于边缘服务器与移动端设备协同的深度学习模型推理加速方法

摘要

本发明公开了一种基于边缘服务器与移动端设备协同的深度学习模型推理加速方法，提出结合模型分割与模型精简，通过训练与使用回归模型准确地估算深度学习模型的网络层在边缘服务器以及在移动端设备的运行时延，以此搜索出符合时延需求的退出点以及分割点，相较于传统的基于云数据中心的方法和直接在设备部署的方法，本方法不仅能实现在移动端设备上的深度学习模型高效与低时延推理，同时能够针对时延与准确率之间的权衡给出一个满足时延需求的深度学习模型推理方案。