边缘侧模型推断方法、边缘计算设备和计算机可读介质

摘要

涉及边缘计算技术领域，尤其涉及一种边缘侧模型推断方法、边缘计算设备和计算机可读介质，以在一个物联网IOT系统的边缘侧进行模型推断，满足IOT系统对实时性的要求。本发明实施例提供的一种模型推断方法包括：边缘计算设备上运行的一个应用程序订阅模型推断的推断过程子任务；所述应用程序获得执行所述推断过程子任务所使用的数据；所述应用程序调用所述边缘计算设备上运行的模型推断服务的第一API，以基于所述数据执行所述推断过程子任务；所述应用程序从所述第一API的响应中获取所述推断过程子任务的模型推断结果；所述应用程序发布所述模型推断结果。