基于云原生服务网格的AI模型部署方案

摘要

人工智能模型训练完成后并不适合直接运行在互联网生产环境,需要对其进行一定的封装和部署.探讨基于容器和云原生服务网格对AI模型进行自动封装和部署,以微服务形式对外提供Restful API,能够提高模型的兼容性和部署灵活性.封装过程采用适用多框架的通用AI模型代码打包方法,解决AI模型运行环境配置问题;通过部署在云原生平台由服务网格进行管理,实现AI模型从实验室开发到互联网生产环境高效应用的自动化实时流转.