基于Kubernetes集群的机器学习模型平台

摘要

本发明涉及一种基于Kubernetes集群的机器学习模型平台，包括：网关模块，用于系统对外服务入口的统一代理；认证服务及API模块，用于系统统一的认证服务；以及模型服务模块，用于模型服务的具体容器部署。所述机器学习模型平台按如下步骤实施：发布者将机器学习模型包装为docker镜像，并集成相应的GRPC接口以及Protobuf说明文件；通过命令将该镜像发布到平台仓库中；平台根据发布者提供的部署表单将模型实例部署到平台中，并自动进行网关端口转发以及负载均衡；使用者通过URL以及权限认证token通过安全认证进行远程过程调用模型接口。该管理平台有利于简化机器学习模型的部署过程，提高模型上线的效率。