S3ML:一种安全的机器学习推理服务系统

摘要

隐私保护问题在当今机器学习领域日益受到关注,构建具备数据安全保障的机器学习服务系统变得越来越重要.与此同时,以英特尔SGX为代表的可信执行环境技术得到了日益广泛的使用来开发可信应用和系统.SGX为开发者提供了基于硬件的名为飞地的安全容器来保障应用程序的机密性和完整性.本文基于SGX提出了一种面向机器学习推理的安全服务系统S3ML. S3ML将机器学习模型运行在SGX飞地中以保护用户隐私.为了构建一个实用的基于SGX的安全服务系统, S3ML解决了来自两方面的挑战.首先,机器学习推理服务为了保证高可用性和可扩展性,通常包含多个后端模型服务器实例.当这些实例在SGX飞地内运行时,需要新的系统架构和协议来同步证书及密钥,以构建安全的分布式飞地集群. S3ML设计了基于SGX认证机制的飞地配置服务,来专门负责在客户端和模型服务器实例之间生成、持久化和分发证书及密钥.这样S3ML可以复用现有的基础设施来对服务进行透明的负载均衡和故障转移,以确保服务的高可用性和可扩展性.其次, SGX飞地运行在一个名为飞地页面缓存(EPC)的特殊内存区域,该区域的大小有限,由主机上的所有SGX飞地竞争,运行在飞地中应用的性能因此易受到干扰.为了满足机器学习推理服务的服务级别目标,一方面S3ML使用轻量级的机器学习框架和模型来构建模型服务器以减少EPC消耗.另一方面,通过实验发现了使用EPC页交换吞吐量作为保障服务级别目标的间接监控指标是可行的.基于该发现, S3ML提出基于EPC页交换强度来控制服务的负载均衡和水平扩展活动.基于Kubernetes、TensorFlow Lite和Occlum实现了S3ML,并在一系列模型上进行实验,对S3ML的系统开销、可行性和有效性进行了评估.