自动缩放托管的机器学习模型以进行产生式推断

摘要

描述了用于自动缩放托管的机器学习模型以进行产生式推断的技术。可以在托管环境中部署机器学习模型，使得支持所述机器学习模型的基础设施根据需求进行动态缩放，以致不会影响性能。可以使用反应性技术或预测性技术对所述模型进行自动缩放。