基于GPU指标的算法容器弹性伸缩方法、装置及其应用

摘要

本申请提出了一种基于GPU指标的算法容器弹性伸缩方法，包括：获取算法应用占用算法容器的占用算法容器数、算法应用的伸缩条件，以及获取所有被占用的算法容器的GPU利用率计算平均值得到GPU平均利用率，伸缩条件中设置有第一期望指标和第二期望指标；若GPU平均利用率满足伸缩条件，根据GPU平均利用率和占用算法容器数、第一期望指标或第二期望指标计算期望算法容器数；将算法应用的占用算法容器数修改为期望算法容器数。该方法通过根据算法应用的GPU平均利用率、占用算法容器数、以及设定的伸缩条件计算出期望算法容器数，并根据期望算法容器数增加或减少算法应用占用的算法容器的容器数量，实现动态调整算法应用占用的算法容器的容器数量。