基于统计的机器学习推理优化方法

摘要

近年来,机器学习推理技术已经广泛应用在人们的日常生产和生活中,但现有技术通常使用面向传统数据服务的优化方法,而未考虑机器学习推理的统计学特征.本文设计了一种面向机器学习推理的优化方法,通过引入基于统计的优化策略以解决特征计算的性能瓶颈问题.首先,使用自动构造的近似模型丢弃得分较低的输入以进行准确的Top-K查询.然后,使用增强模型对剩余部分进行排序,以最小精度损失为代价提高查询性能.同时,自动调整优化参数,以最大化提高查询性能的同时满足准确性目标.此外,使用编译器优化来优化以上技术,从而为机器学习应用自动快速生成推理代码.