一种基于特征信息差异的模型蒸馏方法及装置

摘要

本发明提供一种基于特征信息差异的模型蒸馏方法及装置，所述方法包括：获取样本图像的学生特征图和教师特征图；学生特征图是通过学生模型对样本图像进行特征提取获取的，所述教师特征图是通过教师模型对样本图像进行特征提取获取的；根据样本图像的锚框位置信息，分别获取每个锚框对应的第一图像特征和第二图像特征；第一图像特征为学生特征图的图像特征，第二图像特征为教师特征图的图像特征；根据第一图像特征和第二图像特征之间的特征差异度，利用教师模型对学生模型进行蒸馏训练。本发明提供的基于特征信息差异的模型蒸馏方法，与现有的蒸馏方法相比，在教师模型和学生模型之间特征信息差异度较大时，具有更好的蒸馏效果。