基于预习机制知识蒸馏的模型压缩方法及系统

摘要

本发明属于计算机视觉图像分类领域，为了解决识别图像类别的准确性差且不稳定的问题，提供基于预习机制知识蒸馏的模型压缩方法及系统。其中该方法包括获取图像样本并标注其标签，对学生网络进行监督训练；使得学生网络与预先训练好的教师网络进行输出对齐、特征对齐、类别中心对齐以及类别中心对比学习；计算图像样本的难度分数，动态分配不同图像样本的权重；基于监督训练、输出对齐、特征对齐、类别中心对齐及类别中心对比学习的损失函数及不同图像样本的权重，得到总损失函数；根据总损失函数来指导训练学生网络，得到训练完成的学生网络，以作为图像分类模型，用于对输入的图像进行类别分布预测。其提高了图像识别类别的准确性。