基于特征重建的知识蒸馏方法

摘要

为了解决深度神经网络压缩后精度损耗大的问题,提出一种基于知识蒸馏的模型压缩架构。该架构的创新点在于结合了图片风格迁移实验中的特征重建方法,在训练学生网络时,将学生网络的浅层特征分组嵌入已经训练好的教师网络中对深度特征进行特征重建,从而达到学生网络的输出结果逼近教师网络的目的。实验结果表明,在图像分类任务中,网络宽度不变的情况下,将模型压缩为原模型的一半,在Cifar10数据集下准确率仅损失约1.5%;在Cifar100数据集下准确率仅损失约3%。由此可知,此架构可应用于图像分类任务的模型压缩中。