一种多老师监督的无数据知识蒸馏方法

摘要

本发明公开了一种多老师监督的无数据知识蒸馏方法，在不同的数据源上训练出多个大模型作为老师模型，基于迁移学习和知识蒸馏的理论在无数据的情况使用噪声生成图像，不断迭代优化图像生成质量，通过多个老师模型监督学生模型的训练，多个老师模型在输出层维度上参与监督学生模型训练。本发明在图像分类和文本分类数据集上获得较高的准确率，继而体现出本发明的有效性；在神经网络模型广泛应用的今天，神经网络的推理时间和大小是限制神经网络应用场景的主要因素，基于此，本发明能够在数据受限的情况下有效降低模型大小，同时融合多个数据源的模型知识，提高泛化能力，使神经网络能够应用到数据受限和计算受限的场景中。