一种多老师监督下的多分支学生网络的知识蒸馏方法

摘要

本发明公开了一种多老师监督下的多分支学生网络的知识蒸馏方法，包括以下步骤：训练多个参数量存在一定差异的老师模型，不同的老师模型对应不同的权重比例；针对学生模型不同的分支结构采用不同的监督信息；在训练过程的第一阶段，按照老师模型参数量大小逐渐降低参数量最多的老师模型对学生网络损失的比例，使得参数量大的老师模型逐渐退出学生模型的训练；在训练过程的第二阶段，仅使用学生网络的最深层分类器监督分支分类器的监督；在训练过程的第三阶段，仅使用交叉熵对多分支学生网络进行训练。本发明能够充分吸收多个老师网络模型知识，能够实现更高的准确率。