一种基于共同特征学习的异构神经网络知识重组方法

摘要

基于共同特征学习的异构神经网络知识重组方法，包括：获取预训练好的多个神经网络模型，称其为教师模型；利用教师模型输出的特征和输出的预测结果，通过一种共同特征学习和软目标蒸馏方法来指导学生模型的训练；在此共同特征学习过程中，通过将多个异构网络的特征投影到一个共同特征区间并使得学生模型集成众多教师模型的知识，而软目标蒸馏方法，使得学生模型的预测结果与教师模型的预测结果一致，从而得到一个具有所有教师模型的任务处理能力的更强大的学生模型。由于仅需模仿教师模型的预测结果，学生模型又可在没有任何人工标注的情况下训练得到。本发明适用于神经网络模型的知识重组，特别是异构图像分类任务模型的知识重组。