一种基于迁移学习的神经网络权重初始化方法

摘要

本发明属于神经网络模型技术领域，具体为一种基于迁移学习的神经网络权重初始化方法。本发明方法中，对于指定目标任务，设计复杂度较高的神经网络模型即老师模型，并对老师模型进行训练，训练完成后，利用产生的特征图指导学生模型的权重初始化；通过计算特征图之间的差异，或者将特征图映射到再生核希尔伯特空间中，计算其在再生核希尔伯特空间中的差异，采用核函数的方法简化计算；使简单的学生模型达到更好的权重初始化的效果，在权重初始化完成后，再对学生模型进行一般的训练，使得学生模型达到更好的全局收敛点，使其性能更加优异。本发明在不增加学生模型复杂度的前提下可有效提升学生模型的性能。