深度交流学习模式

摘要

本文针对深度神经网络如何更快速和充分学习的问题,提出一种基于知识传递的深度交流学习(Deep Communication Learning,DCL)模式。该模式中多个神经网络在各自独立学习的同时将网络参数作为知识进行交流,单个神经网络在训练中将自身所学到的知识分享给其他网络,同时从其他网络上吸纳一定比例的学习成果,交替进行独自学习和在集体中的知识交流。基于多个公开数据集的实验结果表明,相对于单独学习,仅用2个网络进行DCL就可获得学习效果最高3.44%的提升;增加进行DCL的网络个数至6个,学习效果可进一步得到最高2.74%的提升。DCL模式有利于训练出效果更好的神经网络。