一种机器学习中防止过拟合的Dropout优化算法

摘要

针对机器学习中深度神经网络训练时常见的过拟合问题,提出了一种防止过拟合的Dropout优化算法.Dropout算法是在每批次的神经网络训练中,忽略掉一定概率的特征检测器,让某些神经元暂时停止工作,减少神经元之间的相互作用,隐式去除网络中的神经元、阻止某些特征的协同作用来缓解过拟合.算法中选择被暂时丢弃的神经元是随机概率,而优化算法在神经网络中应用伊辛模型来识别链接能量较低的神经元,并在训练和推理中把这些神经元暂时丢弃掉,算法使模型泛化性更强,有效缓解网络训练过拟合问题.