基于随机扰动的过拟合抑制算法

摘要

为了解决深度学习模型在小数据集或存在长尾效应的数据集上训练存在过拟合的问题,提出在训练模型的过程中加入随机扰动,并提出了随机扰动模块(Random Perturb Module,RPM)。RPM模块首先计算输入特征的均值ζ,然后使用均值为0、方差为ζ/C的正态分布向网络提取的特征图中加入随机扰动。所提方法在CTSRD中国交通标志数据集和GTSRB德国交通标志数据集上的识别精度分别达到了96.9%和99.4%,同时相比原有模型,所提方法有效抑制了在CTSRD数据集上训练导致的过拟合现象,在PASCAL VOC 2012数据集上,基于残差网络的SSD模型和YOLOv3模型分别获得了10.7%和1.2%的mAP精度提升。实验证明,所提方法可以有效抑制模型过拟合,并在一定程度上提高模型的预测精度。