缩放残差前置GRU模型

摘要

门控循环单元网络(Gated Recurrent Unit,GRU)伴随模型深度的增加,通常会引发退化与梯度消失问题,进而降低模型训练速度及性能.该文通过改进直连结构缓解退化现象,并结合标准化层缓解梯度消失问题,提出一种缩放残差前置GRU模型.该模型构建缩放残差连接通过线性信息筛选模块对直连结构信息进行筛选,最大限度保留有效信息并缓解退化现象;同时结合层标准化方法,构建直连前置结构防止为直连结构引入额外的非线性计算.在语音识别任务和语言模型任务上进行验证,结果表明该文提出的缩放残差前置GRU模型增加少量参数可以有效缓解梯度消失和退化现象,在两组任务中均取得最优表现.