基于改进型轻门控循环单元的语音识别

摘要

cqvip:针对轻门控循环单元(light gated recurrent unit,Li-GRU)在自动语音识别中存在参数规模大、收敛速度慢和梯度消失的问题,提出一种改进的模型(light self gated recurrent unit,Li-SGRU)。使用Swish激活替换ReLU激活,使得模型在训练时能够避免梯度消失,加快网络收敛;提出3种变体Li-SGRU1、Li-SGRU2和Li-SGRU3减少改进模型的参数规模;在端到端的语音识别系统上评价了该模型。实验结果表明,改进的Li-SGRU较标准的模型音素错误率更低,收敛速度更快;其中,Li-SGRU1识别率在3种变体中最高,综合性能更好。