基于深度优化残差卷积神经网络的端到端语音识别

摘要

为增强语音识别声学模型中特征提取的鲁棒性和深层网络模型训练的有效性,提出一种采用残差结构优化深层卷积神经网络的端到端语音识别模型。该方法使用连接时序分类(connectionist temporal classification,CTC)作为目标损失函数,通过在卷积神经网络层之间添加残差跳转连接,将前层中输入直接传输到后层,构建一组残差卷积层,深化了声学模型中卷积层层数。然后在残差结构内外分别添加Swish和maxout函数,改善网络存在的退化问题和梯度消失问题,进而提升了语音识别的性能。在中文数据集AISHELL-1上进行语音识别实验。研究结果表明,与传统识别模型相比,基于深度优化残差卷积神经网络的CTC模型在语音识别任务上具有更好的性能。