基于改进门控单元神经网络的语音识别声学模型研究

摘要

传统语音识别系统中,基于循环神经网络的语音声学模型对长距离历史信息记忆能力有限,难以利用语音的上下文相关性信息,标准长短时记忆单元参数规模庞大,神经网络训练收敛速度较慢。针对以上问题提出一种基于改进门控循环单元的双向循环神经网络的语音识别声学模型。改进模型使用ReLU函数代替双曲正切激活函数,选取单位正交矩阵作为网络初始化参数,结合批量规范化方法,在维持网络长期依赖关系的同时加快训练收敛速度。在TIMIT和LibriSpeech数据集上的实验结果表明:与基线系统相比,改进的门控循环单元模型有2.8%的绝对音素错误率的下降;与标准长短时记忆单元模型相比,神经网络训练的平均迭代周期减少了16.6%,在识别性能和计算效率上均有提升。