一种基于Maxout神经元的深度双向LSTM声学模型

摘要

本发明请求保护一种基于深度双向长短时记忆(DBLSTM)递归神经网络(RNN)的声学模型，DBLSTM网络主要分为三部分：在DBLSTM的全连接部分，使用Maxout神经元代替原来的Sigmoid神经元来解决RNN中常出现的梯度消失和爆炸的问题；同时使用Dropout正则化训练算法避免了神经网络在训练过程中出现过拟合。在多层BLSTM部分，为适应DBLSTM对每个时间步长的双向依赖性，提出了上下文敏感块的随时间反向传播(CSC‑BPTT)算法来训练该网络。在多层BLSTM部分之后采用一层选择连接层，用于对DBLSTM的输出进行变换得到全连接部分的输入。本发明可得到更高的语音识别率。