一种基于融合神经网络结构的端到端语音识别方法

摘要

本发明公开了一种基于融合神经网络结构的端到端语音识别方法，其包括获取初始语音信号，进行快速傅里叶变换和梅尔系数提取，将快速傅里叶变换后的功率谱信号和提取的梅尔系数信号相乘，得到梅尔频谱输出信号；基于SpecAugment数据增强算法进行数据增强；建立声学模型块，并基于声学模型块建立声学模型；将数据增强后的梅尔谱语音信号输入声学模型，得到预测的拼音序列；计算预测的拼音序列的条件概率，基于马尔科夫链的二元统计语言模型，将预测的拼音序列转换成文字，完成语音识别。本发明提升系统识别准确率和模型泛化性；对建立的声学模型进行微调，使模型得到更优的效果；本发明声学模型减少了计算量和语音识别错误率。