一种端到端的骨气导语音联合识别方法

摘要

本发明公开了一种端到端的骨气导语音联合识别方法，首先获取同步的气导和骨传导语音数据构建数据集，输出为对应的文本；再对气导和骨传导语音信号进行数据增强和提取声学特征；然后搭建基于Conformer的端到端深度神经网络模型，由三部分构成，分别为处理气导和骨传导语音的两个分支网络，以及基于多模态Transducer的融合网络；接下来训练神经网络，最终通过训练完成的网络得到对应的识别结果。本发明相比传统的只利用气导语音信号进行语音识别，联合识别的方法可以使得语音识别的错误率显著下降，提升了系统整体的识别性能。