基于拼音约束联合学习的汉语语音识别

摘要

当前的语音识别模型在英语、法语等表音文字中已经取得很好的效果。然而，汉语是一种典型的表意文字，汉字与语音没有直接的对应关系，但拼音作为汉字读音的标注符号，与汉字存在相互转换的内在联系。因此，在汉语语音识别中利用拼音作为解码约束，引入一种更接近语音的归纳偏置。基于多任务学习框架，提出一种基于拼音约束联合学习的汉语语音识别方法，以端到端的汉字语音识别为主任务，以拼音语音识别为辅助任务，通过共享编码器，同时利用汉字与拼音识别结果作为监督信号，增强编码器对汉语语音的表达能力。实验结果表明，相比基线模型，提出方法取得更优的识别效果，词错误率WEK降低了2.24个百分点。