融合外部语言知识的流式越南语语音识别方法

摘要

本发明提出融合外部语言知识的流式越南语语音识别方法，属人工智能领域。越南语为低资源语言，训练语料难以获取；流式端到端模型在训练过程中难以学习到外部大量文本中的语言知识，这些问题限制了流式越南语语音识别模型的性能。本发明以越南语音节作为语言模型和流式越南语语音识别模型的建模单元，在训练阶段，通过预训练越南语语言模型和语音识别模型解码器的输出计算一个新的损失函数，帮助流式越南语语音识别模型学习一些越南语语言知识从而优化其模型参数。在越南语数据集上，在训练阶段融合语言模型能将流式越南语语音识别模型的词错率提升2.45％。在解码阶段再次融合语言模型，还能将模型词错率分别提升1.35％和4.75％。