基于模型增强的语音翻译模型训练方法、系统及语音翻译方法和设备

摘要

本发明公开一种基于模型增强的语音翻译模型训练方法、系统及语音翻译方法和设备，该训练方法包括：收集语音翻译数据集，所述语音翻译数据集由多个语音‑翻译‑转录三元组构成；利用语音翻译数据集中的语音‑转录数据对训练语音识别模型，利用语音翻译数据集中的转录‑翻译数据对训练机器翻译模型；用语音识别模型初始化语音翻译模型的编码层，用机器翻译模型初始化语音翻译模型的解码层；对语音翻译模型的隐含层输出进行掩码，利用语音翻译数据集、结合损失函数对语音翻译模型进行训练；语音翻译模型训练好后，去掉掩码，对训练好的语音翻译模型进行微调。本发明提升了语音翻译模型的识别性能，可以有效提高语音翻译效率和质量。