在生成对抗中获得更好的语音翻译模型的训练方法和系统

摘要

本发明提供一种在生成对抗中获得更好的语音翻译模型的训练方法和系统。该方法包括收集训练数据，利用训练数据中的转录‑翻译数据对训练MT模型；利用收缩机制对ST模型的输入长度进行压缩，使得语音和文本的编码层输出长度近似相同，包括：先采用CTC损失帮助ST模型预测语音的转录，捕捉语音的声学信息；然后利用CTC存在的峰值现象去除ST模型编码层状态中的冗余信息；采用对抗器通过“最大最小”的方法，使ST模型的编码层输出分布拟合MT模型的编码层输出分布，帮助ST模型捕捉到更多的语义信息；以CTC损失作为附加损失，结合端到端ST模型的损失对整个语音翻译模型进行联合训练。本发明能提升语音翻译模型的识别性能，进而提高语音翻译效率和质量。