使用对抗神经网络的联合自动语音识别和文本到语音转换

摘要

本公开提供了“使用对抗神经网络的联合自动语音识别和文本到语音转换”。本文公开了一种可以使用未配对的文本和音频样本来联合解决ASR和TTS问题两者的基于端对端深度学习的系统。对抗训练方法用于生成可以单独或同时部署的更稳健的独立TTS神经网络和ASR神经网络。用于训练神经网络的过程包括使用TTS神经网络从文本样本生成音频样本，然后将生成的音频样本馈送到ASR神经网络中以重新生成文本。重新生成的文本与原始文本之间的差值用作用于训练神经网络的第一损失。类似过程用于音频样本。重新生成的音频与原始音频之间的差值用作第二损失。文本和音频鉴别器类似地用在神经网络的输出上以生成用于训练的附加损失。