统一中英混合文本生成和语音识别的端到端系统

摘要

本发明提供通用的统一中英混合文本生成和语音识别的端到端系统，包括：声学编码器、音素编码器、判别器和解码器；所述音素编码器和所述判别器构成生成对抗网络，所述音素编码器作为所述生成对抗网络的生成器，所述判别器为所述生成对抗网络的判别器，所述声学编码器作为所述生成对抗网络的真实数据输入，以这种对抗生成网络来促使音素编码器输出的音素编码表示的分布接近声学编码器输出的声学编码表示，所述解码器将所述声学编码表示和所述音素编码表示融合，得到解码表示，再将所述解码表示输入到softmax函数得到概率最大的输出目标。