一种语音合成模型训练方法、音频生成方法、设备及介质

摘要

本申请公开了一种语音合成模型训练方法、音频生成方法、设备及介质，包括：获取训练样本集；输入至语音合成模型；提取文本样本的文字内容特征向量、表述方式特征向量；提取语音样本的语音特征向量以及确定对应的风格向量；基于风格向量、文字内容特征向量、表述方式特征向量确定文本样本的预测梅尔频谱；利用预测梅尔频谱和语音样本的真实梅尔频谱确定梅尔频谱损失，利用风格向量和标签信息确定风格向量损失；基于所述梅尔频谱损失以及所述风格向量损失确定综合训练损失，当所述综合训练损失收敛，得到训练后语音合成模型和训练后风格向量。能够提升训练得到的语音合成模型对不同表述方式的区分效果，从而提升合成语音的自然度，以及用户体验。