一种双层自回归解码的序列到序列语音合成方法及系统

摘要

本发明提出一种双层自回归解码的序列到序列语音合成方法及系统，系统包括编码器和解码器，所述解码器包括：音素级表征模块、音素级预测模块、帧级预测模块；所述编码器将音素名、音调和韵律短语边界信息用向量表征，然后使用卷积神经网络和双向长短时记忆网络将这些信息编码融合得到句子中每个音素的上下文单元表征；所述音素级表征模块，通过帧一级的长短时记忆网络(LSTM)和池化处理获得每个音素单元的声学单元表征；所述音素级预测模块，采用音素级自回归结构来预测当前音素的声学单元表征并建立连续音素之间的依赖关系；所述帧级预测模块，通过解码器LSTM来预测帧级的声学特征。