一种基于并行流模型的快速唇动-语音对齐方法

摘要

本发明公开了一种基于并行流模型的快速唇动‑语音对齐方法。本发明使用基于流的解码器在无约束限制下快速生成高质量的语音，提出了一种简单的视频和音频对齐方法来实现语音的并行生成，保证视频帧和音频帧的时间同步；提出了一个状态模块，通过它生成粗糙但可理解的语音；基于这些粗糙的语音，进一步提出了一种基于流的解码器来生成更高质量的语音。相比于一般的现有方法，本发明突破了只能生成语音在有限的词汇和固定的句子结构的约束条件的限制，可以生成比当前最先进的口型到语音模型更自然的语音，并实现比当前最先进模型高达20倍左右的加速。