一种语音同步驱动三维人脸口型与面部姿势动画的方法

摘要

本发明公开了一种语音同步驱动三维人脸口型与面部姿势动画的方法，通过用户输入新的语音信息，经过预处理之后，在虚拟人的人脸头像上合成与语音同步的口型动画和面部姿势动画。本发明具体包括两个阶段，在训练阶段，通过KNN和HMM的混合模型实现语音可视化建模；在合成阶段，通过用户输入新的语音信息，先进行语音信号的特征提取，再经过KNN和HMM混合模型生成与语音信号相对应的人脸面部姿势和口型帧序列参数，经过平滑处理后，使用Xface开源软件合成更加细腻、丰富的三维人脸动画。本发明不仅具有重要的理论研究价值，而且在可视通信、虚拟会议、游戏娱乐和教学辅助等领域有着广阔的应用前景。