语音和人脸表情同步的双模态情感表达研究

摘要

一般情况下,面部表情常常伴随着语音的变化同步进行,传统的情感表达,多侧重于单一的情感语音合成或人脸表情生成领域,缺乏一定的真实感.为达到更为生动的情感表达效果,本文在参考近几年多模态技术和语音视位技术[13][14][18][19]的研究基础上,进一步地进行了情感语音分析和人脸表情分析的研究,同时结合脸部运动编码系统(FACS系统)以及情感语音的分析结果,从而初步实现了一个基于语音和人脸表情同步的真实感情感表达系统.该系统在人脸变形中采用了一种简化的刚体变形算法,结合情感语音的声学特征参数,使系统达到达到了很好的情感表达效果.