一种用于说话人头部动画的Viseme语音识别系统

摘要

Viseme是在语音驱动说话人头部动画中一种常用的为口形建立的音频-视频模型.本文尝试建立viseme隐马尔可夫模型(HMM),用于驱动说话人头部的语音识别系统,称为前映射系统.为了得到更精确的模型以提高识别率,引入考虑发音口形上下文的Triseme模型.但是引入Triseme模型后,随着模型数量的急剧增加将导致训练数据的严重不足.本文使用决策树状态捆绑方法来缓解这一问题,同时引入了一种以口形相似度为基础的决策树视频问题设计方法.为了比较viseme系统的性能,本文也建立了一个以phoneme为基本HMM模型的语音识别系统.在评价准则上,使用了一种客观评价说话人头部动画的加权识别率.实验表明,以viseme为基本HMM模型的前映射系统可以为说话人头部提供更加合理的口形.