手语合成中的多模式行为协同韵律模型

摘要

缺乏人脸唇部运动的手语合成的可懂度只有60﹪-70﹪,因此如何将语音人脸表情等其他模式行为加入手语动作中并协同表达是实现逼真自然手语合成的关键难点问题.传统的作法大多采用规则法实现,难以刻画多模式之间协同关联的复杂性,本文提出利用大量真实多模式行为数据进行学习训练,获取单模式行为的韵律模型以及多模式行为之间的协同关联模型,从而实现虚拟人多模式行为的协同.本文重点给出了多模式行为的韵律模型描述,同时给出了基于手语韵律参数与语音韵律特征融合的协同控制韵律模型并用于多模式行为协同控制上,取得了较好的实验结果.