基于肌肉模型控制的口型可视化研究

摘要

与语音对应的口型可视化技术是现在语音可视化领域的热点和难点问题之一。目前该技术仍存在以下三个问题亟待解决:
　　 第一，在表达口型动画的嘴部模型中，多数研究者没有考虑舌头部位的运动模拟;
　　 第二，在协同发音现象中，音素静态视位受其他音素影响后存在一定的变化规律，但大多数研究者缺乏将该规律与协同发音模型中的视位权重控制函数曲线的几何特性相关联，在部分字的口型动画上存在着较明显不真实的现象;
　　 第三，在动画插补算法中，大多数研究者采用线性、三角函数作为过渡帧插值函数，虽然能满足过渡效果平滑的效果，但存在一定的局限性，中间过渡帧过多，口型动画不能突出关键帧。
　　 针对以上问题，以及可视化语音以及虚拟说话人系统中对唇部和舌部动画的高逼真度要求，本文首先提出了一种基于运动轨迹分析的三维唇舌肌肉控制模型。该方法首先根据解剖学原理，建立起基于网格和纹理的唇部、舌部模型。然后，根据分析唇部的运动轨迹，将口轮匝肌分解成两部分来联合控制唇部的运动，可以获得各种口型。在舌部的运动模拟中，将它的运动轨迹分解成一些机械运动的组合，通过使用四种肌肉模型来控制这些运动。最终实现了人脸嘴部说话时的各种口型，实现了卷舌、舔嘴等动作。实验结果表明，该方法能逼真地实现出唇部、舌部的运动动画。
　　 然后，针对汉语中的协同发音现象以及语音可视化技术中对唇型动画自然、连续的要求，采用了一种新的口型动画生成方法。一方面，本文在协同发音建模中，采用了基于微分几何学描述的多音素协同发音模型，该模型通过分析邻近音素间影响关系的几何学上的特征，充分描述出音节中的多个音素之间的重叠发音现象，能使得虚拟人口型动画更贴近现实。另一方面，本文在口型动画的自适应生成中，采用了基于分段抛物线插值生成过渡帧的方法，解决了口型动画中关键帧显示时间过短、用户不易分辨的问题，且还不影响口型动画的流畅性。

目录

声明

摘要

第1章 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．3 研究目标及内容

1．3．1 研究目标

1．3．2 研究内容

1．4 本课题的总体框架设计

1．5 本文结构安排

第2章 三维人脸嘴部建模

2．1 人脸嘴部的三维几何模型

2．2 唇、舌部肌肉控制模型

2．2．1 唇部发音控制肌肉运动规律的归纳

2．2．2 舌部发音控制肌肉运动规律的归纳

2．3 基于运动轨迹分析的肌肉控制模型

2．3．1 口轮匝肌控制的嘴唇运动轨迹模拟

2．3．2 下颌的运动轨迹模拟

2．3．3 舌纵肌控制的运动轨迹模拟

2．3．4 舌直肌与舌横肌控制的运动轨迹模拟

2．3．5 舌颏肌控制的运动轨迹模拟

2．4 本章小结

第3章 多音素协同发音建模

3．1 音素静态视位的合成

3．1．1 声、韵母发音时的口型特征分析

3．1．2 声、韵母静态视位的映射数据结构

3．2 协同发音建模

3．2．1 多音素协同发音建模中微分几何学的应用

3．2．2 基于对数函数控制的辅-元音协同发音模型

3．2．3 基于指数函数控制的元-元音协同发音模型

3．3 本章小结

第4章 口型动画自适应生成与口型编号转换

4．1 口型动画的自适应生成

4．1．1 基于线性插值和三角函数插值的动画生成

4．1．2 基于分段抛物线插值的动画生成

4．2 汉字与口型编号的转换

4．2．1 口型编号序列的设计与口型查找

4．2．2 汉字转口型编号的实现流程

4．2．3 多音字的口型编号处理

4．3 本章小节

第5章 口型动画合成实验与效果评估

5．1 语音合成部分的实验程序设计

5．2 口型动画合成实验程序的界面设计

5．3 唇、舌肌肉控制模型的实验结果与分析

5．4 协同发音模型的实验结果与分析

5．5 动画插补算法与多音字口型动画的实验结果与分析

5．6 口型动画合成效果评估与可理解性评测

5．6．1 合成效果的客观评测

5．6．2 合成效果的主观评测

5．6．3 可理解性评测

结论

致谢

参考文献

攻读硕士学位期间发表的论文及科研成果