基于汉语Talking Head模拟研究与实现

摘要

由于社会经济的飞速发展，生活与工作节奏的加快，精神压力的剧增，导致人们患各种疾病的风险大大增加。而言语认知障碍是聋儿和脑卒中、自闭症等多种疾病患者最为常见的症状。
　　针对构音、发音困难的计算机言语康复训练主要利用的是Talking Head（三维虚拟头像）发音运动模拟技术。因此，可透视地呈现内外部发音器官运动的Talking Head模拟具有重要的意义。它能帮助聋儿等病人从视觉上感知并学习正确发音动作，有助于患者进行言语认知恢复训练。此外，还可辅助外国人学习中文。
　　本文以电磁发音捕捉仪和语言发声空气动力学系统等设备的采集数据为基础，以狄利克雷自由变形算法为核心，根据唇部和舌部的发音器官特点分别提出辅助控制点的计算方法，实现Talking Head发音器官模拟。然后选取合适的流体模拟方法来实现气流的模拟。具体研究内容和创新点如下：
　　（1）对采集的实际发音过程中发音器官运动和气流变化的数据加以分析。通过量化分析不同音节由于发音方式不同（塞音、擦音与塞擦音；送气音与非送气音）而产生的气流量和气流持续时间的差异，证实了使用气流来区分易混淆辅音发音的可行性。可以将气流作为一个特征添加到Talking Head模拟动画中。
　　（2）设计Talking Head的变形方案。依据狄利克雷自由变形算法，结合三维头像模型的区域划分规则，提出了Talking Head的嘴部、舌部控制点的计算方法和一种新凸包体积计算方法。同时基于半拉格朗日方法制定了发音气流模拟的实现方案。
　　（3）实现并验证一个具有友好交互操作的Talking Head。Talking Head完成了一个灵活的对外接口，在输入方面，它能够读取电磁发音动作捕捉仪和语言发声空气动力学系统的数据进行动画的模拟；在输出方面，可以观看任意音素和音节的发音动画。通过实验对比Talking Head模拟和真人的发音动作，表明本研究的Talking Head模拟符合实际发音情况；依据Talking Head模拟动画进行教学实验，验证了Talking Head模拟的实用性和有效性；在发音动作相似的音节，通过实验也证实模拟气流可以增加音节之间的辨识度。

目录

声明

第1章 绪论

1.1课题来源

1.2课题的研究背景与意义

1.3相关技术的国内外研究现状

1.4本文的主要研究内容

1.5本文的结构安排

第2章 数据的采集和分析

2.1基于EMA的数据采集

2.2 EMA数据的处理和分析

2.3基于PAS的数据采集

2.4 PAS数据处理及其分析

2.5小结

第3章 Talking Head模拟的设计

3.1基于狄利克雷自由变形算法的Talking Head变形

3.2基于DFFD算法的Talking Head变形流程

3.3基于半拉格朗日的气流模拟

3.4气流模拟的具体实现

3.5小结

第4章 Talking Head模拟的实现

4.1 Talking Head控制网格的设置

4.2 Talking Head模拟系统设计

4.3 Talking Head模拟系统的总体流程

4.4 Talking Head模拟动画的实验结果

4.5小结

第5章 总结与展望

5.1总结

5.2展望

致谢

参考文献