汉语语音同步的真实感三维人脸动画研究

摘要

具有真实感的语音同步人脸动画是当今计算机图形学领域的一个热点问题。它在人机交互、娱乐、影视制作和虚拟现实等方面有着非常多的应用。在过去的三十年中，相关领域取得了长足的发展与进步，但仍存在许多问题亟待解决。其中，如何获得具有高真实感的语音同步人脸动画是一个富于挑战性的课题。该课题涉及个性化人脸的运动学和动力学建模和表示、协同发音机制的建模和表示以及语音驱动人脸动画的主客观评估等诸问题。 本文从以下几个方面对语音驱动人脸动画这一富于挑战性的研究课题进行了重点研究。 首先，本文在Waters肌肉模型的基础上提出了一种新的嘴唇肌肉模型。针对Waters模型过于简单，不能对复杂的面部动作进行有效建模的问题，本文参考面部解剖学的相关研究成果，提出了一种能够精确描述嘴唇运动的新的嘴唇肌肉模型。该模型将嘴唇的整体运动分解为若干个子运动，并通过各子运动之间的线性组合来表示嘴唇的整体运动。为了合成说话人脸，首先在嘴唇上标记出一些特征点并通过这些特征点获取一组用来描述嘴唇运动的参数。在此基础上，建立嘴唇的运动模型。然后，利用上述嘴唇运动模型和与之相关联的线性肌肉模型，合成各种说话口型。实验结果表明，该嘴唇模型计算代价低、实用性强，是一种有效的嘴唇模型。利用该模型可以合成具有一定真实感的口型动画。 其次，在汉语普通话三音子模型和协同发音相关研究成果的基础上，本文提出了一种上下文相关的可视语音协同发音模型。该模型将基于规则集的方法和基于学习的方法进行结合，充分利用两种方法的优点来获得具有真实感的人脸语音动画。我们的模型关注于汉语普通话协同发音的视觉效果。为了得到关键的合成口型，建立了可视语音的协同发音规则集。各音子的相应视位权重可由量化的规则集计算得出。在此基础上，可以合成对应于各音子的口型序列。然后，利用基于学习的方法，从所有的可能选择中获得合成的两音子间的过渡口型，最终得到具有真实感的人脸语音动画。 此外，本文还提出了一种新的与语速相关的嘴唇运动模型。在连续语流状态下语速对嘴唇运动的速度和幅度都有很大的影响。研究表明，一些说话人在保持运动速度相对不变的条件下通过增大嘴唇运动幅度来达到增加语速的效果，而另一些人则在保持嘴唇运动幅度不变的前提下通过增大运动速度来实现提高语速的目的。也有一些人通过同时调节嘴唇的运动幅度和运动速度两种参数实现对语速的控制。这表明，在不同的语速条件下，不同人的唇动策略有所不同。基于上述背景知识，本文提出了一种新的具有高度自然度和个性化特征的、与语速相关的嘴唇运动模型。这里，将嘴唇肌肉区域看作一个独立的粘弹性系统，根据EMG信号与语速以及肌肉收缩力之间存在的观测数据得到皮肤肌肉组织和语速以及肌肉收缩力之间的定量关系。依据该嘴唇运动模型，我们构建了一个汉语普通话人脸动画系统。最后，为了对所构建的语音同步人脸动画系统的质量进行评估，本文提出了一种用于汉语可视语音动画质量评估的系统化方法。该方法主要由两种测试步骤构成：可接受性测试与可理解性测试。在可接受性测试中，使用了诊断的可接受性测量方法，并添加进了测试和客观评估相结合的方法。在可理解性评估中，提出了一种新的可视汉语改进押韵测试方法。在该方法中，通过引入“惩罚”与“原谅”因子以模拟人们对于说话人脸的感知。综合两种测试方法可以得到对所提出的三维人脸语音动画系统的总体评估。 在前述研究的基础上，我们设计并实现了一个汉语三维人脸语音动画演示系统。该演示系统可以根据所输入的语音和特定人的三维人脸模型生成具有真实感的个性化说话人脸动画。

目录

文摘

英文文摘

声明

第一章绪论

1.1人脸语音动画研究的背景和意义

1.1.1研究背景

1.1.2研究意义与应用领域

1.2人脸语音动画的研究内容和本文所研究系统的流程

1.3人脸语音动画合成的难点

1.4本文的研究内容和结构安排

1.5本文的创新之处

第二章人脸合成与语音动画综述

2.1人脸建模方法

2.1.1基于表演驱动的人脸建模方法

2.1.2基于参数模型的人脸建模方法

2.1.3基于肌肉模型的人脸建模方法

2.1.4基于物理模型的人脸建模方法

2.1.5基于训练学习的人脸建模方法

2.2语音可视化建模

2.2.1可视化协同发音模型

2.2.2语音同步人脸动画技术

2.3国外主要相关科研机构介绍与国内相关研究

2.3.1国外主要相关科研机构介绍

2.3.2国际上主要相关学术会议

2.3.3国内主要研究介绍

2.4本章小结

第三章人脸语音动画中的唇区肌肉模型

3.1引言

3.1.1目前的人脸建模方法简述

3.1.2肌肉模型在人脸建模中的优势以及存在的问题

3.1.3本章的主要思想

3.2人脸面部解剖学

3.2.1唇区附近的人脸面部解剖学梗概

3.2.2发音时的唇区子运动归纳

3.3唇区肌肉模型

3.3.1唇区肌肉模型思想

3.3.2唇区子运动建模

3.4实验结果

3.5本章小结

第四章语音动画中的可视化协同发音模型

4.1引言

4.1.1目前可视语音研究的主要方法与存在的问题

4.1.2国内的研究成果

4.1.3本章的主要思想

4.2可视化协同发音

4.3汉语普通话语音语言学基础

4.4三音子模型及其可视化协同发音规则

4.4.1双音子及三音子介绍

4.4.2三音子结构

4.4.3音子之间对于所对应口型的相互影响关系

4.5过渡口型的合成

4.5.1合成方法概述

4.5.2 PCA方法介绍

4.6实验结果

4.7本章小结

第五章与语速相关的个性化人脸语音动画合成

5.1引言

5.2肌肉收缩力与语速的关系

5.2.1肌电效应

5.2.2肌肉收缩力与EMG信号的关系

5.2.3语速与EMG信号的关系

5.3不同语速下的嘴唇运动模型

5.3.1人体皮肤肌肉组织的粘弹性力学

5.3.2语速与唇动的关系

5.4实验结果

5.4.1光流法简介

5.4.2语速-唇动关系模型实验

5.5本章小结

第六章语音动画合成的评估

6.1引言

6.2可接受性评估

6.3可理解性评估

6.4汉语人脸语音动画评估

6.4.1汉语人脸语音动画的可接受性评估方法

6.4.2汉语人脸语音动画的可理解性评估方法

6.4.3实验结果

6.5本章小结

第七章汉语普通话人脸动画演示系统

7.1引言

7.2系统框架

7.3系统组成

7.4汉语三维人脸语音动画演示系统实验结果

7.5本章小结

第八章结论与展望

8.1论文工作总结

6.2展望

参考文献

致谢

在读期间发表的学术论文