基于语音语义控制人脸表情动画的实现方法

摘要

研究和开发人脸表情动画控制的方法和技术，特别是基于语音和语音语义的人脸表情动画的实现方法和技术，是近年来计算机仿真和计算机动画领域的研究热点之一，其技术和产品在影视动画制作、虚拟主持人、可视通信以及远程教学等领域有着广泛的应用前景。本文在分析和综合了国内外计算机人脸表情动画技术领域的研究成果的基础上，就基于语音语义控制人脸表情动画的实现方法进行了研究与实现。在3DS Max和 Maya动画制作软件平台上，通过语音识别技术获取输入语音的语义，开发了基于语音语义实现人脸表情动画控制的插件。 本文首先介绍了听觉机理和心理、语音信号处理方法、人脸表情动画的特点以及方法等。设计了基于HMM模型的语音识别系统，以获取语音的语义信息，如字符和情绪词语等，讨论和论述了语音信号预处理、特征提取、识别模型等相关关键环节的技术问题。然后，在3DS Max软件平台上，提出和建立了一种通过字符串参数交互控制人脸口型动画的实现方法。利用MAXScript语言的节点动画控制，开发和编写了插件，通过输入字符参数，实现了对人脸模型口型动画的控制调节。在Maya软件平台上，提出和建立了一种基于情绪词语控制人脸表情动画的方法，利用Maya C++API中的节点控制方法，建立了一套简单易行的自定义节点的插件开发流程，开发了通过输入的情绪词语实现人脸表情动画控制的插件。 仿真实验结果表明，本文所建立的利用语音识别后获取的语音语义在3DSMax、Maya平台上实现人脸表情动画控制的方法较好的解决了手动调整设置动画的问题，所建立的插件只需要对单一人脸模型进行操作，简单易行，避免了繁琐的重复劳动，且适用于同类型的不同人脸模型。这不仅大大提高了影视动画制作的效率，同时也为虚拟主持人和虚拟演员的语音交互控制提供了一种途径。

目录

声明

摘要

第一章绪论

1.1研究目的意义

1.2国内外研究状况

1.3本文主要的研究工作

第二章语音处理与人脸表情动画

2.1听觉机理和汉语语音基本特征

2.1.1听觉机理和心理

2.1.2汉语语音基本特性

2.2语音识别处理方法与模型

2.2.1语音信号的数字化和预处理

2.2.2时域处理

2.2.3频域处理

2.2.4特征矢量的提取

2.2.5语音识别模型

2.3人脸表情动画

2.3.1人脸动画技术

2.3.2人脸表情造型

2.3.3脸部表情动画

第三章语音识别系统设计

3.1语音识别系统的结构设计

3.2语音的输入处理

3.2.1 WAVE文件结构

3.2.2语音采集、保存、播放与录制

3.3预处理

3.3.1预加重

3.3.2分帧处理

3.3.3语音端点检测

3.4 MFCC参数提取

3.5隐马尔可夫模型(HMM)

3.5.1 HMM的三个基本问题

3.5.2 HMM的结构和类型

第四章3DS Max中实现字符串控制人脸表情动画

4.1基于字符串控制表情动画的实现方法

4.2三维动画软件3DS Max脚本语言

4.2.1访问脚本

4.2.2创建对象

4.2.3为场景中对象设置动画

4.3字符串控制表情动画的实现

4.3.1插件的面板的创建

4.3.2在插件面板中生成参数输入编辑框

4.3.3人脸模型节点动画主要控制模块

4.4虚拟播音员的交互式控制的实现结果

第五章Maya中实现情绪词语控制人脸表情动画

5.1基于情绪词语控制表情动画的实现方法

5.2 Maya插件开发环境与方法

5.2.1 Maya插件开发的两种编程方法

5.2.2 Maya的节点和自定义节点

5.2.3 Maya C++API

5.3 Maya插件的开发流程

5.4控制人脸表情的Maya插件开发

5.4.1项目工程组的建立

5.4.2节点属性的增加和修改

5.4.3算法实现与结果

第六章结论与展望

参考文献

致谢

作者在攻读硕士学位期间公开发表的论文