手语韵律驱动的虚拟人头部动画研究

摘要

手语是聋人使用的交际语言，是一种靠动作、视觉进行交流的特殊语言。中国有上千万聋哑人，而手语作为聋哑人的第一自然语言运用非常广泛，在通讯上采用手语交互方式，不仅可以为聋人提供与健听人一样便捷的服务，而且还可以建立聋人与健听人之间无障碍信息交流。此外，手语无障碍信息服务还有许多重要应用价值。在通信领域，具有手语、语音、文字等多种交互方式的移动会议能在更大程度上满足人们使用不同交互方式的、随时随地的信息交流需要。在信息服务领域，具有方便交互方式的手语信息服务系统能够极大方便聋人参与各种社会活动。 在聋哑人日常交流中，肢体动作不仅表达一定的心情、感情、性格等多种信息，而且表达了一定的语义信息。肢体动作是人类交流沟通中重要的辅助表达因素，通常被称之为“肢体语言”。由于手语属于视觉语言，信息的获取都依靠具体的视觉观察，故而肢体语言在手语交流中的重要地位不言而喻。因而，在手语合成系统中，加入虚拟人的头部运动，不但可以增强整个系统的绘制真实感，获得突出的视觉效果，而且可以辅助表达手语含义。 本论文结合目前的国内外相关研究，对中国手语的合成中的运动数据捕获，数据分析，头部运动合成等进行了深入探索。本文首先介绍了手语中关于头动研究的现状，以及头部运动研究的方法，提出了本文采用的基于文本标注和基于隐马模型的头部运动相结合的方法，然后介绍了运动捕获技术的发展现状以及数据分析的方法，接着介绍了HMM的基本理论，最后着重给出了语义相关的头部运动合成方法和虚拟人随机头动合成方法。 本文的贡献在于： 1)阐述了中国手语合成中头部运动研究的各项虚拟人仿真技术：运动捕获技术、动画驱动技。 2)对捕获数据进行分析，根据捕获数据的特点，提出了手语中头部运动与手势不相关区域，基于此区域计算中国手语表达过程中手势运动数据与头动运动数据的相关性关系。 3)提出了文本标注头部运动合成的方法，并根据数据特点定义了头部运动数据文件，建立了语义相关的头部运动数据库。 4)分析了头部与手势数据之间的相互关系，提出了虚拟人随机头动的规律及合成方法。

目录

文摘

英文文摘

声明

第1章绪论

1.1研究背景与意义

1.2国内外研究发展现状

1.2.1国内研究现状

1.2.2国外研究现状

1.3手语中头部运动合成框架与关键技术

1.4文章的研究内容和组织结构

第2章头部动画技术

2.1引言

2.2角色动画技术介绍

2.2.1角色动画分类

2.3头部运动的合成方法

2.3.1文本驱动的头部运动合成方法

2.3.2基于规律分析的头部运动合成方法

2.4本文关于头部运动的合成方法

2.5本章小结

第3章 运动数据的采集以及处理

3.1引言

3.2运动捕获

3.3运动数据采集及处理

3.3.1运动数据的采集

3.3.2数据处理

3.4本章小结

第4章 数据分析及HMMs基本理论

4.1引言

4.2相关性分析

4.3HMMs基本理论

4.3.1马尔科夫链

4.4HMMs基本概念

4.4.1HMMs模型描述

4.4.2HMMs的三个基本问题

4.5 HMMs算法

4.5.1向前向后算法

4.5.2 Viterbi算法

4.5.3 Baum-Welch算法

4.6本章小结

第5章 头部运动合成

5.1语义相关的头部运动合成

5.1.1 XML文件的定义

5.1.2基本头部运动定义

5.1.3头部动画合成

5.2虚拟人随机头动合成—基于HMM的头部运动合成

5.2.1 HMMs

5.2.2头部状态聚类

5.2.3参数训练

5.2.4动画合成

5.3动画融合

5.4本章小结

结论

1工作总结

2展望

参考文献

攻读硕士学位期间所发表的学术论文

致谢