基于虚拟人技术的手语合成研究

摘要

聋哑人与健听人用口语进行交流是十分困难的。目前，我国的书籍、报纸、电视新闻等种种传播媒介，都是以书面文字和口头语言这类形式出现的，很少有用聋哑人最为熟悉的手语来进行表达。因此，有必要研究一种手语合成技术能将自然语言转换成逼真、流畅的手语表达形式，这将为聋哑人群体获取与健全人同样的信息资源以及实现无障碍交流等提供便利。
　　 手语合成即把自然语言转换成聋哑人手语，该手语借助虚拟人的动画演示的形式进行表达。本文主要分析和研究虚拟人运动数据获取、运动基本单元提取以及运动合成等关键技术，其主要研究成果如下:
　　 首先，本文基于动作捕捉设备采集人体运动数据构建运动数据源，并对采样数据进行修复，给出实验结果。
　　 其次，提出了一种骨骼夹角特征表示法和基于关键帧提取的运动数据切分算法。首先将复杂的人体动作数据用相邻骨骼段之间的夹角在时间维度上的变化曲线进行表达，然后根据“边界”数据帧的选取规则，选取曲线上极值点处的的数据帧作为候选关键帧建立关键数据帧集合，最后在提取关键帧的基础之上应用分层曲线逼近算法指导运动数据合理分段。
　　 再次，提出了运动单元的概念，阐述了运动单元在手语合成研究中的重要性。首先给出了运动单元的形式化定义，然后对分段后的运动数据采用加权动态聚类方法实现动作数据段的动态分类，最终实现运动单元的有效提取。
　　 最后，根据检索到的动作数据，基于上肢运动学理论计算出各关节的运动参数，最终设计并实现了借助获取的运动单元数据驱动虚拟人模型完成手语合成的演示系统。

目录

声明

摘要

第一章 绪论

1．1 研究背景和意义

1．2 国内外研究现状

1．3 手语合成技术简介

1．4 本文研究的主要内容

1．5 本文的组织结构

第二章 动作数据的采样与修复

2．1 引言

2．2 动作捕获设备综述

2．3 动作数据的采样和预处理

2．4 动作数据的修复处理

2．5 本章小结

第三章 基于关键帧的动作数据分段

3．1 引言

3．2 人体结构描述及其特征表示

3．2．1 人体结构模型描述

3．2．2 骨骼夹角特征表示法

3．3 关键数据帧的提取

3．4 动作数据的分段

3．5 实验结果

3．5．1 关键帧提取结果

3．5．2 数据切分结果

3．6 本章小结

第四章 运动单元的获取

4．1 引言

4．2 运动单元的定义

4．3 数据段的聚类

4．3．1 动态时间规整算法(DTW)

4．3．2 基于DTW的动态聚类算法

4．3．3 加权聚类方法

4．4 实验结果

4．5 本章小结

第五章 虚拟人运动的合成

5．1 引言

5．2 手势的基本形状

5．3 上肢运动学理论

5．4 运动合成的实现

5．5 本章小结

第六章 总结与展望

6．1 总结

6．2 展望

参考文献

发表论文和科研情况说明

致谢