基于视频拼接的中国手语合成关键技术研究

摘要

手语通过手形和位置的组合变化来传递信息与表达语义，是听障人群的主要沟通工具。手语合成就是把自然语言翻译成手语的技术，为听障人与正常人之间的沟通搭起了桥梁。基于视频拼接的手语合成就是将手语数据库中的手语词视频按输入文本拼接成新的手语视频。由于待拼接的视频片段，可能存在动作差异。为了得到更自然流畅的合成手语，需要生成中间过渡帧自然过渡前后手语动作。现有的依赖于过渡形态库的中间过渡帧生成方法，需要大量的人工工作。因此，设计更自动化的过渡帧生成算法具有重要的研究价值和应用价值。
　　本文基于对手语运动特点的分析，利用Kinect设备采集数据，重新设计了手语合成数据处理方案，并重点研究其中的过渡帧生成算法。本文提出的手语合成基于Kinect采集颜色信息、深度信息、骨架信息构建手语视频数据库，先经过预处理得到过渡帧数和骨架过渡路径，再联合网格形变和图像插补算法生成中间过渡帧，从而得到最终合成的手语视频。本论文主要的研究内容如下:
　　1、研究手语视频数据预处理。作为过渡帧生成的准备工作，预处理包括对输入的文本分词，选择最佳拼接位置，估计过渡帧数以及计算骨架过渡路径，得到的结果将输入到后续过渡帧生成模块。
　　2、研究网格形变算法。手语词视频的中间过渡帧应该符合人体运动规律。为了使形变更好地模拟动作变化的过程，提出一种局部控制的近似刚性形变算法，即在传统的形变能量中加入稀疏位移约束和平滑约束，构建具有近似刚性、局部性、平滑性和形状感知性的形变模型，并用“局部-全局”迭代算法求解。利用预处理得到的过渡骨架对待拼接手语视频帧作形变操作，得到的前向和后向形变序列作为后续图像插补操作的输入。
　　3、研究图像插补算法。因为形变只是针对单源视频帧的操作，为了使过渡帧在符合人体运动规律的同时表现信息的过渡过程，本论文提出一种形变辅助的图像插补算法。利用形变得到的前向和后向形变序列，考虑源相似性和时间相关性，设计一种迭代优化策略进行图像插补。为了更好地保留图像细节，综合利用颜色和梯度距离度量图像块的相似性。最终融合前向和后向形变序列，得到合成手语的中间过渡帧。
　　本论文在手语视频数据上验证了所提出的合成算法的性能，结果表明使用本论文的算法能够自动地合成平滑并且真实的手语视频。

目录

声明

摘要

常用数学符号

第1章 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．2．1 基于虚拟人的手语合成

1．2．2 基于视频拼接的手语合成

1．3 论文主要研究内容

1．4 论文结构安排

第2章 基于视频拼接的手语合成流程设计

2．1 引言

2．2 基于视频拼接的手语合成流程

2．2．1 数据处理流程设计

2．2．2 关键技术模块算法设计

2．3 本章小结

第3章 数据采集与预处理

3．1 引言

3．2 数据采集

3．3 数据预处理

3．3．1 文本分词

3．3．2 最佳拼接点计算

3．3．3 过渡帧数计算

3．3．4 骨架过渡路径生成

3．4 本章小结

第4章 局部控制的二维形变算法研究

4．1 引言

4．2 形变算法简介

4．2．1 基于空间插值的形变算法

4．2．2 基于微分域的形变算法

4．3 局部控制的近似刚性形变模型

4．3．1 改进的形变模型

4．3．2 骨架图柄预处理

4．4 形变模型求解

4．5 实验结果与分析

4．6 本章小结

第5章 形变辅助的图像插补算法研究

5．1 引言

5．2 图像插补算法简介

5．3 形变辅助的插补算法

5．4 实验结果与分析

5．5 本章小结

第6章 总结与展望

6．1 工作总结

6．2 未来展望

参考文献

致谢

硕士在读期间科研成果