改进的粒子滤波算法在手语合成中的应用研究

摘要

伴随着社会文明程度的提高，信息无障碍的研究与发展备受瞩目。其中针对聋哑人的手语识别技术研究得到了社会越来越多的关注。手语作为聋哑人之间最基本的交流方式，为社会上的弱势群体如聋人和正常人之间的交流和沟通提供了一个很好的平台，让他们能够像正常人一样得到整个社会方便快捷的服务，因此作为手语中关键的手语识别技术和合成的技术显得尤为重要，而且手语技术的发展也是今后社会文明程度进一步提高的关键。
　　 本文详细地介绍了手语合成的发展历程和研究现状，并在视频拼接的手语合成基础上，通过数据手套等数据采集设备，深入探讨了人体建模和人体关键点的运动跟踪的常用算法。通过对手语视频合成中的过渡帧的构建来提高手语合成的真实度，综合比较了常见人体运动跟踪的优缺点及存在的改进方法。并重点研究了粒子滤波算法及其存在的局限性，在分析其本身及研究目前现有的目标跟踪算法的基础上，提出了光流相结合的粒子滤波算法，对手语视频合成中人体关节点的目标跟踪与识别提供了数据基础。
　　 在3ds Max和VC++6.0搭建的实验平台下，通过插件的方式实现了本文提出的改进算法。在普通PC机相同的条件下，分别用传统粒子滤波算法和本文的改进算法进行实验，经过对比，利用光流驱动的粒子滤波算法比传统粒子滤波方法跟踪手语视频中的腕部位置不会因为手部移动速度过快而出现了明显的跟踪错误，保证了目标跟踪的准确性，实验论证了本文提出的改进算法的实用价值。
　　 最后，对人体关键点的跟踪结果进行了分析，通过本文提出的过渡帧判断机制和融合机制进行了最后一步的手语合成，实验验证，基于过渡视频库拼接的手语合成其合成效果高于直接拼接。

目录

声明

摘要

插图索引

附表索引

第1章 绪论

1．1 手语合成概述

1．2 手语合成方法

1．3 手语词库的建立

1．3．1 数据手套与传感器的数据采集

1．3．2 控制点的运动编辑方式

1．4 基于视频拼接的手语合成

1．5 中国手语合成系统简介

1．6 本文的研究工作

1．7 论文的内容安排

第2章 人体关键点位置信息的获取

2．1 数据手套

2．1．1 数据手套现状

2．1．2 数据手套的研究

2．1．3 数据手套在手语中的应用及研究现状

2．2 手语合成的相关方法和技术

2．2．1 二维人体轮廓模型

2．2．2 人体模型的手臂运动显示

2．3 手语库的构建

2．4 上下文相关的手势运动平滑算法

2．4．1 基本思想

2．4．2 上下文手势运动平滑算法

2．5 系统设计与实现

2．5．1 手语合成系统的框架

2．5．2 手语合成的关键技术

2．6 实验结果与分析

2．7 本章小结

第3章 人体运动跟踪

3．1 人体运动跟踪的研究现状

3．1．1 人体运动目标跟踪现状

3．1．2 目标跟踪领域当前存在的问题和难点

3．2 粒子滤波算法

3．2．1 粒子滤波原理概述

3．2．2 算法模型

3．2．3 算法描述

3．2．4 分块采样

3．2．5 使用粒子滤波完成关键点跟踪的流程

3．3 基于光流法的图像目标检测

3．3．1 光流法概述

3．3．2 基于光流场的运动目标检测方法

3．4 本章小结

第4章 改进的粒子滤波算法的应用

4．1 人体骨架跟踪

4．2 光流驱动的粒子滤波算法

4．3 实验结果分析

4．4 本章小结

第5章 过渡帧的判断和合成

5．1 基于视频拼接的手语合成

5．1．1 基于视频拼接的手语合成发展历程

5．1．2 过渡视频边界界定

5．1．3 视频序列的平滑处理

5．2 过渡帧的判断

5．3 本章小结

总结与展望

参考文献

致谢

附录A 攻读学位期间所发表的学术论文