单目视觉手势交互技术及其在互动娱乐中的应用

摘要

人机交互(Human-Computer Interaction, HCI)技术作为一个独立的研究领域自诞生以来一直影响着计算机科学的发展。随着计算机的普及，人们对交互方式的要求也越来越高。以往人去适应计算机的交互方式已不能满足人们的要求。人机交互技术正向着计算机不断去适应人的方向发展。普适计算(Pervasive Computing)时代是一个交互手段多样化的时代，基于视觉的手势交互(Vision-based Gesture Interaction)是其中不可或缺的一项关键技术。但是视觉手势交互在技术和应用方面都存在着诸多挑战，本文对单目视觉下的手势交互技术的实现及应用做了尝试性的研究。主要工作如下；
　　 (1)在变形手势跟踪方面：为了解决复杂背景下（如有肤色干扰的背景）的变形手势跟踪问题，研究了现存的大量跟踪算法。提出了一个基于均值移动和Kalman滤波器的变形手势跟踪框架。
　　 (2)在跟踪自动初始化方面：同时讨论了跟踪开始以及跟踪失效时的初始化解决方案。提出了一种变形手势跟踪过程中自动初始化的层次模型并基于该模型提出了一种有效的系统状态检测方法。
　　 (3)在静态手势识别研究方面：基于快速原型系统开发的背景提出了一种基于PGH（成对几何直方图）的静态手势识别方法。并在其基础上采用一种基于肤色统计的辅助算法进行改进，形成一种基于少量手势模板的高效静态手势识别方法。
　　 (4)在系统应用方面：基于以上研究开发了一个手势工具箱IEToolkit，这是一个屏蔽了计算机视觉底层技术的快速原型系统。在交互应用方面提供了高层语义映射，实现了与互动游戏界面的较好集成。并基于该工具箱开发了一些互动娱乐系统。
　　 本文提出的各种算法简单易于实现，实验表明，本文方法能在在复杂运动下有效地对多手势进行识别和跟踪，能够满足基于视觉的实时人机交互的要求，并能用于基于视觉的互动娱乐领域。

目录

文摘

英文文摘

1 绪论

1.1 研究背景

1.1.1 人机交互技术

1.1.2 用户界面简介

1.1.3 视觉用户界面

1.2 手势交互技术简介

1.2.1 手势交互技术的定义和分类

1.2.2 视觉手势交互技术的优点

1.3 本文所做的工作

1.4 本文的组织结构

2 视觉手势交互研究综述

2.1 引言

2.2 视觉手势交互的特点

2.3 视觉手势交互技术的相关研究

2.3.1 视觉手势交互技术的发展现状

2.3.2 视觉手势交互系统简介

2.4 视觉手势交互领域面临的挑战

2.5 基于视觉的手势交互框架

2.6 小结

3 肤色干扰下的变形手势跟踪

3.1 引言

3.2 手势分割

3.3 变形手势跟踪

3.3.1 基于Camshift算法的手势定位

3.3.2 基于Kalman滤波器的手势预测跟踪

3.3.3 变形手势跟踪结果

3.4 跟踪的自动初始化

3.4.1 系统状态检测

3.4.2 自动初始化的层次模型

3.5 小结

4 静态手势识别

4.1 引言

4.2 不规则物体的形状匹配

4.2.1 基于轮廓特征的形状匹配

4.2.2 基于区域特征的形状匹配

4.2.3 匹配方法间的比较

4.3 静态手势分类

4.3.1 基于Bhattacharyya距离的静态手势分类

4.3.2 基于肤色统计分类的辅助算法

4.4 静态手势识别结果及评估

4.5 本章小结

5 基于视觉的手势开发工具及系统应用

5.1 引言

5.2 相关研究工作

5.3 基于视觉的手势开发工具IEToolkit

5.3.1 IEToolkit的设计目标

5.3.2 IEToolkit的体系结构

5.3.3 IEToolkit的界面反馈机制

5.3.4 基于IEToolkit的系统开发过程

5.4 基于IEToolkit工具箱的互动娱乐应用实例

5.5 小结

结论

致谢

参考文献

支持本文的项目目录

攻读硕士学位期间发表的学术论文及研究成果