基于视觉的人体跟踪技术在人机交互中的应用

摘要

现阶段，数字娱乐领域的人机交互模式单一，此研究将计算机视觉引入数字娱乐的人机交互，采用基于视觉的人体运动分析作为数字娱乐的人机游戏交互界面，进一步丰富和完善了数字娱乐的人机接口。
　　本研究应用了一个简易的人体上半身三维模型，这个模型对跟踪和人体模型的恢复有很强的指导作用，能够很好地模拟人上半身的一般动作。使用USB单摄像头采集图像，实时计算场景深度信息，然后结合使用深度和颜色信息进行人体跟踪，做了基于颜色直方图的粒子滤波的跟踪算法，并得出了实验结果。通过实验证明，该系统能在复杂背景下对人体上半身的一般运动进行实时鲁棒的跟踪和识别，并很好地解决了自动初始化和错误恢复等问题。此外还开发了一套数字娱乐程序框架和一款运用了DirectX技术，完全使用人体运动分析系统且通过身体驱动的Stranded游戏，运用Body Tracking类作为该游戏的输入系统，该类是输入系统中的最主要的一个类。它是把基于视觉的人体跟踪技术运用在游戏中的人机交互接口的平台，以手部姿态跟踪与识别为例进行人机交互的实现，头部的跟踪与识别则参照上述方法和程序进行实现。
　　本游戏系统通过从USB摄像机中获取的人体实时图像，经过图像的预处理（图像的简化等），得到不同阙值的人体头部和人手的特征量，并从中选取当前背景下最合适的阙值，让决策树进行识别，最后通过窗口控制来作为游戏中替代鼠标键盘的输入方式，实现游戏的人机交互，从而构建了一个新颖的具有很强人机交互特点的数字娱乐系统。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 基于计算机视觉的人机交互技术与人体运动分析简介

1.2 本文的研究目的和意义

1.3 论文的主要工作

第二章 基于视觉的单摄像机人体跟踪理论、方法与技术

2.1 概述

2.2 人体模型的设计

2.3 基于人体模型的跟踪方法

2.4 人体跟踪系统的错误恢复方法

2.5 本章小结

第三章 人机交互三维游戏系统的设计

3.1 人机交互系统模型

3.2 人机交互三维游戏系统的功能模块图

3.3 人机交互三维游戏系统的功能模块简介

3.4 本章小结

第四章 人机交互三维游戏系统的实现

4.1 人体跟踪系统的实现

4.2 “Stranded”三维游戏及其人机交互接口的实现

4.3 本章小结

第五章 人机交互三维游戏系统演示

5.1 游戏“Stranded”的菜单和界面

5.2 游戏“Stranded”的碰撞检测

5.3 游戏“Stranded”的游戏元素加载

5.4 游戏“Stranded”的运行时刻界面

5.5 本章小结

第六章 结论与展望

致谢

参考文献