基于Kinect和指尖识别的EAST手势交互系统

摘要

EAST三维模型结构复杂、部件种类繁多，对于大屏幕上的EAST模型交互，传统的交互设备如鼠标键盘等都需要时刻接触设备，给用户带来不便。无法达到普通小显示屏给人带来的交互一致性，同时大屏幕上的交互会带来强烈的空间差异性，长期观看容易使人产生疲劳感。三维模型交互比二维界面交互更为复杂，对复杂的EAST三维模型来说，传统交互方式具有一定的局限性、复杂性和疲劳性。因此我们设计了一种自由、直接的交互方式来减弱空间差异性，降低交互复杂性，避免长期疲劳性的系统—EAST三维模型手势交互系统。对系统的研究分为三个部分实现:需求分析、算法研究实现、系统实现和测试。
　　在需求分析阶段，首先对EAST实体装置的基本情况进行了简单介绍，从而引出了EAST三维虚拟模型的交互需求。然后针对EAST模型的结构进行了分析和介绍，并以调查问卷的形式进行交互需求的调研和分析。通过调研分析，我们设计了6种手势，分别是移动、点击、拾取、旋转、拖拽、缩放。与此同时，通过查阅和研究国内与国外的裸手识别相关资料和文献，我们最终提出了“基于Kinect和指尖特征”的动态手势识别算法。
　　“基于Kinect和指尖特征”的手势识别算法的实现主要包括4个阶段:数据采集、区域分割、特征提取、特征识别。数据采集阶段我们采用了微软的Kinect二代传感器，从Kinect的人体骨骼帧和深度帧提取出人体手部的彩色图像帧的大致区域。然后，通过高斯混合模型背景减法，从手部的大致区域里面去除背景得到手部区域，再利用椭圆肤色模型算法分割出肤色区域并通过形态学开闭运算进行区域平滑和去噪，从而得到进一步精确的手部区域。在指尖特征提取之前，先对手部区域进行轮廓提取，再通过计算手部轮廓的重心和霍夫曼圆圆心的加权平均求得掌心位置，同时在进行轮廓采样时，我们提出了根据手部区域占图像比例来动态设置采样距离的方法，通过计算采样点的K曲率得到指尖候选点，最后通过指尖和掌心的位置关系和距离因素来排除非指尖点从而得到指尖点。手势识别我们采用了有限状态机的方法。
　　最后，利用该手势识别算法，基于Unity3D平台实现了EAST模型手势交互系统。系统的功能包括模型拆解、子系统查看、三视图、场景漫游。并基于此系统进行了算法背景适应性分析和动态手势识别率检测。结果表明，算法有较强的背景适应性和较高的动态手势识别率。

目录

声明

摘要

第1章 绪论

1．1 研究背景与意义

1．1．1 传统设备的限制

1．1．2 体感交互时代

1．1．3 EAST模型体感交互意义

1．2 国内外研究现状

1．2．1 国外研究现状

1．2．2 国内研究现状

1．3 论文组织结构

1．4 本章小结

第2章 EAST模型交互需求及系统方案研究

2．1 EAST装置的基本情况

2．2 EAST模型简介

2．3 模型交互分析

2．3．1 加载EAST模型

2．3．2 自由查看

2．3．3 详细信息显示

2．3．4 模型拾取及视口变换

2．3．5 EAST主机装配动画

2．4 交互手势设计

2．5 系统研究方案

2．6 开发工具分析及选择

2．6．1 开发语言和环境

2．6．2 Unity3D引擎

2．7 本章小结

第3章 数据采集和手部区域分割

3．1 引言

3．2 数据采集

3．2．1 Kinect简介

3．2．2 采集方法

3．3 背景减法

3．3．1 背景减法相关研究

3．3．2 混合高斯的背景减法

3．4 肤色分割

3．4．1 椭圆肤色模型

3．4．2 算法流程

3．5 小结

第4章 基于K曲率和掌心距离的指尖检测

4．1 引言

4．2 手掌定位

4．2．1 圆形霍夫变换

4．2．2 手掌重心及掌轴

4．2．3 掌心位置确定

4．3 指尖检测

4．3．1 轮廓采样

4．3．2 曲率计算

4．3．3 指尖检测

4．3．4 掌轴检测

4．4 小结

第5章 EAST手势交互系统实现及测试

5．1 引言

5．2 系统方案

5．2．1 系统架构

5．2．2 系统目标

5．2．3 算法设计

5．3 指尖特征提取实现

5．3．1 Kinect初始化

5．3．2 GMM模型训练实现

5．3．3 手部区域分割

5．3．4 特征提取过程

5．4 系统功能实现

5．4．1 手势模板定义

5．4．2 模型处理

5．4．3 功能实现及界面

5．5 结果分析

5．5．1 背景适应性

5．5．2 静态手势识别的稳定性

5．5．3 动态手势识别的准确率

5．6 小结

第6章 总结与展望

6．1 系统总结

6．2 工作展望

参考文献

致谢

在读期间发表的学术论文与取得的其他研究成果