基于双摄像头的实时手势输入系统

摘要

手势是一种自然、直观、易于学习的人机交互手段。利用计算机识别和解释手势输入是将手势应用于人机交互的关键前提。本文的手势的实时输入可以进一步分为两个步骤：对于已定义手势的识别及根据系统识别的手势完成输入。手势输入作为一种新型的人机交互技术，已经成为涉及图像处理、模式识别、计算机视觉等领域的一个比较活跃的课题。由于手势定义的灵活性、复杂性及不同手势之间的相似性、以及时间和空间上的差异性等特点，加之人手是复杂变形体，使得手势输入又是一个极富挑战性的多学科交叉的研究课题。本文源于国家863课题“基于手势的拟人化人机交互系统”，完成了双手的手势图像预处理、手势特征的提取、已输入手势的识别及对于输入法的控制输出，其中包括手势图像的切分。在图像的识别率和识别速度上都有一定的提高。在自然光照，实验室光照，复杂背景和简单背景下的识别情况进行了实验对比，较好的解决了在复杂背景下识别率较低的问题，并且光照条件不再局限在实验室光照条件下，自然光照条件下也能有较高的识别率。
　　本文设计并实现了基于双摄像头的实时手势输入系统，该系统能够实时地完成对于左右手的识别工作，并通过识别结果对输入法进行控制，在左右手交替输入的过程中提高了输入效率。本系统的完成主要包括四个步骤：首先，对摄像头捕捉的手势图像进行预处理：根据人体肤色特征从一帧图像中提取分割出手势区域，并对分割后的手势图像进行相应的增强、二值化及使用拉普拉斯边缘提取算法获取手势轮廓，再用白色填充手势区域；第二步是对手势图像进行特征提取：通过对多种特征及算法的比较，本文选取了包括手势几何特征，Zernike矩特征，傅里叶描述子共同描述的手势特征，并且取得了较好的效果；第三步进行手势识别：采用多层感知器进行手势的分类识别，由于采用单目视觉的方法，故实时性也较好；最后是对输入法的控制：将手势分为字母手势和操作控制手势，字母手势实现了连串的输入，操作控制手势实现对输入法的启动，输入信息的修改及完成。

目录

基于双摄像头的实时手势输入系统

REAL-TIME GESTURE INPUT SYSTEMBASED ON DUAL-CAMERA

摘 要

Abstract

绪论

1.1 课题背景及研究意义

1.2 国内外手势输入方向的研究现状

1.2.1国内手势输入方向的研究现状

1.2.2国外手势输入方向的研究现状

1.3 手势输入研究综述

1.3.1手势输入的定义和分类

1.3.2常用手势识别算法

1.3.3 手势输入技术瓶颈

1.4本文主要研究内容及章节安排

手势模型的建立与分析

2.1 引言

2.2 手势建模

2.2.1基于三维的手势模型

2.2.2基于表观的手势模型

2.3手势分析

2.3.1特征检测

2.3.2特征参数

2.4 识别类型

2.5 本章小结

手势图像预处理

3.1 引言

3.2 人体肤色特征

3.2.1颜色空间

3.2.2肤色聚类

3.2.3图像二值化

3.3 噪声处理

3.3.1 图像增强

3.3.2 图像去噪

3.4 边缘提取

3.4.1 边缘检测算子

3.4.2 拉普拉斯轮廓提取

3.5本章小结

手势特征参数提取

4.1 引言

4.2基于手势几何特征提取

4.3基于Zernike矩特征提取

4.3.1矩的概念

4.3.2矩的物理意义

4.3.3 Zernike多项式

4.3.4 Zernike矩的定义

4.3.5 Zernike矩的性质

4.4基于傅立叶描述子的特征提取

4.4.1离散傅立叶变换

4.4.2提取特征

4.5 本章小结

系统实现及实验结果

5.1系统实现

5.1.1系统开发环境

5.1.2 OpenCV函数库简介

5.1.3系统运行界面

5.2手势输入流程

5.2.1手势输入系统工作原理

5.2.2手语手势的设计

5.3 实验结果及结论

5.3.1系统实验环境

5.3.2实验结果分析

5.3.3实验对比分析

5.4 双摄像头控制输入法原理

5.5 系统实时性测试

5.6本章小结

结 论

参考文献

附录1 实验室光照下简单背景与复杂背景结果对比

附录2 自然光照下简单背景与复杂背景结果对比

哈尔滨工业大学硕士学位论文原创性声明

哈尔滨工业大学硕士学位论文使用授权书

致 谢