基于ARM嵌入式平台的视觉手势识别技术研究

摘要

随着人机交互技术的提出和发展，基于视觉的手势识别已经成为自然人机交互技术研究中的热点。它可以用于虚拟环境的人机交互，智能控制，手语识别以及机器人机械手的控制。而目前，嵌入式技术及其产品已经广泛应用于智能家电、工业控制、智能建筑、掌上型电脑等智能设备。将基于视觉的手势识别技术应用于嵌入式智能设备，将无疑会给人们带来一种更加自然、方便、全新的智能交互模式。因此，研究基于嵌入式系统的视觉手势识别技术不仅具有重要的理论意义，而且具有广阔的应用前景和很高的实用价值。
　　本文在分析和研究ARM Linux系统下视频捕获、手势图像预处理、复杂背景下手势的动态分割以及特征提取方法的基本理论和算法的基础上，设计并实现了一种基于ARM和Zigbee技术的嵌入式平台视觉手势识别控制系统。该系统具备控制视频源属性、获取图片格式、设置视频帧速率等功能，可以实时进行手势识别和非接触性手势控制。论文最后对系统的各项功能进行测试并得出测试结果。
　　本文的工作主要体现在以下三个方面:
　　(1)在基于对Linux视频捕获机制研究的基础上并结合嵌入式平台自身的特点，对嵌入式Linux系统下视频采集流程进行了详细分析，实现了适合于嵌入式Linux系统的图像采集模块。
　　(2)在手势分割方面，本文提出融合手势肤色信息与手势运动信息，通过手势肤色Cr分量自适应阈值分割与ViBe手势前景分割相结合的方法，在复杂背景下分割出了较好的手势区域的同时还大大减少了后续手势特征提取的计算量。
　　(3)在嵌入式手势识别算法的实现方面，本文采用开源计算机视觉库OperCV2.3.1在嵌入式平台上实现以上算法并在此基础上开发了一套基于Zigbee技术的手势控制系统来验证算法的可行性与时效性。其中，基于开源计算机视觉库在ARM嵌入式平台上的Highgui移植对GTK2.0+库的依赖性问题，本文提出采用具有很好的兼容性、跨平台性的Qt/QtEmbedded C++ Ui库替代OpenCV中的Highgui部分。
　　最后，通过实验结果表明:本文中的基于ARM嵌入式平台的视觉手势识别系统具有很好的性能。

目录

声明

摘要

插图索引

附表索引

第1章 绪论

1．1 课题研究背景及意义

1．2 国内外研究现状

1．2．1 手势识别相关技术研究现状

1．2．2 嵌入式平台图像处理研究现状

1．3 本文的研究内容

1．4 本文的组织结构

第2章 Linux视频捕获研究及手势图像预处理

2．1 引言

2．2 V4L2技术原理

2．2．1 V4L2接口

2．2．2 V4L2的驱动架构

2．2．3 Linux下摄像头驱动的支持情况

2．2．4 Linux下视频捕获模块及主要API、数据结构

2．2．5 利用V4L2技术实现视频捕获的工作流程

2．2．6 视频捕获模块在嵌入式平台上的实现

2．3 手势图像预处理

2．3．1 彩色图像转换为灰度图像

2．3．2 图像平滑去噪

2．3．3 图像锐化

2．4 本章小结

第3章 手势动态分割

3．1 引言

3．2 图像的阈值分割方法

3．2．1 阈值分割的基本原理

3．2．2 阈值法图像分割的方法分类

3．2．3 最大类间方差法(OTSU)

3．3 手势运动目标的分割方法

3．3．1 运动前景检测算法

3．3．2 肤色检测与分割

3．3．3 分割图像预处理

3．3．4 基于上述信息集合的手势分割

3．4 本章小结

第4章 手势特征提取与识别跟踪

4．1 引言

4．2 图像不变量特征与非不变量特征

4．2．1 矩不变量特征

4．2．2 Haar-Like非不变量特征

4．3 其他图像特征

4．3．1 投影特征

4．3．2 比例特征

4．3．3 边心距特征

4．4 手势特征描述和特征值快速计算

4．4．1 积分图

4．4．2 利用积分图快速计算特征值

4．5 Adaboost算法和级联分类器

4．5．1 Adaboost算法

4．5．2 级联分类器

4．6 本章小结

第5章 视觉手势识别系统验证

5．1 引言

5．2 系统的软硬件环境及功能

5．2．1 系统硬件环境及功能

5．2．2 系统软件环境及功能

5．3 系统结构及ARM嵌入式开发环境的搭建

5．3．1 系统结构

5．3．2 ARM嵌入式开发环境的搭建

5．4 系统各模块

5．4．1 视频采集

5．4．2 图像预处理模块

5．4．3 手势分割模块

5．4．4 手势特征提取模块

5．4．5 手势识别模块

5．4．6 人机交互模块

5．5 嵌入式手势识别系统验证

5．6 本章小结

结论与展望

参考文献

致谢

附录A 攻读学位期间发表的学术论文和获奖情况