复杂背景下的手势识别算法研究

摘要

随着现代科技的迅猛发展，人与计算机等机器的交互方式也越来越多样化。传统操作方式由于其操作上具有一定的约束性，已经满足不了人们对更自然和谐的人机交互方式的追求。手势识别，作为一种更加“人性化”的交互方式，受到人们广泛的关注和追捧。但是由于手势的多变性、多样性、多义性和时空差异性等特点，加之光照、背景等干扰，基于视觉的手势识别在技术上还存在很多困难。针对这些问题，本文分别对复杂背景下的静态和动态的手势识别算法进行研究。
　　针对现在基于计算机视觉的静态手势识别的研究中要么需要较为复杂且昂贵的输入设备，不利于自然灵活的人机交互，要么容易受到背景中人脸等肤色物体的干扰，导致识别率和实时性的效果均不佳，本文设计了一个采用普通摄像头的基于计算机视觉的静态手势识别系统。首先，采用基于人脸先验知识的自适应肤色分割和基于混合高斯模型的前景分割，定位到手势区域;然后，分析得到手势区域，提取不变性特征值，分别采用BP神经网络算法和SVM算法训练、分类特征向量实现数字1-9的9个手势识别。其中基于BP神经网络的手势识别系统的平均识别率为91.89％，而基于SVM的识别系统的平均识别率为95.89％，能够比较准确的识别出手势。
　　针对动态手势轨迹识别中，手势容易受到人脸、遮挡等影响致使跟踪丢失或者丢失后难以召回手势，以致识别率不佳的问题，本文设计了一个实现10个动态手势轨迹识别的系统。首先，采用了TLD算法跟踪有效的手势模板，并对手势结束后是否为跟踪丢失的情况进行一次判定，以获得完整的手势运动轨迹;然后，通过对手势中心的运动距离和运动方向两组观测序列的分析，分别设计了基于DTW和HMM算法的动态手势识别系统，其中DTW算法的平均识别率为93％，识别时间仅为23.8μs，HMM算法的识别率为95.6％，识别时间710.2μs，都能较好的识别出动态手势轨迹。
　　本文设计的静态和动态手势识别系统，可以进一步融合，并可推广到视频播放控制、手写输入等应用中，为基于视觉的手势识别提供一种简单有效的方法。

目录

声明

摘要

第1章 绪论

1．1 研究背景与意义

1．2 手势识别的研究现状与概述

1．2．1 国内外研究现状

1．2．2 手势识别系统的概述

1．3 本文的研究内容和章节安排

1．3．1 主要研究内容和系统框架

1．3．2 本文的章节安排

第2章 手势分割算法研究

2．1 概述

2．2 基于人脸先验知识的肤色分割

2．2．1 人脸检测

2．2．2 肤色建模和肤色分割

2．3 手势图像的预处理

2．3．1 图像的平滑

2．3．2 图像形态学

2．4 混合高斯模型去除背景

2．4．1 模型简介

2．4．2 基于混合高斯模型的前景分割

2．5 手势分割

2．6 本章小结

第3章 静态手势识别算法研究

3．1 概述

3．2 手势特征提取

3．2．1 轮廓的提取和手指的判断

3．2．2 质心的提取

3．2．3 特征向量

3．3 基于神经网络的静态手势识别

3．3．1 人工神经网络

3．3．2 反向传播算法

3．3．3 基于BP神经网络的分类器设计

3．4 于SVM的静态手势识别

3．4．1 线性可分最优分类

3．4．2 基于SVM的分类器设计

3．5 实验结果与分析

3．6 本章小结

第4章 动态手势识别算法研究

4．1 概述

4．2 基于TLD的动态手势跟踪

4．3 基于DTW的动态手势识别

4．3．1 DTW算法原理

4．3．2 动态手势轨迹的特征提取

4．3．3 基于DTW的手势识别决策过程

4．4 基于HMM的动态手势识别

4．4．1 HMM结构和基本问题

4．4．2 HMM原理及算法

4．4．3 基于HMM的手势识别决策过程

4．5 实验结果与分析

4．6 本章小结

第5章 总结与展望

5．1 工作总结

5．2 未来展望

参考文献

致谢

攻读硕士学位期间发表的论文及所做工作