实时视频中的手势轨迹识别及其应用

摘要

近年来，人们想要寻求更加人性化的人机交互技术，因而它成了当下的一个热门的研究方向。而基于计算机视觉的动态手势识别把理解人的动态手势含义作为目标，为人在和虚拟计算机交流提供了更好的人机交互体验。
　　 手势一般被划分为静态与动态两种，前者通过手部的外形特征表达其对应的含义，后者通过获取手移动的轨迹来表达其对应的语义。本文研究的内容属于后者，即通过捕捉动态手势轨迹并理解其表达的对应含义，同时对该含义做出相应的动作。
　　 本文利用OpenCV计算机视觉库在VS2008平台上设计了一个基于实时摄像头的集动态手势检测、动态手势跟踪、动态手势轨迹识别的应用。研究内容大致分为4个部分：实时摄像头采集视频序列、实时动态手势检测，实时动态手势跟踪以及在此基础上进行跟踪轨迹的最终识别。
　　 在实时摄像头采集视频序列的部分，通过DirectShow方式采集实时摄像头的视频图像序列，并作为后续工作的输入：在实时动态手势检测部分，采用基于背景差分运动检测来实现对实时运动的肤色进行动态特征提取，并同时结合运动图像的HSV直方图对手势特征进行进一步提取。该方法能快速有效的对视频序列中的手势进行提取，并且能满足实时性；在实时动态手势跟踪部分，采用粒子滤波跟踪算法并结合HSV直方图特征对视频序列中运动的手势轨迹进行跟踪。粒子跟踪算法能应对实时手势运动轨迹的不确定性，且结合特定的HSV颜色直方图特征，能很好的解决运动过程中发生的遮挡问题；在动态手势轨迹的识别部分，首先采用的方法是将手势运动轨迹映射到一个鼠标游戏的坐标中，实现对该游戏的人机交互；然后采用了HMM方法对基本的运动轨迹进行语义识别，其中HMM模型的训练达到了识别的要求，但是识别的效果主要取决于实时运动轨迹序列的采集工作与采集方法的优化。