基于立体视觉的手形手势识别研究

摘要

随着信息技术的迅猛发展，人机交互也越来越成为日常生活中一个不可缺少的部分，人机接口技术的发展也越来越快。传统的鼠标键盘等人机交互手段虽然越来越向方便快捷性方向发展，但是在人机交流的自由性和自然性方面还是不很理想。一种符合人们在日常生活中的交流习惯的人机交互技术越来越受到青睐。因此近年来兴起的基于视觉的手势交互逐渐成为人机交互领域的研究热点，它使得人机交互更加自然、更加人性化。这项技术在家电控制、机器人控制、哑语教学及游戏控制等方面有着广泛的应用前景。
　　 由于手本身不是刚体，所以做出来的手形手势具有多样性和多义性，即使是同一个人的做出的同一个手势在不同的时间里也不是完全一样的。而且手势识别所涉及到的学科广泛，包括数字图像处理、模式识别、人工智能及计算机视觉等学科，因此基于视觉的手势识别是一个极富挑战性的研究课题。
　　 手势分为静态手势和动态手势两种，静态手势就是指手势在某个时间点的姿态、形状即手形，动态手势指的是手在空间中的运动轨迹。
　　 本文主要研究基于计算机视觉的静态手形和动态手势的分割及识别等方面的相关内容。由于摄像头采集到的都是空间物体的二维投影信息，物体在由三维空间向二维空间投影时必不可免地会丢失一些信息，由于单个摄像头采集到的手势信息可能不全面，为了使得采集到的图像信息能更真实贴近地反映物体的本来面目，本文采用两个摄像头从不同视角对手势进行图像采集，对采集到的两幅图像相互参照，减少误识的发生。
　　 本论文的研究内容包括下面几个部分：
　　 1．在手势分割方面，对比研究了一些常用的分割方法。利用肤色模型法实现了静态手形的分割，通过对采集到的视频流进行差分运算，分割出运动区域，然后在此基础上利用肤色模型法实现了手形手势的分割，对分割出来的手势进行相关的后处理，如空洞的填充、孤立噪声点的去处，使得分割出来的手势更加准确。
　　 2．在手势特征提取方面，对常见的手势特征及特征提取方法进行了详细的研究。特征包括几何不变矩、区域重心、手指个数等，由于本文选择讨论的手势比较简单，利用手指个数作为静态手形的特征矢量，对动态手势则采用手势区域的重心位置和手指数这两个特征来作为其最终的特征矢量。
　　 3．在手势识别方面，对手势识别过程及方法进行了相关研究，采用隐马尔科夫模型来实现手势的训练和识别。