基于视线跟踪与手势识别的人机交互技术的研究

摘要

随着社会的发展，人机交互技术在不断发展变化，也一直是人们研究的热点。键盘、鼠标、触摸屏、语音交互等每项人机交互技术的突破，都会给人们的生活带来巨大的改变。结合传统的鼠标和触摸技术的特点，本论文研究基于单目摄像头的视线跟踪与手势识别的人机交互技术。该技术具有更加自然、直观和低成本的优点，对于实现更符合人们操作习惯的人机交互有着重要意义，适用于普通的笔记本电脑、手机、平板电脑、智能电视等各类智能终端。为了适应各种复杂的应用场景，课题必须解决一些挑战性的关键问题，如复杂背景的干扰、视线的确定、深度信息的缺乏和人手的高自由度等。为此，本文提出相应的图像处理技术获取人眼和手势信息，并利用空间定位自适应算法实现视线定位，最后通过判别手势类型让计算机实现不同操作。在这些算法的基础上，本文实现了一个基于单目视觉的视线-指尖交互系统。本论文主要内容如下： （1）人眼检测和手势识别算法。人眼检测采用基于Haar特征的人脸和人眼检测分类器，该分类器实现简单快速且准确率高。手势识别分为手势分割模块和手势识别模块。在手势分割中，采用基于YCbCr颜色空间的自适应动态肤色分割和基于动态背景建模的背景差分法相结合，可以实现对肤色和背景模型的实时更新，这种方式能在复杂背景中提取目标。为了排除手臂的干扰，对分割的手势区域采用基于距离变换和掌心圆切割的手臂去除算法获取更加准确的手形。在此基础上，结合基于凸包算法的指尖检测和基于Hu矩特征的模版匹配法实现静态手势识别。 （2）通过图像处理技术获取人眼和指尖信息的基础上，采用空间定位算法实现视线-指尖定位。视线-指尖定位主要是根据图片中人眼和手势的位置关系以及其在空间中的位置关系，推导出人眼与指尖的连线与屏幕的交点。由于本系统采用的是低成本的单目摄像头，这会带来的问题是难以准确获取深度信息，将导致光标定位误差。为此本文提出一种光标自适应修正算法，可以不断实时修正深度信息，以实现更加准确的光标定位。实验表明光标自适应修正算法能明显提高光标定位的准确性。 （3）基于上述两大模块，本文设计了适用于电脑的基于单目视觉的视线-指尖交互系统。在不断优化交互模式和算法流程下，本系统通过组合不同手势控制计算机，实现了光标定位、光标移动、单击、双击和放大缩小操作。实验表明，该系统能成功实现上述人机交互方式，让用户获得更好的交互体验。

目录

第一个书签之前