基于双目视觉的人手定位与手势识别系统研究

摘要

在虚拟现实应用领域,用户在操作虚拟物体时候,传统的鼠标键盘等输入设备很难满足操作沉浸感和趣味性。而人类在平时的交流过程中,除了使用语言、文字沟通之外,还常常借助手势来完成交流任务。因为人手不仅包含大量的符合人类认知习惯的交互信息,而且由于人手的连续运动,还存在三维空间位置信息,因此完全可以将人手位置和手势结合起来,作为一个不可分割的整体进行研究。考虑到光学定位具有安装方便、价格低廉、非接触式测量等优点,本论文设计开发了一套基于光学的人手定位与手势识别系统,该系统在实时定位空间人手三维位置的同时,还能够识别出相应的手势,可将其作为虚拟手的驱动接口,实现对虚拟物体的抓取、移动和释放操作。
　　 文中首先对要实现的系统进行了需求分析和功能设计,将整个系统分成六大模块,它们分别为操作者、图像采集模块、人手定位模块、虚实注册模块、手势识别模块和虚拟操作模块,并结合六大模块给出了系统的框架组成。然后分别介绍了这几大模块的实现方法。在人手定位模块中,采用CamShift算法对目标人手进行跟踪,并对该算法进行了改进,实现了全自动人手目标检测。同时提出了一种新的人手特征点提取方法,该方法将人手的质心作为匹配点,然后根据双目视觉定位数学模型计算目标位置信息;在手势识别模块中,利用基于肤色的图像分割技术,首先将摄像机采集的RGB原始图像转变为HSV二值图像,可以避免光照强弱的干扰。然后利用人手轮廓面积和人手质心点像素坐标两个约束条件,在HSV图像中查找并提取手型目标轮廓,接着利用凸包理论,在提取的人手轮廓点集中找到人手的凸包点,利用手型凸包点轮廓面积与原始轮廓面积的比值不同识别手势。
　　 最后,介绍了系统实现的软硬件环境和系统实现核心流程图,并给出了一个应用在虚拟化学实验平台中的具体实例。