一种基于单目视觉移动拍摄下的手势轨迹识别方法

摘要

一种基于单目视觉移动拍摄下的手势轨迹识别方法，其特征是通过指挥人员特征，进行指挥人员腿部和人脸检测，实现对指挥人员定位、确定尺度和手部相对位移的计算，最后通过相对位移方向特征进行手势轨迹识别。本发明能够实现在摄像头运动的情况下定位指挥人员和手势的识别，排除非指挥人员的干扰，提高效率，保证识别准确率，具有很好的鲁棒性。

说明书

技术领域

本发明涉及一种图像识别技术，尤其是一种人体定位和手势轨迹识别技术，具体地说 是一种基于单目视觉移动拍摄下的手势轨迹识别方法，它能被用于舰艇指挥人员的定位和 识别。

背景技术

据报道，美国研究人员能使无人机识别76％的航空母舰上指挥人员的手势。目前常规 舰载机通过地面指挥人员对机上人员进行起飞、出库、入库等一系列指挥。随着无人舰载 机的应用，需要使其能对常规手势能够识别。

在基于视觉的手势交互方面，具有代表性的研究成果包括:1991年富士通实验室完成 了对46种手语符号的识别(详见文献：TakahashiT,Shino FK.Hand gesture coding based  on experiments using a hand gesture interface device.SIGCHI Bulletin,1991,23(2): 67-73)；Davis和Shah将戴上指尖具有高亮标记的辅助手套的手势作为系统的输入，可 识别7种手势(详见文献：Davis,ShahM.V isualgesture recognition.In:Proceedings  of the IEEE Vision-Image SignalProcessing,1994.321-332)；Grobel和Assam从视 频录像中提取特征，采用HMM技术识别262个孤立词，正确率为91.3％(详见文献：G robelK, Assam M.Isolated sign language recognition using hiddenM arkov models.In: Proceedings of the IEEE International Symposium on Field-Progrrammable Custom  Computing Machines,2007,pp.35-44)。

无人机对地面指挥人员的手势指挥的信号输入是基于机上摄像机的拍摄。由于整个背 景随着摄像机的运动而运动，传统的基于背景建模的手势轨迹识别方法将产生如下困难：

(1)前景(指挥手势)、背景(周围环境)难以分割。

(2)背景在图像上产生运动。难以确定目标相对于背景的运动方向和大小。

基于上述原因，本发明提出一种先根据形态特征定位指挥人员腿部，通过腿部区域 边长确定大小尺度，通过手势相对与人脸的相对位置作为研究对象，进行手势轨迹识别的 方法。该方法能在单目视觉移动拍摄的情形下实现指挥人员的手势轨迹识别。

发明内容

本发明的目的是目前无人机着舰时对指挥人员手势判定难度较大，易出现差错的问 题，发明一种基于单目视觉移动拍摄下的手势轨迹识别方法，以帮助无人机着舰过程中快 速准确判定指挥人员的手势，以实现准确着舰。

本发明的技术方案：

一种基于单目视觉移动拍摄下的手势轨迹识别方法，其特征是它主要包括以下步骤：

(1)在一帧图像上进行指挥人员的腿部检测和定位，并利用HOG-SVM分类器对检测 到的区域进一步匹配确认；

(2)在步骤(1)的基础上，根据位置关系，确定相应的人脸检测区域；

(3)在脸部检测区域内进行人脸检测和定位，从而判别该人员是否为指挥人员。若存 在唯一腿部和对应的正脸则该人员即为唯一指挥人员，并进入下一步。如果不存在则结束 此帧处理；

(4)根据人脸区域进一步确定手势检测区域。

(5)在连续帧上对人脸区域进行CamShift跟踪，若人脸在图像上产生位移大于给定 的阈值，说明摄像机产生移动，重新检测腿部和脸部。

(6)利用HSV肤色模型对手部进行分割，计算手部位置；

(7)在连续帧上确定双手位置，利用HMM基于手部位移方向，完成手势轨迹识别。

所述的步骤(1)中采用的haar-Adaboost分类器，选取扩展的haar-like矩形特征。 分类器训练所采用的正样本大小为20×20像素，正对摄像机，双腿呈25°～45°跨步站立 的腿部图片，如图1。负样本为任意大小不含跨步站立腿部的背景或者行人的图片。针对 haar-Adaboost算法虚警率高的问题，采用HOG-SVM分类器对检测到的腿部进行再次筛选， 腿部筛选的训练和检测方法如下：

(1)采集正负样本。其中正样本为大小为64×64像素，同haar-Adaboost方法中的 正样本。负样本为haar-Adaboost检测器检测到的错误正样本。

(2)使用正负样本对HOG-SVM分类器进行训练，训练参数为：窗口大小：64×64， block大小：8×8，cell大小4×4，bin为9。

(3)用训练好的HOG-SVM分类器对haar-adaboost方法检测到的候选腿部进行单尺 度检测分类，判断是否为指挥人员腿部。

所述的步骤(2)脸部检测区域位置为腿部区域正上方1H为底，边长为0.5H。H为腿 部区域边长。

所述的步骤(4)中手部检测区域是以检测到的人脸中心正下方0.25H为中心，2.2H 为宽2H为高的矩形，H为腿部区域边长。

所述的步骤(5)中，把步骤(2)中检测到的人脸正方形作为搜索窗口进行人脸实时 跟踪，并计算当前位置与初始位置的位移，若位移大于阈值0.2H，则需要根据步骤(1) ～(4)重新检索腿部区域和人脸。

所述的步骤(6)中手部坐标提取方法如下：

(1)采用基于HSV肤色空间模型进行手部分割，得到双手的手部区域； 对图像进行膨胀和腐蚀形态学处理；

(2)确定联通区域，计算联通却与在参考平面上的重心坐标作为双手的坐标。

所述的步骤(7)中基于手部位移方向的手势轨迹识别的具体方法如下：

(1)以头部中心点为原点，计算得手部向量。

$x=\frac{X-X_0}{H},y=\frac{Y-Y_0}{H}$

$\overrightarrow{l}=(x,y)$

X,Y为手部的像素，X₀，Y₀为头部中心像素位置，H为腿部区域边长。

(2)计算下相邻帧图像的手部位移向量。

$\Delta \overrightarrow{l}=\frac{{\overrightarrow{l}}_{\mathrm{cur}}}{H_{\mathrm{cur}}}-\frac{{\overrightarrow{l}}_{\mathrm{pre}}}{H_{\mathrm{pre}}}$

(3)计算相邻帧图像的手部位移大小：

$\left|\right|\Delta \overrightarrow{l}\left|\right|=\sqrt{{(\frac{Y_{\mathrm{cur}}-Y_{0\mathrm{cur}}}{H_{\mathrm{cur}}}-\frac{Y_{\mathrm{pre}}-Y_{0\mathrm{pre}}}{H_{\mathrm{pre}}})}^2+{(\frac{X_{\mathrm{cur}}-X_{0\mathrm{cur}}}{H_{\mathrm{cur}}}-\frac{X_{\mathrm{pre}}-X_{0\mathrm{pre}}}{H_{\mathrm{pre}}})}^2}$

若处于上下阈值(0.1H～0.4H)之间，则作为特征点进行下面计算。若小于下阈值， 说明手部移动不明显，舍弃该帧。若大于上阈值，说明出现噪点，舍弃该帧。

(4)定义方向角为位移向量与水平方向右方向的夹角，逆时针为正，计算特征点间 的方向角：

$\theta \left(\Delta \overrightarrow{l}\right)=\arctan \left(\frac{\mathrm{\Delta y}}{\mathrm{\Delta x}}\right)=\arctan \left(\frac{y_{\mathrm{cur}}-y_{\mathrm{pre}}}{x_{\mathrm{cur}}-x_{\mathrm{pre}}}\right)=\arctan \left(\frac{\frac{Y_{\mathrm{cur}}-Y_{0\mathrm{cur}}}{H_{\mathrm{cur}}}-\frac{Y_{\mathrm{pre}}-Y_{0\mathrm{pre}}}{H_{\mathrm{pre}}}}{\frac{X_{\mathrm{cur}}-X_{0\mathrm{cur}}}{H_{\mathrm{cur}}}-\frac{X_{\mathrm{pre}}-X_{0\mathrm{pre}}}{H_{\mathrm{pre}}}}\right)$

(5)对手势方向进行编码，编码方式如图7-a所示。

(6)利用每种手势的方向序列采用Baum-Wellch算法对HMM模型进行训练。

(7)利用训练好的HMM模型根据检测到的手势相对方向观察序列进行手势轨迹识别。

本发明的有益效果是：

本发明通过先定位指挥人员，再识别手势轨迹，在复杂场景下能排除其他人员干扰， 有很好的鲁棒性，同事提高了识别精度和效率。并且能够在摄像机运动情形下，图像中人 体发生相对位移，大小发生变化情况下实现手势轨迹识别。能应用于舰载机手势指挥等场 景。

附图说明

图1是本发明的舰载机指挥人员体势、手势示意图。

图2是本发明的指挥人员手势轨迹识别总体流程图。

图3是本发明的用来训练haar-adaboost检测器和HOG-SVM分类器正样本。

图4是本发明的手部向量计算流程示意图。

图4中：a为检测到的腿部区域，b为脸部检测区域确定示意图，c为手部检测区域 确定示意图，d为肤色分割后手部，e为形态学处理(膨胀、腐蚀)后手部，f为确定的 手部向量。

图5是本发明的摄像机运动情况下的手部位移向量计算示意图。

图6是本发明的摄像机移动情况下提取的一组手势位置序列。

图7是本发明的平面内手势位移方向示意图。

图7中：a为手势方向编码示意图，b为检测到的手势方向，c为得到的编码序列。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

如图1-7所示。

一种基于单目视觉移动拍摄下的舰载无人机指挥人员手势轨迹识别方法，其整个过程 如图2所示，具体步骤如下所述：

1.用训练好的haar-Adaboost分类器对视频中的第一帧图像进行扫描检测，检测到的 窗口为正方形，计算正方形边长为H，如图4-a。

采用的haar-Adaboost分类器，选取扩展的haar-like矩形特征。分类器训练所采用 的正样本大小为20×20像素，正对摄像机，双腿呈25°～45°跨步站立的腿部图片，如图 1。负样本为任意大小不含跨步站立腿部的背景或者行人的图片。针对haar-Adaboost算 法虚警率高的问题，采用HOG-SVM(梯度方向直方图特征结合支持向量机分类器)方法对 检测到的腿部进行再次筛选，腿部筛选的训练和检测方法如下：

(1)采集正负样本。其中正样本为大小为64×64像素，同haar-Adaboost方法中的 正样本。负样本为haar-Adaboost检测器检测到的错误正样本。

(2)使用正负样本对HOG-SVM分类器进行训练，训练参数为：窗口大小：64×64， block大小：8×8，cell大小4×4，bin为9。

(3)用训练好的HOG-SVM分类器对haar-adaboost方法检测到的候选腿部进行单尺 度检测分类，判断是否为指挥人员腿部。

2.若不存在呈跨步的腿部区域，则进行下一帧检测。若存在，则确定相应的人脸检测 区域，区域位置为腿部区域正上方1H～1.5H，边长为0.5H，如图4-b。

3.利用opencv库中训练好的基于LPB人脸检测，在头部检测区域中进行人脸检测， 若存在人脸，则该人员为指挥人员进行下面步骤。若不存在正脸，则该人员很可能是侧面 行走的其他人员，结束此帧处理。

4.确定手势检测区域：该区域是以检测到的人脸中心正下方0.25H为中心，2.2H为 宽2H为高的矩形，H为腿部区域边长，如图4-c。

5.在手势检测区域中，建立肤色HSV模型进行颜色空间的肤色分割。分割后如图4-d 所示。

6.对上述分割后的图像进行腐蚀和膨胀操作，进行联通区域分析，找出面积最大的两 块联通区域，如图4-e，并计算两块(左右手)联通区域的重心，作为手部位置。

在连续帧中所检测到的脸部特征进行Camshift跟踪，计算头部位移大小，如发生头 部位移大小大于阈值0.2H，此时可能由于摄像机发生位移，需重新检测腿部确定大小尺 度，计算连续帧中手部位移向量。

基于手部相对位移方向识别手势轨迹的方法为：

(1)计算前一帧和当前帧中脸部中心位置(X₀₁,Y₀₁)，(X₀₂,Y₀₂)，手部位置为(X₁,Y₁)， (X₂，Y₂)，腿部区域边长为H，计算位移大小d(即)和位移方向角θ。

$d=\sqrt{{(\frac{Y_2-Y_{02}}{H_2}-\frac{Y_1-Y_{01}}{H_1})}^2+{(\frac{X_2-X_{02}}{H_2}-\frac{X_1-X_{01}}{H_1})}^2}$

$\theta =\arctan \left(\frac{\frac{Y_2-Y_{02}}{H_2}-\frac{Y_1-Y_{01}}{H_1}}{\frac{X_2-X_{02}}{H_2}-\frac{X_1-X_{01}}{H_1}}\right)$

若d>0.4H或d<0.1H，则舍弃该帧，计算下一帧的参数作为当前帧参数。

(2)在一系列帧中重复上述步骤得到如图6中的手势序列，按图7-a对手势方向进 行编码，得到一组观察序列，如图7-c。

(3)利用训练好的HMM模型对对应观察寻列对给定的几种手势进行概率计算，完成 手势轨迹识别。

本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。