首页> 中国专利> 一种基于掌心测距的指尖检测方法和装置

一种基于掌心测距的指尖检测方法和装置

摘要

本发明公开了一种基于掌心测距的指尖检测方法和装置,所述方法通过标记经聚类后初步筛选出来的指尖点,对手势连通区域进行腐蚀,提取腐蚀后的手掌区域的质心,并对腐蚀后的手掌区域做外接圆,得到外接圆的半径;计算每一初步筛选出来的指尖点到质心的距离与外接圆半径的第一比值,并将所述第一比值与预定的第一阈值进行比较,当第一比值小于第一阈值时,则判定对应的初步筛选出来的指尖点为误判点并滤除;当第一比值大于或等于第一阈值时,则判定对应初步筛选出来的指尖点为检测出来的指尖点;并输出检测结果,从而提高了实时指尖检测的检测精度,降低了指尖误检率。

著录项

  • 公开/公告号CN103544469A

    专利类型发明专利

  • 公开/公告日2014-01-29

    原文格式PDF

  • 申请/专利权人 TCL集团股份有限公司;

    申请/专利号CN201310312446.3

  • 发明设计人 黄阿云;邵诗强;

    申请日2013-07-24

  • 分类号G06K9/00;G06K9/40;

  • 代理机构深圳市君胜知识产权代理事务所;

  • 代理人刘文求

  • 地址 516001 广东省惠州市鹅岭南路6号TCL工业大厦8楼技术中心

  • 入库时间 2024-02-19 22:01:39

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2023-08-04

    未缴年费专利权终止 IPC(主分类):G06K 9/00 专利号:ZL2013103124463 申请日:20130724 授权公告日:20170510

    专利权的终止

  • 2017-05-10

    授权

    授权

  • 2014-10-29

    实质审查的生效 IPC(主分类):G06K9/00 申请日:20130724

    实质审查的生效

  • 2014-01-29

    公开

    公开

说明书

技术领域

本发明涉及机器视觉识别领域,尤其涉及的是一种基于掌心测距的指尖检测方法和装置。

背景技术

在现有的指尖检测方面,一般通过一定的跟踪算法跟踪到手势之后,再通过图像开闭运算、二值化处理及连通域判断后保留手部连通域之后,开始寻找指尖点。再通过曲率法对边缘点进行曲率计算,将较大曲率点标记出来,将其定为可能的指尖点位置,再通过各种方法譬如聚类等筛选出指尖点。但在实际机器视觉识别手势时,由于人手的活动自由度大,形状变化大,常常有握拳因手指紧握度不够,造成一些小凸点被误判为指尖的情况,也有当有手指伸出时,半弯手指的误检测问题,这些问题大大降低了指尖检测的精确度,难以满足许多实时人机交互应用的需求。

因此,现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种基于掌心测距的指尖检测方法和装置,旨在解决现有的指尖检测的检测精度不高的问题。

本发明解决技术问题所采用的技术方案如下:

一种基于掌心测距的指尖检测方法,其中,包括以下步骤:

A、对采集的包含手势的原始图像进行降噪处理,并将经过降噪处理的图像通过漫水填充法判断连通域,找出手势连通区域;

B、遍历手势连通区域的边缘点得到边缘点序列,计算边缘点序列中每一点的曲率值,并将每一点的曲率值与预设的曲率阈值进行比较,找出曲率值大于曲率阈值的边缘点,再去除曲率值大于曲率阈值的边缘点中为手指凹槽的点,将剩余的曲率值大于曲率阈值的边缘点标记为可能的指尖点;

C、将每个可能的指尖点处的凸点序列独立分割成新的点集,分别对新的点集进行聚类,从所述点集中找出指尖点,并标记为初步筛选出来的指尖点;

D、对手势连通区域进行腐蚀,提取腐蚀后的手掌区域的质心,并对腐蚀后的手掌区域做外接圆,得到外接圆的半径;

E、计算每一初步筛选出来的指尖点到质心的距离与外接圆半径的第一比值,并将所述第一比值与预定的第一阈值进行比较,当第一比值小于第一阈值时,则判定对应的初步筛选出来的指尖点为误判点并滤除;当第一比值大于或等于第一阈值时,则判定对应初步筛选出来的指尖点为检测出来的指尖点;并输出检测结果。

所述的基于掌心测距的指尖检测方法,其中,在所述步骤E之后还包括:

F、计算每一个初步筛选出来的指尖点到质心的距离,找出距离最大的指尖点,计算除最大距离的指尖点外的其它指尖点到质心的距离与最大距离的第二比值,将所述第二比值与预定的第二阈值进行比较,当第二比值小于第二阈值时,则判定对应的初步筛选出来的指尖点为误判点并滤除;当第二比值大于或等于第二阈值时,则判定对应初步筛选出来的指尖点为检测出来的指尖点;并输出检测结果。

所述的基于掌心测距的指尖检测方法,其中,所述步骤A具体包括:

A1、通过摄像头采集包含手势的原始图像,对所述原始图像进行平滑处理,以去除多余的噪声;再进行二值化处理和图像开闭运算,以消除空洞和进一步消除噪声;

A2、通过漫水填充法对经过降噪处理的图像进行连通域判断,计算各个连通区域的面积;

A3、找出面积最大的连通区域并保留为手势连通区域,去除小面积连通域。

所述的基于掌心测距的指尖检测方法,其中,所述步骤B具体包括:

B1、通过边缘检测法检测出手势连通区域的边缘点,遍历手势连通区域的边缘点得到边缘点序列M;

B2、通过手势连通区域的面积大小来判断人手与摄像头之间的距离,根据人手与摄像头之间的距离设置一个整形数k,其中,k为正整数,再计算手势边缘点序列M中的任意一点                                                的曲率值:取手势边缘点序列中与等距的两点和,计算向量与向量夹角的余弦值为点的近似曲率值,曲率值公式为;

B3、将边缘点序列中每一点的曲率值与预设的曲率阈值进行比较,找出曲率值大于曲率阈值的边缘点;

B4、判断线段中点的像素值是否为0;若该点像素值为0,则判断为手指凹槽并滤除;将剩余的曲率值大于曲率阈值的边缘点标记为可能的指尖点。

所述的基于掌心测距的指尖检测方法,其中,所述步骤C具体包括:

C1、将每个可能的指尖点处的凸点序列独立分割成新的点集,分别对新的点集进行聚类;

C2、取每个点集合中曲率值最大的点Pmax,采用椭圆拟合的方法,计算拟合后的椭圆外接矩阵四边中点离Pmax最近的点,将该点标记为初步筛选出来的指尖点。

所述的基于掌心测距的指尖检测方法,其中,所述步骤D具体包括:

D1、对手势连通区域进行多次腐蚀,得到一为手掌区域的图像,对腐蚀过后的手掌区域提取质心O,该质心O点即为手掌区域的掌心,质心O的公式为,,其中,i,j分别为图像中任意一个像素点的x轴坐标和y轴坐标;m、n分别为图像的行和列,为质心的x轴坐标,为质心的y轴坐标;

D2、对手掌区域作外接圆,得到手掌外接圆的半径R。

一种基于掌心测距的指尖检测装置,其中,包括:

手势连通区域生成模块,用于对采集的包含手势的原始图像进行降噪处理,并将经过降噪处理的图像通过漫水填充法判断连通域,找出手势连通区域;

曲率值计算模块,用于遍历手势连通区域的边缘点得到边缘点序列,计算边缘点序列中每一点的曲率值;

曲率值对比模块,用于将边缘点序列中每一点的曲率值与预设的曲率阈值进行比较;

凹槽去除模块,用于去除曲率值大于曲率阈值的边缘点中为手指凹槽的点;

聚类筛选模块,用于将每个可能的指尖点处的凸点序列独立分割成新的点集,分别对新的点集进行聚类,从所述点集中找出指尖点,并标记为初步筛选出来的指尖点;

质心及外接圆半径获取模块,用于对手势连通区域进行腐蚀,提取腐蚀后的手掌区域的质心,并对腐蚀后的手掌区域做外接圆,得到外接圆的半径;

第一比值计算模块,用于计算每一初步筛选出来的指尖点到质心的距离与外接圆半径的第一比值;

第一比值对比模块,用于将所述第一比值与预定的第一阈值进行比较。

所述的基于掌心测距的指尖检测装置,其中,还包括:

第二比值计算模块,用于计算每一个初步筛选出来的指尖点到质心的距离,找出距离最大的指尖点,计算除最大距离的指尖点外的其它指尖点到质心的距离与最大距离的第二比值;

第二比值对比模块,用于将所述第二比值与预定的第二阈值进行比较。

所述的基于掌心测距的指尖检测装置,其中,所述曲率值计算模块包括:

边缘点序列生成单元,用于通过边缘检测法检测出手势连通区域的边缘点,遍历手势连通区域的边缘点得到边缘点序列M;

曲率值计算单元,用于通过手势连通区域的面积大小来判断人手与摄像头之间的距离,根据人手与摄像头之间的距离设置一个整形数k,其中,k为正整数,再计算手势边缘点序列M中的任意一点的曲率值:取手势边缘点序列中与等距的两点和,计算向量与向量夹角的余弦值为点的近似曲率值,曲率值公式为。

所述的基于掌心测距的指尖检测装置,其中,所述质心及外接圆半径获取模块包括:

腐蚀单元,用于对手势连通区域进行多次腐蚀,得到一为手掌区域的图像;

质心计算单元,用于对腐蚀过后的手掌区域提取质心O,该质心O点即为手掌区域的掌心,质心O的公式为,,其中,i,j分别为图像中任意一个像素点的x轴坐标和y轴坐标;m、n分别为图像的行和列,为质心的x轴坐标,为质心的y轴坐标;

外接圆半径计算单元,用于对对腐蚀过后的手掌区域作外接圆,得到手掌外接圆的半径R。

本发明所提供的一种基于掌心测距的指尖检测方法和装置,有效地解决了现有的指尖检测中存在的一些误判现象,譬如在握拳时由于手指紧握度不够等原因会存在一些小凸点被误检测为指尖的问题,其方法通过标记经聚类后初步筛选出来的指尖点,对手势连通区域进行腐蚀,提取腐蚀后的手掌区域的质心,并对腐蚀后的手掌区域做外接圆,得到外接圆的半径;计算每一初步筛选出来的指尖点到质心的距离与外接圆半径的第一比值,并将所述第一比值与预定的第一阈值进行比较,当第一比值小于第一阈值时,则判定对应的初步筛选出来的指尖点为误判点并滤除;当第一比值大于或等于第一阈值时,则判定对应初步筛选出来的指尖点为检测出来的指尖点;并输出检测结果,从而提高了实时指尖检测的检测精度,降低了指尖误检率,其实现方法简单,通过软件实现,成本较低。

附图说明

图1为本发明提供的基于掌心测距的指尖检测方法第一较佳实施例的流程图。

图2a为本发明提供的基于掌心测距的指尖检测方法第一较佳实施例中原始图像经降噪处理后的示意图。

图2b为图2a经过漫水填充法及连通域判断之后的手掌轮廓形状图。

图3a为图2b经边缘检测法及曲率判断之后的示意图。

图3b为图3a去除手指凹槽后的可能的指尖点的示意图。

图3c为图3b经聚类后初步筛选出来的指尖点示意图。

图4a为本发明提供的基于掌心测距的指尖检测方法第一较佳实施例中腐蚀后的掌心区域包含误判点的指尖点示意图。

图4b为本发明提供的基于掌心测距的指尖检测方法第一较佳实施例中根据第一比值与第一阈值滤除误判点后的指尖点示意图。

图5为本发明提供的基于掌心测距的指尖检测方法第二较佳实施例的流程图。

图6a为本发明提供的基于掌心测距的指尖检测方法第二较佳实施例中包含误判点为半弯指尖点的指尖点示意图。

图6b为图6a去除误判点后的指尖点示意图。

图7为本发明提供的基于掌心测距的指尖检测装置第一较佳实施例的结构框图。

图8为本发明提供的基于掌心测距的指尖检测装置第二较佳实施例的结构框图。

具体实施方式

本发明提供一种基于掌心测距的指尖检测方法和装置,为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

请参阅图1,图1为本发明提供的基于掌心测距的指尖检测方法第一较佳实施例的流程图,包括以下步骤:

步骤S100、对采集的包含手势的原始图像进行降噪处理,并将经过降噪处理的图像通过漫水填充法判断连通域,找出手势连通区域;

步骤S200、遍历手势连通区域的边缘点得到边缘点序列,计算边缘点序列中每一点的曲率值,并将每一点的曲率值与预设的曲率阈值进行比较,找出曲率值大于曲率阈值的边缘点,再去除曲率值大于曲率阈值的边缘点中为手指凹槽的点,将剩余的曲率值大于曲率阈值的边缘点标记为可能的指尖点;

步骤S300、将每个可能的指尖点处的凸点序列独立分割成新的点集,分别对新的点集进行聚类,从所述点集中找出指尖点,并标记为初步筛选出来的指尖点;

步骤S400、对手势连通区域进行腐蚀,提取腐蚀后的手掌区域的质心,并对腐蚀后的手掌区域做外接圆,得到外接圆的半径;

步骤S500、计算每一初步筛选出来的指尖点到质心的距离与外接圆半径的第一比值,并将所述第一比值与预定的第一阈值进行比较,当第一比值小于第一阈值时,则判定对应的初步筛选出来的指尖点为误判点并滤除;当第一比值大于或等于第一阈值时,则判定对应初步筛选出来的指尖点为检测出来的指尖点;并输出检测结果。

以下结合具体的实施例对上述步骤进行详细的描述。

在步骤S100中,首先通过摄像头采集包含手势的原始图像,对所述原始图像进行平滑处理,以去除多余的噪声;再进行二值化处理和图像开闭运算,以消除空洞和进一步消除噪声,消除平滑处理后的图像中的小噪声和小空洞,如图2a所示,图2a为经降噪处理后,即二值化处理和图像开闭运算后得到的图像。

再通过漫水填充法对经过降噪处理的图像进行连通域判断,计算各个连通区域的面积。先用漫水填充法进行连通域判断,计算不同的连通区域的面积。再找出面积最大的连通区域并保留为手势连通区域,去除小面积连通域,保留面积最大的连通区域即为手势连通区域。具体来说,可将不同的连通区域分别标记为1~N,其中N为正整数,然后计算1~N每个数值对应的连通区域的面积,去除小面积连通域,保留面积最大的连通区域即为手势连通区域,如图2b所示,图2b为对图2a中的图像通过漫水填充法及连通域判断之后得到的手势连通区域图像。

在步骤S200中,在得到手势连通区域后,通过利用曲率法寻找指尖点。首先通过边缘检测法检测出手势连通区域的边缘点,遍历手势连通区域的边缘点得到边缘点序列M。具体来说,首先使用边缘检测法检测出手势连通区域边缘,检测出的手势连通区域边缘如图3a中的封闭曲线所示,遍历手势连通区域边缘点得到手势边缘点序列M,即手势边缘点的集合。

再通过计算手势连通区域面积的大小来估计人手与摄像头之间的距离,根据人手与摄像头之间的距离设置一个整形数k,其中,k为正整数,譬如当手与摄像头距离为15cm左右时,设定k值为50。对手势边缘点序列M中的任意点求曲率值:取手势边缘点序列中与等距的两点和,如图3a所示,计算向量与向量夹角的余弦值为点的近似曲率值,曲率值公式为。具体来说,为手势边缘点序列中任意一点,i为整数,和为与i相距为k的点,譬如,k为50时,为在边缘点序列中与相距50的两点,通过夹角余弦公式计算出该点的曲率值。

再将边缘点序列中每一点的曲率值与预设的曲率阈值进行比较,找出曲率值大于曲率阈值的边缘点,如图3a中的封闭曲线上较粗的线所示,也就是图3a中的边缘点101和102,由于手指的指尖和指间缝隙处的轮廓曲线的曲度较高,则经过阈值比较后,可筛选出来包含手指指尖的边缘点101和手指凹槽的边缘点102。

请继续参阅图3a,由于找出来的曲率值较大的边缘点中包括手指指尖以及手指的凹槽等。如图3a所示,可通过判断线段中点的像素值是否为0,若该点像素值为0则判断为手指凹槽并滤除,即排除了为手指凹槽的边缘点102;然后将剩余的曲率值大于曲率阈值的边缘点101标记为可能的指尖点。具体来说,若曲率值大于曲率阈值的点为手指指尖,则等距的两点的线段中点必然在图3a所示的封闭曲线内,也就是手势连通区域内;若为手指凹槽,则等距的两点线段中点不在手势连通区域内。那么可通过检测线段中点是否在手势连通区域内进行判断,由于该图像进行了二值化处理,则可通过判断该线段中点的像素是否为0来进行判断。若该点像素值为0,则判断为手指凹槽,将这些边缘点102排除;去除手指凹槽后的图像如图3b所示。将剩余的曲率值大于曲率阈值的边缘点101标记为可能的指尖点,即图3b中的边缘点101,也就是说经上述处理后,剩余的边缘点为可能的指尖点,从而降低了误判率。

在步骤S300中,将每个指尖点处的凸点序列独立分割成新的点集,对这些新的点集进行聚类:取每个点集合中曲率值最大的点Pmax,采用椭圆拟合的方法,计算拟合后的椭圆外接矩阵四边中点离Pmax最近的点,则该点为初步筛选出来的指尖点,如图3c所示,初步筛选出来5个指尖点103。这些初步筛选出来的指尖点103即为从边缘点102中经聚类后进一步筛选出来的可能的指尖点。

通过上述步骤,已经能较好地检测到指尖点,但仍存在一些误判现象,比如在握拳时,由于手指紧握度不够等原因会存在一些小凸点被误检测为指尖的问题,譬如握拳等情况。如图4a所示,在图4a中,虚线表示手指正常伸展的轮廓,正常来说应该是指尖点105,但由于握拳,筛选出来的指尖点如104所示,该点即为握拳时初步筛选出来的指尖点,显然,这样会引起误判。为了进一步提高实时指尖检测的检测精度、降低指尖误检率,本发明还在上述步骤的基础上进行以下操作:在步骤S400中,首先对手势连通区域进行多次腐蚀,得到一为手掌区域的图像,对腐蚀过后的手掌区域提取质心O,该质心O点即为手掌区域的掌心,从而找出手掌掌心点O。为了达到系统的高效性,将手势连通区域通过多次腐蚀,可去除手指等细像素区域,减小手指等细像素区域对手掌质心位置的影响。举例说明,图像A被图像B腐蚀后得到C的公式为,其中是图像处理中公认的腐蚀符号。

对手势连通区域进行多次腐蚀后,得到一为手掌区域的图像,再对腐蚀过后的像素区域提取质心O,求质心O的公式为,,其中,i,j分别为图像中任意一个像素点的x轴坐标和y轴坐标;m、n分别为图像的行和列,为质心的x轴坐标,为质心的y轴坐标。同时对手掌区域作外接圆,得到手掌外接圆的半径R,如图4a所示。

在步骤S500中,计算步骤S300中每一初步筛选出来的指尖点与掌心O点(即质心)的距离d,如图4a所示,即将初步筛选出来的指尖点包括如图4a所示的握拳时的指尖点104等所有可能的指尖点与质心O的距离。再计算每一初步筛选出来的指尖点到质心的距离与外接圆半径R的第一比值,并将所述第一比值与预定的第一阈值进行比较,当第一比值小于第一阈值时,则判定对应的初步筛选出来的指尖点为误判点并滤除;当第一比值不小于第一阈值时,即第一比值大于或等于第一阈值时,则判定对应初步筛选出来的指尖点为检测出来的指尖点;并输出检测结果。由于手指正常伸出时指尖点105(如图4a中虚线部分所示)到掌心的距离与手掌外接圆半径的比大概为1.5~2之间,若初步判断出的指尖点与掌心距离d与外接圆半径R的比小于1.5,则判定该指尖点为误判点,若大于该阈值,则认为该指尖点为非误判点。经过滤后的检测效果如图4b所示,根据第一阈值和依据质心O得到的第一比值,可将图4a中的握拳时的指尖点104等等情况形成的误判的指尖点排除,最后得到进一步的可能指尖点106,从而提高了实时指尖检测的检测精度。在具体应用时,所述第一阈值的取值范围为1.5~2,具体可根据实际需要进行设定。

本发明提供的基于掌心测距的指尖检测方法,通过在标记经聚类后初步筛选出来的指尖点,对手势连通区域进行腐蚀,提取腐蚀后的手掌区域的质心,并对腐蚀后的手掌区域做外接圆,得到外接圆的半径;计算每一初步筛选出来的指尖点到质心的距离与外接圆半径的第一比值,并将所述第一比值与预定的第一阈值进行比较,当第一比值小于第一阈值时,则判定对应的初步筛选出来的指尖点为误判点并滤除;当第一比值大于或等于第一阈值时,则判定对应初步筛选出来的指尖点为检测出来的指尖点;并输出检测结果,大大减少了握拳时指尖误判情况,提高了实时指尖检测的检测精度,降低了指尖误检率,其实现方法简单,通过软件实现,成本较低。

本发明通过上述第一较佳实施例,已经大大减少了握拳时指尖误判情况,但当有手指伸出时,手掌区域的大小会随着手指伸展度不同而有较大的变化,则相应的手掌外接圆也会有所变化,有可能会有半弯手指被误检测为指尖点,从而降低指尖检测的精度,如图6a所示,由于手指半弯导致筛选出来的指尖点107,在实际上并不是真正的指尖点。进一步地,本发明还提供了第二较佳实施例来解决这个问题,请参阅图5,图5为本发明提供的基于掌心测距的指尖检测方法第二较佳实施例的流程图,与第一较佳实施例不同的是,第二较佳实施例在所述步骤S500之后还包括:

S600、计算每一个初步筛选出来的指尖点到质心的距离,找出距离最大的指尖点,计算除最大距离的指尖点外的其它指尖点到质心的距离与最大距离的第二比值,将所述第二比值与预定的第二阈值进行比较,当第二比值小于第二阈值时,则判定对应的初步筛选出来的指尖点为误判点并滤除;当第二比值大于或等于第二阈值时,则判定对应初步筛选出来的指尖点为检测出来的指尖点;并输出检测结果。

具体来说,如图6a所示,先通过步骤S400中的方法找到掌心O也就是质心O,再计算出所有筛选出来的指尖点与掌心O点的距离dfi,将其中距离最大的点认定为指尖点,譬如如图6a所示的指尖点108,该最大距离为df_max。再计算除最大距离的指尖点外的其它指尖点到质心的距离与最大距离df_max的第二比值,譬如如图6a所示的指尖点107和109,将所述第二比值与预定的第二阈值进行比较,当第二比值小于第二阈值时,则判定对应的初步筛选出来的指尖点为误判点并滤除;当第二比值不小于第二阈值时,即第二比值大于或等于第二阈值时,则判定对应初步筛选出来的指尖点为检测出来的指尖点;并输出检测结果。由于手指中间的关节与指尖的距离是相对稳定且有一定的长度的,手指半弯时离掌心的距离与手指正常伸出时指尖离掌心的距离大概在0.2~0.55之间,若除距离掌心最大指尖点外的其他指尖点离掌心O点的距离dfi与df_max的比值小于0.6,则该点定为误判点。具体来说,所述第二阈值的取值范围为0.2~0.6,此处数字可根据需要进行设定。譬如不同应用环境的人体数据不同,如非洲、欧美及亚洲使用人群的身体数据不一致,导致这些比值也会不同,相应的阈值取值也不同,这些可根据实际的情况进行选择,譬如不同的人种,不同的性别及年龄段等。请参阅图6b,经过误判点排除后的效果如图6b所示,只有拇指的指尖点109和食指的指尖点108筛选出来了,其它半弯的指尖点被排除,也就是将图6a中误判点为半弯的指尖点107滤除了,大大提高了指尖检测的正确率,降低了误判率。

本发明提供的基于掌心测距的指尖检测方法第二实施例不仅有效地去除了握拳时误检测的问题,进一步地还有效地去除手指半弯指尖时误检测的问题,其指尖检测方法包容更多手势自由灵活性,增进用户交互的方便性,以及实时性。

基于上述基于掌心测距的指尖检测方法,本发明还提供了一种基于掌心测距的指尖检测装置,请参阅图7,图7为本发明提供的基于掌心测距的指尖检测装置第一较佳实施例的结构框图,如图7所示,所述装置包括:

手势连通区域生成模块10,用于对采集的包含手势的原始图像进行降噪处理,并将经过降噪处理的图像通过漫水填充法判断连通域,找出手势连通区域;具体如步骤S100所述。

曲率值计算模块20,用于遍历手势连通区域的边缘点得到边缘点序列,计算边缘点序列中每一点的曲率值;具体如步骤S200所述。

曲率值对比模块30,用于将边缘点序列中每一点的曲率值与预设的曲率阈值进行比较;具体如步骤S200所述。

凹槽去除模块40,用于去除曲率值大于曲率阈值的边缘点中为手指凹槽的点;具体如步骤S200所述。

聚类筛选模块50,用于将每个可能的指尖点处的凸点序列独立分割成新的点集,分别对新的点集进行聚类,从所述点集中找出指尖点,并标记为初步筛选出来的指尖点;具体如步骤S300所述。

质心及外接圆半径获取模块60,用于对手势连通区域进行腐蚀,提取腐蚀后的手掌区域的质心,并对腐蚀后的手掌区域做外接圆,得到外接圆的半径;具体如步骤S400所述。

第一比值计算模块70,用于计算每一初步筛选出来的指尖点到质心的距离与外接圆半径的第一比值;具体如步骤S500所述。

第一比值对比模块80,用于将所述第一比值与预定的第一阈值进行比较;具体如步骤S500所述。

具体来说,所述手势连通区域生成模块10对包含手势的原始图像先进行平滑处理,以去除多余的噪声;再进行二值化处理和图像开闭运算,以消除空洞和进一步消除噪声,再用漫水填充法进行连通域判断,计算各个连通区域的面积,找出面积最大的连通区域并保留为手势连通区域,去除小面积连通域,保留面积最大的连通区域即为手势连通区域。然后,所述曲率值计算模块20遍历所述手势连通区域生成模块10中找出的手势连通区域的边缘点得到边缘点序列,计算边缘点序列中每一点的曲率值。所述曲率值对比模块30将曲率值计算模块20中计算出来的每一点的曲率值与预设的曲率阈值进行比较,找出曲率值大于曲率阈值的边缘点。再经过凹槽去除模块40去除曲率值大于曲率阈值的边缘点中为手指凹槽的点后,将剩余的曲率值大于曲率阈值的边缘点标记为可能的指尖点。然后通过聚类筛选模块50将每个可能的指尖点处的凸点序列独立分割成新的点集,分别对新的点集进行聚类,从所述点集中找出指尖点,并标记为初步筛选出来的指尖点。再通过质心及外接圆半径获取模块60对手势连通区域进行腐蚀,提取腐蚀后的手掌区域的质心,并对腐蚀后的手掌区域做外接圆,得到外接圆的半径。最后通过第一比值计算模块70计算每一初步筛选出来的指尖点到质心的距离与外接圆半径的第一比值,经第一比值对比模块80将所述第一比值与第一阈值进行比较,当第一比值小于第一阈值时,该初步筛选出来的指尖点为误判点,则判定对应的初步筛选出来的指尖点为误判点并滤除;当第一比值大于或等于第一阈值时,该初步筛选出来的指尖点为检测出来的指尖点,则判定对应初步筛选出来的指尖点为检测出来的指尖点;并输出检测结果,大大减少了握拳时指尖误判情况,提高了实时指尖检测的检测精度,降低了指尖误检率,其实现方法简单,通过软件实现,成本较低。

具体来说,所述曲率计算模块20包括:

边缘点序列生成单元,用于通过边缘检测法检测出手势连通区域的边缘点,遍历手势连通区域的边缘点得到边缘点序列M;

曲率值计算单元,用于通过手势连通区域的面积大小来判断人手与摄像头之间的距离,根据人手与摄像头之间的距离设置一个整形数k,其中,k为正整数,再计算手势边缘点序列M中的任意一点的曲率值:取手势边缘点序列中与等距的两点和,计算向量与向量夹角的余弦值为点的近似曲率值,曲率值公式为。

在实际应用时,所述凹槽去除模40通过判断线段中点的像素值是否为0;若该点像素值为0,则判断为手指凹槽并滤除。

具体来说,所述质心及外接圆半径获取模块60包括:

腐蚀单元,用于对手势连通区域进行多次腐蚀,得到一为手掌区域的图像;

质心计算单元,用于对腐蚀过后的手掌区域提取质心O,该质心O点即为手掌区域的掌心,质心O的公式为,,其中,i,j分别为图像中任意一个像素点的x轴坐标和y轴坐标;m、n分别为图像的行和列,为质心的x轴坐标,为质心的y轴坐标;

外接圆半径计算单元,用于对对腐蚀过后的手掌区域作外接圆,得到手掌外接圆的半径R。

请参阅图8,本发明提供的基于掌心测距的指尖检测装置第二较佳实施例的结构框图,为了进一步地有效地去除手指半弯指尖时误检测的问题。所述装置在第一较佳实施例的基础上还包括:

第二比值计算模块90,用于计算每一个初步筛选出来的指尖点到质心的距离,找出距离最大的指尖点,计算除最大距离的指尖点外的其它指尖点到质心的距离与最大距离的第二比值;具体如步骤S600所述。

第二比值对比模块100,用于将所述第二比值与预定的第二阈值进行比较,具体如步骤S600所述。

具体来说,所述第二比值计算模块90计算计算每一个初步筛选出来的指尖点到质心的距离,找出距离最大的指尖点,计算除距离最大的指尖点外的其它指尖点到质心的距离与距离最大的指尖点到质心的距离的第二比值,再通过所述第二比值对比模块100将第二比值与第二阈值进行对比,当第二比值小于第二阈值时,该指尖点为误判点,则判定对应的初步筛选出来的指尖点为误判点并滤除;当第二比值大于或等于第二阈值时,该指尖点为检测出来的指尖点,即筛选出来的指尖点,也就是判定对应初步筛选出来的指尖点为检测出来的指尖点;并输出检测结果。这样,本发明提供的基于掌心测距的指尖检测装置第二较佳实施例,进一步有效地排除了非指尖点,不仅大大减少了握拳时指尖误判情况,进一步有效地去除了手指半弯指尖误检测的问题,包容更多手势自由灵活性,增进用户交互的方便性,以及实时性。

综上所述,本发明提供的一种基于掌心测距的指尖检测方法和装置,所述方法通过标记经聚类后初步筛选出来的指尖点,对手势连通区域进行腐蚀,提取腐蚀后的手掌区域的质心,并对腐蚀后的手掌区域做外接圆,得到外接圆的半径;计算每一初步筛选出来的指尖点到质心的距离与外接圆半径的第一比值,并将所述第一比值与预定的第一阈值进行比较,当第一比值小于第一阈值时,则判定对应的初步筛选出来的指尖点为误判点并滤除;当第一比值大于或等于第一阈值时,则判定对应初步筛选出来的指尖点为检测出来的指尖点;并输出检测结果,从而提高了实时指尖检测的检测精度,降低了指尖误检率,其实现方法简单,通过软件实现,成本较低,有效地去除了握拳时误检测的问题。

进一步地,通过计算每一个初步筛选出来的指尖点到质心的距离,找出距离最大的指尖点,计算除最大距离的指尖点外的其它指尖点到质心的距离与最大距离的第二比值,将所述第二比值与预定的第二阈值进行比较,当第二比值小于第二阈值时,则判定对应的初步筛选出来的指尖点为误判点并滤除;当第二比值大于或等于第二阈值时,则判定对应初步筛选出来的指尖点为检测出来的指尖点;并输出检测结果,不仅有效地去除了握拳时误检测的问题,进一步地还有效地去除手指半弯指尖时误检测的问题,其指尖检测方法包容更多手势自由灵活性,增进用户交互的方便性,以及实时性。

应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号