用于特定前景物体的检测验证的方法和系统

摘要

本发明提供了检测并验证图像中的多个特定前景对象的方法和装置，该方法可以包括：根据图像中各像素点距离的变化动态的建立背景模型；从当前图像中减除背景模型得到前景区域；对前景区域进行分割；以及对每一个前景验证其是否是某类特定对象。特定对象可以是人或椅子等某一类对象。本发明实现了检测的快速算法，并且提高了检测的准确度，降低误检率。

说明书

技术领域

本发明涉及一种用于图像前景物体的检测验证方法和系统，更具体地涉 及一种使用所拍摄的深度图像对特定对象进行检测验证的方法和系统。

背景技术

在各种人机交互、游戏以及智能系统等应用中，通常要对参与的人员进 行视频监控，而视频监控一个比较重要的环节就是需要检测视频图像中的参 与人员，而这种检测过程必须要对包含参与人的视频图像进行图像处理。而 这些图像处理通常采用普通摄像机拍摄进行视频处理。实际应用过程中，这 种采用普通摄像机拍摄的视频来检测参与人的图像处理技术面临许多问题： 比如检测率低，误检率高，无法实时等等，导致这些问题的原因在于包含参 与人员的场景中的参与人员的行为复杂性、场景的光线比较暗、以及场景的 亮度通常存在突变的情况。人们为了解决采用普通摄像机拍摄的视频进行检 测参与人员的方法存在的上述问题，提出了许多解决的方法，例如，在场景 中的参与人员身上增加传感器，但是这种方法只能适用在某些特定的场景， 而且参与人员(用户)的体验效果不好。

另外，随着深度照相机的出现，由于深度照相机采集的是场景内的距离 信息，因此人们试图利用距离信息来对参与人员进行检测，但是基于深度摄 像机的算法目前仍不成熟。目前，人们已经提出了一些用于人的检测技术。

美国专利申请US20090210193A1提出了一个检测并定位人的方法。该 方法使用基于TOF的距离图像传感器输出空间内对象的距离，并给予这种 距离变化，检测出包含这种距离变化的区域；然后采用分割模块从所检测到 的距离变化区域中分割出参与人员的人的特定形状，从而定位人的方向。很 显然，该美国专利申请使用了一种具体人的特征，例如躯干，腿等特征来分 割距离变化区域中人的图像。该专利根据距离变化检测物体使用躯干，腿等 特征验证人。

另外，鉴于通常对象的三维特征，欧洲专利申请EP1983484A1提出一 种采用采集装置采集三维物体并且计算出视差图(disparity component data) 来检测三维对象的方法。该方法预先建立三维对象的模型，计算出从不同的 视角观察到此三维模型所得到的二维投影的一组灰度图，并将这组灰度图定 义为对象模板，然后比较对象模板与所采集到的图像区域，在所采集到的图 像的某个区域与所述对象模板之间具有最高的关联度值时，则认为该区域具 有一个三维对象。很显然，三维对象模型采用灰度图，无法进行归一化处理。

鉴于参与人的人脸特征，美国专利申请US20100158387A1提出一种人 脸检测方法。该方法采用一种图像处理模块使用多幅图像计算出距离信息并 且根据距离信息分割出前景区域和背景区域，然后采用人脸检测模块根据距 离对前景区域进行缩放，然后在缩放后的图像中检测人脸。然而，该专利申 请只能对人脸进行检测，因此对场景中出现的人的其他部分或其他物体无法 进行检测。

发明内容

为了解决上面所提到的现有技术中的这些问题，本发明提出了一种特定 前景对象的检测验证方法和系统。

具体而言，本发明提供了一种特定前景对象的检测验证方法，包括：采 用深度照相机获取当前环境的深度信息，并基于所述获得的深度信息创建当 前环境的深度图；比较所创建的当前环境的深度图与初始化背景深度图各像 素点的深度，更新背景深度图模型；从深度照相机再次拍摄的当前环境的深 度图中减去所更新的背景深度图模型，从而得到当前环境的背景的前景区域 的深度图；将所得到的前景区域的深度图中一个或多个连通域进行编号，并 在具有多个连通域的情况下，将这些连通域分割开来，作为多个候选的特定 前景对象；以及采用模板匹配机制来验证所分割获得的特定前景对象是否属 于被匹配的模板类型的特定前景对象。

根据本发明的特定前景对象的检测验证方法，其中所述比较所创建的当 前环境的深度图与初始化背景深度图各像素点的深度以便更新背景深度图 模型包括：通过对连续几帧图像采用中值滤波进行降噪滤波处理。

根据本发明的特定前景对象的检测验证方法，其中所述比较所创建的当 前环境的深度图与初始化背景深度图各像素点的深度以便更新背景深度图 模型包括反复执行的如下步骤：比较所创建的当前环境的深度图与在创建的 当前环境的深度图之前所存在的背景深度图各像素点的深度，并在发现在当 前环境深度图的一个像素点的当前深度大于所述背景深度图中的对应像素 点的深度时，将所述背景深度图中的对应像素点的深度更新为当前环境深度 图的一个像素点的当前深度值；反复执行上述步骤，直到在一预定时间阈值 内发生上述更新的像素点的数量少于一预定的数量阈值为止。

根据本发明的特定前景对象的检测验证方法，所述方法还包括：在验证 所分割获得的特定前景对象是否属于被匹配的模板类型的特定前景对象之 前，建立特定对象模板。

根据本发明的特定前景对象的检测验证方法，其中所述特定对象模板是 一种特定对象的深度图，具有固定的大小并且深度值为该类特定对象到指定 摄像机的固定距离。

根据本发明的特定前景对象的检测验证方法，所述方法还包括：在所述 采用模板匹配机制来验证所分割获得的特定前景对象是否属于被匹配的模 板类型的特定前景对象的步骤之前，对待验证的前景对象根据其深度图所包 含的距离信息改变前景对象深度图的尺寸。

根据本发明的特定前景对象的检测验证方法，所述对待验证的前景对象 根据其深度图所包含的距离信息改变前景对象深度图的尺寸的步骤包括：计 算所述前景对象深度图的各个像素的深度值的平均深度；基于所述特定对象 模板中指定的固定深度值和所计算的前景对象深度图的平均深度来计算所 述前景对象深度图的缩放比例；以及根据所计算的缩放比例改变所述前景对 象深度图的尺寸。

根据本发明的特定前景对象的检测验证方法，其中所述采用模板匹配机 制来验证所分割获得的特定前景对象是否属于被匹配的模板类型的特定前 景对象的步骤通过采用归一化相关系数(NCC)的算法对所述特定对象模板和 所述改变尺寸后的前景对象深度图进行模板匹配来进行。

根据本发明的另一个方面，还提供了一种特定前景对象的检测验证系 统，包括：深度图采集设备，获取当前环境的深度信息，并基于所述获得的 深度信息创建当前环境的深度图；背景建模单元，比较所创建的当前环境的 深度图与初始化背景深度图各像素点的深度，更新背景深度图模型；背景减 除单元，从深度照相机再次拍摄的当前环境的深度图中减去所更新的背景深 度图模型，从而得到当前环境的背景的前景区域的深度图；前景对象分割单 元，将所得到的前景区域的深度图中一个或多个连通域进行编号，并在具有 多个连通域的情况下，将这些连通域分割开来，作为多个候选的特定前景对 象；以及前景对象验证单元，采用模板匹配机制来验证所分割获得的特定前 景对象是否属于被匹配的模板类型的特定前景对象。

本发明只是用深度图，采用的检测特征为特定对象的轮廓，更具备鲁棒 性。

附图说明

图1所示的是采用本发明的前景对象的检测验证方法和系统的场景示意 图。

图2所示的是根据本发明的前景对象的检测验证方法的流程图。

图3所示的是根据本发明的背景建模步骤的流程图。

图4所示的是根据本发明的背景减除步骤和前景对象分割步骤的流程 图。

图5阐所示的是根据本发明的背景减除步骤和前景对象分割步骤的示意 图。

图6所示的是根据本发明的前景对象验证步骤的流程图。

图7-1所示的是根据本发明的改变深度图尺寸步骤的流程图。

图7-2所示的是根据本发明的改变深度图尺寸步骤的示意图。

图8-1所示的是根据本发明的头肩模板的示意图。

图8-2所示的是与根据本发明的头肩模板不同的灰度图模板的示意图。

图9所示的是根据本发明的将对象形状和模板匹配步骤的流程图。

图10所示的是根据本发明的将NCC匹配结果可视化的示意图。

图11所示的是根据本发明的系统方框图。

具体实施方式

以下，将参照附图来详细说明本发明的具体实施例。

图1所示的是采用本发明的前景对象的检测验证方法和系统的场景示意 图。由一个三维摄像机进行拍摄，同时本发明对拍摄的数据进行处理。输出 可以展示在显示设备上。

图2所示的是根据本发明的前景对象的检测验证方法的流程图。首先， 在步骤11处，由深度图采集单元U10，获取当前环境的深度信息，并基于 所述获得的深度信息创建当前环境的深度图。随后，在步骤12处，由背景 建模单元U13比较所创建的当前环境的深度图与初始化背景深度图各像素 点的深度，更新背景深度图模型。接着，在步骤13处，由背景减除单元U14 从深度照相机再次拍摄的当前环境的深度图中减去所更新的背景深度图模 型，从而得到当前环境的背景的前景区域的深度图。然后，在步骤14处， 由前景对象分割单元U15将所得到的前景区域的深度图中一个或多个连通 域进行编号，并在具有多个连通域的情况下，将这些连通域分割开来，作为 多个候选的特定前景对象。最后，在步骤14处，由前景对象验证单元U16 采用模板匹配机制来验证所分割获得的特定前景对象是否属于被匹配的模 板类型的特定前景对象。并在步骤15处，输出经过验证的对象。

深度图可以通过三维摄像机获取，比如PrimeSense。所谓深度图就是， 深度照相机通过拍摄位于照相机镜头前的环境，并计算所拍摄的环境中每个 像素点距离深度照相机的距离，并采用例如16位的数值来记录每个像素点 所代表的物体与深度照相机之间的距离，从而有这些每个像素点所附带的表 示距离的16位数值形成一幅表示各个像素点与照相机之间距离的图。一个 深度图10是一个图像，其每一个像素值的含义是该位置离摄像机的距离信 息。距离的绝对数值是无法可视化的，所以需要对数据进行一些处理使得其 满足数字图像数值的约束，故被称作深度图。在后续的说明中提到的深度图 10是指其原始的距离值而不是处理过可视化的像素值。

图3所示的是根据本发明的背景建模步骤的流程图。首先，在步骤S110 处，输入初始化模型。初始化背景模型首先可以用第一帧(或者前几帧的平 均值)的深度图作为初始背景模型，之后会动态的不断更新背景模型。为了 能够在任何场景中使用本发明，因此，背景模型需要实时更新。为此，需要 在步骤S111处采用深度照相机连续获取本发明所应用场景的N帧深度图。 鉴于每帧图的深度可能存在不稳定，因此，在步骤S112处对所获取的N帧 深度图执行降噪处理。举例来说，降噪方法为：取得N帧深度图，对这N 帧深度图中的同一位置的像素对应N个深度值，使用降噪函数进行。降噪函 数可以使用中值滤波函数，其表达式为：

$\bar{d}(x,y)=\underset{1\le i\le N}{\mathrm{median}}\left(d_i(x,y)\right)---\left(1\right)$

其中d(x，y)表示在位置(x，y)上的深度值，N表示图像帧数。

通过对所获得深度图中每个位置的深度值执行上述处理后，在步骤S113 处输出包含降噪处理后深度值的深度图。之后，在步骤S115处，采用经过 降噪处理后的深度图来更新初始背景模型。更新处理过程具体如下：在步骤 S114处输入进行更新之前已经存在的背景模型，之后比较所述更新之前已经 存在的背景模型深度图和经过降噪处理之后获得的深度图之间的深度值，如 果两幅深度图对应位置的某个像素在深度值之间存在经过降噪处理之后获 得的深度图的深度值比较所述更新之前已经存在的背景模型深度图的深度 值大的情况，就表明经过降噪处理之后获得的深度图的该位置像素点距离深 度照相机更远，并且表明该像素点在形成被更新之前的背景模型的时候是被 某个前景物体遮挡的，而该前景物体在形成上述N帧深度图的时候被移开。 因此，该降噪处理之后获得的深度图的该位置像素点更应该成为背景的一部 分，从而将该像素点的深度值更形为背景模型深度图中对应像素点的深度 值。具体的更新表达式为：

$d_B(x,y)=\left(\begin{array}{c}\bar{d}(x,y),\bar{d}(x,y)>d_B(x,y)\\ d_B(x,y),\mathrm{otherwise}\end{array}\right)---\left(2\right)$

其中表示降噪后的深度图中的深度值，而d_B表示背景模型中的深度 值。

鉴于在使用本发明的场景过程中不可能一直处于变化过程中，相反，在 经过初期的变化后，通常会处于一定的稳定状态。例如在一个会议场合，在 人们坐定之后，场景的变化一般很少。为了降低更新的计算量，本发明进一 步可以规定更新中止。为此，本发明建立背景模型的过程还包括步骤S116。 在步骤S116处，利用中止条件中止背景模型更新过程，中止条件定义为在 规定时间T内，更新背景模型的步骤S115中发生更新的像素数量小于一个 给定的阈值Count_Th。

通过上述方式，可以进行背景模型深度图处于动态状态，因此能够实时 使用本发明而不受环境变化的影响。

图4所示的是根据本发明的背景减除步骤和前景对象分割步骤的流程 图。在背景模型更新之后或同时，通过从新获取的深度图中减去当前背景模 型的深度图，由此获得新获取的深度图中可能前景对象的深度图。该流程的 具体过程如下：

首先，在步骤S120处，从深度照相机的摄像头中获取一帧深度图。然 后在步骤S121处，接收所输入的背景模型(该背景模型可以是初始的，也 可以是刚刚更新过的)，并从所获取的深度图中减去所输入的背景模型的深 度图，并输出前景深度图122。

具体的减除策略由下列表达式(3)给出：

$d_F(x,y)=\left(\begin{array}{c}0,|d(x,y)-d_B(x,y)|<{\mathrm{Th}}_{\mathrm{Sub}}\\ d(x,y),\mathrm{otherwise}\end{array}\right)---\left(3\right)$

其中d_B表示背景模型深度图的像素值，d表示输入的深度图的像素值， d_F表示前景深度图的像素值而Th_Sub为预定义的阈值。

然后在步骤S130处，基于前景深度图的深度的连通域将前景深度图分 割成多个前景对象，并输出为前景对象集合131。使用的分割算法为基于深 度的连通域分析(DCCA)。具体的算法可以在Prime Sense公司提交的美国专 利申请US20090183125(A1)中找到。在此通过引用方式将该专利申请的内容 包含于此。

图5阐所示的是根据本发明的背景减除步骤和前景对象分割步骤的示意 图。前景对象集合131中的对象的数据格式与深度图相同，示意图中的最终 结果只列出部分前景对象。

图6所示的是根据本发明的前景对象验证步骤的流程图。本发明所进行 的前景对象验证采用模板匹配的方法。具体过程如下。

首先，在步骤S141处，从所输入的前景对象集合131中选择任意一个 前景对象。然后在步骤S142处计算所选择前景对象的平均深度。以下是计 算平均深度的方法的表达式：

$d_{\mathrm{avg}}=\underset{(x,y)\in \mathrm{Obj}}{\Sigma }d(x,y)/\mathrm{size}---\left(4\right)$

其中Obj表示前景对象，d表示深度值而size表示前景对象的面积。

在获得前景对象的平均深度值之后，在步骤S144处，基于所计算的平 均深度值改变所选择的前景对象深度图的尺寸。图7-1所示的是根据本发明 的改变深度图尺寸步骤的流程图。

如图7-1所示，改变深度图尺寸步骤S143包括：重新计算深度值步骤 S1430，计算缩放比例步骤S1431和缩放前景对象步骤S1432。

在步骤S1430处，重新计算深度值。该步骤是为了保证深度图的深度值 在缩放前后的一致性。不同于灰度图在进行缩放不需要改变其像素的灰度 值，需将前景对象的深度值重新计算。原因是深度图像素的值表示距离信息， 与其大小相关。表达式(5)给出重新计算的方法：

d′(x，y)＝D_Norm*d(x，y)/d_avg                    (5)

其中d表示前景对象的深度值，d_avg通过表达式(4)计算得来而DNorm 为归一化参数，表示所有前景对象都缩放到此距离参数。在后续说明中，假 设使用DNorm＝3作为示例。

然后，在步骤S1431处，计算缩放比例。缩放比例由表达式(6)给出：

ratio＝d_avg/D_Norm                                (6)

其中d_avg为表达式(4)计算得来的平均深度值，D_Norm为归一化参数。

最后，在步骤S1432处，基于所计算的缩放比例来缩放所选择的前景对 象。缩放的参数由表达式(7)计算得到：

$\left(\begin{array}{c}h=H/\mathrm{ratio}\\ w=W/\mathrm{ratio}\end{array}\right)---\left(7\right)$

其中H为原始前景对象的图像的高而h为缩放后情景对象图像的高；W 为原始前景对象的图像的宽而w为缩放后情景对象图像的宽；ratio为表达 式(6)计算得到的缩放比例。前景对象在经过缩放前景对象步骤S1432处理后 进行模板匹配，由于模板尺寸已经固定，所以能降下面匹配需要的计算量和 时间。

图7-2所示的是根据本发明的改变深度图尺寸步骤的示意图。

返回参见附图6，在步骤S144处，接收已有形状模板输入，并将经过 缩放后的前景对象的形状和某一类型的模板进行匹配对比。

一般的模板匹配方法是通过不断改变模板的大小并在给定的图像中找 到最匹配的位置。但是，由于位置的不同，实际物体在图像中的大小是不同 的，这样模板匹配需要大量的计算时间，具体的说，需要尝试所有可能的模 板大小才能完成一次匹配。本发明中对模板匹配提速的解决方案是根据深度 值将前景对象与模板归一化到同样的尺度。图8-1所示的是根据本发明的头 肩模板实例的示意图。图8-2所示的是与图8-1所示的根据本发明的头肩模 板不同的灰度图模板的示意图。我们发现人的头肩具有稳定和鲁棒的“Ω” 形状，这种稳定性可以作为模板匹配的特征。本发明中的图8-1所示模板为 归一化三维模板，主要有两个特性：第一，三维模板：模板为深度图，其像 素值表示的是距离值。第二，归一化模板：模板大小与前述表达式(6)给出的 D_Norm相关，为固定的。具体意义是当对象距离摄像头的距离为D_Norm(比如 3米)时取得该对象作为模板。与图8-2所示的灰度图模板相比，本发明的 图8-1所示的头肩模板具有以下优点在于能够提高匹配的正确率并降低噪 声。即使某个对象的外观有相似的“Ω”形状，但是如果其三维表面不具备一 个椭球的形状，那么通过归一化三维头肩模板就能区分这个对象不是人的头 肩，而图8-2所示的灰度图的模板不能实现上述技术效果。

图9所示的是根据本发明的将对象形状和模板匹配步骤的流程图。该匹 配验证过程包括：步骤S1440，执行NCC模板匹配；步骤S1441，阈值化最 大匹配值；以及步骤S1442，计算头肩的真实位置。

在步骤S1440处，执行NCC模板匹配，就是使用归一化相关系数(NCC) 作为模板匹配。相关系数(NCC)本质上与卷积过程相似。表达式(8)为相关系 数的计算公式：

$R_{\mathrm{ccoeff}}(x,y)=\underset{x^{\prime },y^{\prime }}{\Sigma }{[T(x^{\prime },y^{\prime })·I(x+x^{\prime },y+y^{\prime })]}^2---\left(8\right)$

其中T代表模板图像；I代表目标图像，即本发明中的前景对象。

表达式(9)给出归一化系数；表达式(10)给出NCC计算表达式：

$Z(x,y)=\sqrt{\underset{x^{\prime },y^{\prime }}{\Sigma }T{(x^{\prime },y^{\prime })}^2·\underset{x^{\prime },y^{\prime }}{\Sigma }I{(x+x^{\prime },y+y^{\prime })}^2}---\left(9\right)$

$R_{\mathrm{ccoeff}\_\mathrm{normed}}(x,y)=\frac{R_{\mathrm{ccoeff}}(x,y)}{Z(x,y)}---\left(10\right)$

其中Z(x，y)通过表达式(9)算出。

假设模板本身的宽和高分别是w和h，而前景对象的宽和高分别是W 和H；那么NCC的结果是一个(W-w+1)乘以(H-h+1)的二维数组。NCC的值 表示匹配程度，结果从0到1，1表示完全匹配。

图10所示的是根据本发明的将NCC匹配结果可视化的示意图。

接着在步骤S1441处，阈值化最大匹配值，即从NCC结果中找到最大 的匹配值V_max(x0，y0)，判断是否是头肩的策略如下：

$\mathrm{Location}=\left(\begin{array}{c}(x0,y0),V_{\mathrm{Max}}>{\mathrm{Match}}_{\mathrm{th}}\\ \mathrm{NULL},\mathrm{otherwise}\end{array}\right)---\left(11\right)$

其中Match_th是预定义的匹配阈值。

随后，在步骤S1442处，计算头肩的真实位置，即根据匹配的头肩结果 计算其在输入图像的位置。

首先，根据NCC结果和表达式(11)，头肩区域在缩放后的前景对象中的 位置为一个矩形区域，用RECT(x0，y0，w，h)表示，其中x0，y0表示得到最大 匹配值的坐标，w和h分别是模板的宽和高。然后，头肩区域在原始的输入 图像中的位置为RECT(x0*ratio+Δx，y0*ratio+Δy，w*ratio，h*ratio)，其中ratio 为表达式(6)计算得到的缩放比例，Δx和Δy为前景对象与整个深度图的相对 位置。

最终，如图2所示，在步骤15处输出被标识的被验证过的头肩区域作 为被验证的前景对象以便进行后续处理。

尽管本发明仅仅采用了人的头肩作为特定对象来说明本发明的实施方 式，但是本领域的技术人员能够理解到，本发明可以应用到任何特定对象， 例如诸如老虎，狮子等各种动物、车辆。不同的是建立不同的匹配模板即可。

图11所示的是根据本发明的系统的方框图。如图所示，根据本发明的 系统包括：中央处理器U11、存储设备U12、显示设备U17、深度图采集设 备U10，获取当前环境的深度信息，并基于所述获得的深度信息创建当前环 境的深度图；背景建模单元U13，比较所创建的当前环境的深度图与初始化 背景深度图各像素点的深度，更新背景深度图模型；背景减除单元U14，从 深度照相机再次拍摄的当前环境的深度图中减去所更新的背景深度图模型， 从而得到当前环境的背景的前景区域的深度图；前景对象分割单元U15，将 所得到的前景区域的深度图中一个或多个连通域进行编号，并在具有多个连 通域的情况下，将这些连通域分割开来，作为多个候选的特定前景对象；以 及前景对象验证单元U16，采用模板匹配机制来验证所分割获得的特定前景 对象是否属于被匹配的模板类型的特定前景对象。

本发明所述的方法可以在一台计算机(处理器)上执行，或者可以被多 台计算机分布式执行。此外，程序可以被转移到在那儿执行程序的远程计算 机。

本领域的普通技术人员应该理解到，根据设计要求和其他因素，只要其 落入所附权利要求或其等效物的范围内，可以出现各种修改、组合、部分组 合和替代。