视频目标时空最大稳定性判别性颜色区域匹配方法和系统

摘要

本发明公开了一种视频目标时空最大稳定性判别性颜色区域匹配方法和系统，包括：第一步，检测视频中的运动目标，确定目标所在区域；第二步，检测提取目标的最大稳定性颜色区域MSCR；第三步，提取时空最大稳定性颜色区域TS‑MSCR；第四步，提取时空最大稳定性判别性颜色区域TS‑MSDCR；第五步，区域匹配。本发明利用区域匹配，可以得到目标不同部位的相对空间位置变化，从而用来进行包括但不限于姿态估计、行为分析等智能化应用。

说明书

技术领域

本发明涉及视频目标特定区域检测与匹配领域，尤其涉及一种视频目标时空最大稳定性判别性颜色区域匹配方法和系统。

背景技术

伴随着计算机技术和人工智能的飞跃发展，视频成为了信息网络尤其是安防不可或缺的一部分。从视频中分析目标具有现实意义，尤其是从监控视频中跟踪并分析行人，得到人体姿态信息或者识别行人行为，这对于智能安防具有重要应用价值。

目前较为成熟的目标跟踪算法分为基于区域的跟踪、基于轮廓的跟踪和基于特征的跟踪算法等；基于特征的跟踪算法是指提取特定特征，在一定范围内进行特征度量、区域匹配，从而实现跟踪；目前主要的特征包括特征点如Harris角点、SIFT和SURF等，区域特征主要包括颜色，纹理，面积和质心。目前，由于区域特征提取时由于视频中目标尺度较小，造成目标较模糊；视频中目标光照在单帧图像上空间的变化和连续帧图像时间上的变化，目标姿态变化和目标遮挡现象等造成某些区域的颜色、纹理特征不稳定，给区域匹配造成一定困难。以下先对之前的方法和技术进行简要的介绍：

一，Harris角点，SIFT特征和SURF特征

对于一幅灰度图像，点特征是指具有明显灰度变化的像素区域。经典的KLT跟踪算法就可以通过计算Harris角点处光流进行目标判断与跟踪；SIFT特征点是由Lowe在2004年提出的一种具有尺度和旋转不变性的特征描述，该方法将不同半径的高斯卷积核与不同尺度的图像卷积，通过计算不同高斯卷积差值图像(Difference of Gauss)上的极值点，与预设的对比度阈值和曲率阈值比较从而筛选特征点；最后根据特征点邻域的梯度信息生成特征向量；以此来描述一幅图像上的特征信息。SIFT特征由实验验证具有良好的尺度、旋转不变性。后来Bay等人提出了速度更快的SURF算法，在运算时间上进行了较大提升；但是无论是Harris角点、SIFT特征还是SURF特征，这些点特征虽然能很大程度上对目标进行描述匹配，但是这些特征忽略了目标的颜色信息和区域面积信息，并且伴随着视频中非刚体目标发生姿态等形体变化，这些特征将随之发生较大变化，难以实现基于上述特征点的准确匹配。

二：MSCR特征

MSCR(Maximally Stable Colour Regions)特征是由Forssen在2007年提出的一种基于颜色的仿射不变的稳定特征。该特征是对灰度图像中最大稳定极值区域(MSER)在彩色图像上的拓展。最大稳定极值区域的基本思想是对于对一幅图像用连续不同的阈值进行二值化处理，一般阈值范围选取在{0,255}之间，对于在不同阈值下区域面积变化速率最小的区域即为最大稳定区域。

对于一幅彩色图像，利用卡方距离(Chi-squared distance)相似度准则:

来确定像素(包括红，绿和蓝三个通道)之间的相似性阈值d_t，合并小于阈值d_t的区域，形成团块(blob)区域。稳定性的判断是由计算区域面积变化斜率s得到的：

当a_t+1/a_t>1.01时，a_*和d_*将会被更新，取s值最小时对应的区域a_*。通过删除面积较小、过于狭长的区域和设定最小阈值差，得到了一幅彩色图像中MSCR(最大稳定颜色区域特征)。Forssen实验表明，该特征能很好的代表目标区域特征，并且具有良好的仿射不变特性。

三：MeanShift跟踪算法

基于MeanShift的目标跟踪算法通过分别计算目标区域和候选区域内像素的具有特征性的值的概率，得到候选模型相对目标模型的概率描述，在实际应用中，一种实现方法是提取目标区域的HSV颜色空间中的Hue分量，统计其归一化直方图，然后在候选区域内计算目标区域内的反向投影。并且引入核函数K(x_i-x)进行加权，选择使相似函数值最大的候选模型，并得到关于目标模型的MeanShift向量，这个向量正是目标初始位置移动方向向量。由于均值漂移算法的快速收敛性，通过不断迭代计算MeanShift向量，算法最终将收敛到目标的真实位置，达到跟踪的目的。

四：基于颜色直方图的区域搜索匹配算法：

MeanShift跟踪算法计算量不大，但是当目标运动速度较快或者出现短暂消失后，MeanShift并不能实现准确跟踪匹配。一种解决办法是在搜索区域内，遍历计算候选目标区域的颜色特征，如颜色直方图，利用相似度判别准则例如卡方距离或者巴氏距离来寻找可能性最大的候选目标区域，判断为目标区域。这样可保证当目标短时间内未匹配准确却不会失去目标区域。提取目标区域HSV空间中的Hue分量颜色直方图时，由于光照影响和摄像机采集等因素，一些像素Saturation(饱和度)较低，导致该像素Hue颜色分量具有一定随机性，不能正确表示目标区域颜色分量；并且由于光照条件的变化导致颜色直方图的偏移，不利于目标区域和候选区域的匹配。

发明内容

为解决上述颜色区域受光照和目标区域形状等在一定范围内发生非刚体形变(如人体姿态改变)，导致基于SIFT、Harris、MSCR等特征出现匹配难问题，本发明提出一种视频目标时空最大稳定性判别性颜色区域匹配方法，通过提取运动目标在一定的连续时间段内具有稳定性和判别性的颜色区域(TS-MSDCR)，并在后续帧中找到这些目标特定区域的匹配区域，来确定运动目标相同区域在时间域上的空间位置变化，从而用来进行姿态识别、行为分析等智能化应用。

根据本发明的第一目的提供一种视频目标时空最大稳定性判别性颜色区域匹配方法，包括以下步骤：

第一步，运动目标检测步骤：检测视频中的运动目标，确定运动目标所在区域；

第二步，最大稳定性颜色区域提取步骤：基于所述运动目标所在区域，检测提取运动目标的最大稳定性颜色区域MSCR；

第三步，时空最大稳定颜色区域提取步骤：对每个运动目标的MSCR，依据时域稳定性，提取其中时空最大稳定的颜色区域TS-MSCR；

第四步，时空最大稳定性判别性颜色区域提取步骤：对每个运动目标的TS-MSCR，依据判别距离大小，提取其中时空最大稳定性判别性颜色区域TS-MSDCR；

第五步，区域匹配步骤：该步骤进行视频运动目标不同时间段MSCR匹配；

在后续视频帧中，基于动目标跟踪技术，确定第一步运动目标在当前帧的位置区域，并在该位置区域检测提取运动目标的MSCR；对步骤四得到的N个TS-MSDCR，与运动目标在当前帧的每个MSCR，进行基于颜色特征和相对面积等约束的相似度度量，相似度最大的区域，即为TS-MSDCR在当前帧的匹配区域。

优选地，第二步中：利用最大稳定性颜色区域(MSCR)算法检测提取运动目标所在区域中的最大稳定性颜色区域，即：首先检测提取运动目标区域的每个MSCR，并同时保存计算得到的每个MSCR的空间特征，包括中心位置p₀(x₀,y₀)、面积大小a₀和颜色特征π₀任一个或多个。不同于已有MSCR方法仅提取颜色特征，这里通过提取MSCR的空间特征(位置和面积)和颜色特征，通过多特征融合可进一步提升后续匹配的准确性。

优选地，第三步中，所述依据时域稳定性，提取其中时空最大稳定的颜色区域TS-MSCR，是指：对每个MSCR，在连续τ帧图像上基于特征值、空间位置和面积来计算变化速率，变化速率低于设定阈值的判决为时空最大稳定颜色区域即TS-MSCR；对每个TS-MSCR，计算时间框[t-τ,t]内加权的MSCR特征，得到TS-MSCR时空稳定的特征值，其中t表示当前帧，τ表示时间间隔。通过在MSCR基础上进一步进行时域稳定性判断，可通过时域特征的引入来降低非目标的背景扰动带来的误匹配概率。

更优选地，所述在连续τ帧图像上基于特征值、空间位置和面积来计算变化速率，是指：计算同一运动目标同一MSCR的颜色、面积特征随时间的变化斜率，通过小于某个阈值来筛选出在时域上具有稳定特性的颜色区域；对于某些同一运动目标同一MSCR，变化斜率大于所述阈值，则将此区域视为时域不稳定区域进行删除，保留在时间区间[t-τ,t]帧内特征稳定的MSCR。

更优选地，所述对每个TS-MSCR，计算时间框[t-τ,t]内加权的MSCR特征，得到TS-MSCR时空稳定的特征值，是指：为加强时域上的稳定性，引入核函数K(t_i-t),i∈(0,τ]，对于靠近当前帧的每帧子图上的MSCR颜色特征，加以第一权重；对于时间窗内远离当前帧的子图上的MSCR颜色特征，赋以第二权重，所述第一权重大于第二权重；计算时间框[t-τ,t]内加权的MSCR特征，得到TS-MSCR时空上稳定的特征值，包括区域面积a、中心位置P(x,y)、颜色特征中任一个或多个；t_i表示第t_i个时刻，取值与当前帧有关。

优选地，第四步中，所述依据判别距离大小，提取其中时空最大稳定性判别性颜色区域TS-MSDCR；是指：在所有TS-MSCR中，计算每个TS-MSCR同其他TS-MSCR之间的颜色特征距离，选取最小距离作为该TS-MSCR的判别距离；对所有TS-MSCR按照判别距离由大到小顺序进行排序，判别距离越大的TS-MSCR，认为其具有越大的判别性；选取判别距离最大的前N个TS-MSCR，作为时空最大稳定性判别性颜色区域TS-MSDCR。同已有的MSCR方法相比，这里通过判别距离大小来筛选出最有判别性的MSCR区域，可降低时空上判别性较低的MSCR区域出现误匹配的概率(因为判别性较低意味着和其他区域相似、容易误匹配)。

优选地，第五步中：

定义两个MSCR之间的距离D(R_i,R_j)，所述两个MSCR，其中一个是步骤四中得到的TS-MSDCR，一个是步骤五中得到的MSCR：

γ∈(0,1)

其中，R_i和R_j表示第i和第j个MSCR，和分别表示第i个TS-MSDCR与当前帧的第j个MSCR的面积距离和颜色特征距离；为寻找到与TS-MSDCR相匹配的MSCR，通过使距离D(R_i,R_j)最小化来寻找运动目标同一部位，j∈M，M为当前帧中MSCR的总个数：

min>i,R_j)

若TS-MSDCR与所有的MSCR距离差值都大于所设阈值D_T，即min>i,R_j)>D_T，则认为该TS-MSDCR在当前帧找不到与其匹配的区域，D_T根据应用场合不同，取不同经验值。

根据本发明的第二目的，提供一种用于实现上述方法的视频目标时空最大稳定性判别性颜色区域匹配系统，包括：

运动目标检测模块：用于检测视频中的运动目标，确定运动目标所在区域；

最大稳定性颜色区域提取模块：基于所述最大稳定性颜色区域的目标所在区域，检测提取运动目标的最大稳定性颜色区域，简称MSCR；

时空最大稳定颜色区域提取模块：对所述最大稳定性颜色区域提取模块得到的每个MSCR，提取时空最大稳定颜色区域即TS-MSCR；

时空最大稳定性判别性颜色区域提取模块：在所述时空最大稳定颜色区域提取模块的TS-MSCR中，计算每个TS-MSCR同其他TS-MSCR之间的颜色特征距离，选取最小距离作为该TS-MSCR的判别距离；对所有TS-MSCR按照判别距离由大到小顺序进行排序，判别距离越大的TS-MSCR，认为其具有越大的判别性；选取判别距离最大的前N个TS-MSCR，作为时空最大稳定性判别性颜色区域即TS-MSDCR；

区域匹配模块：用于视频运动目标不同时间段MSCR匹配；在后续视频帧中，基于动目标跟踪技术，确定第一步运动目标在当前帧的位置区域，并在该位置区域检测提取目标的MSCR；对步骤四得到的N个TS-MSDCR，与运动目标在当前帧的每个MSCR，进行基于颜色特征和相对面积等约束的相似度度量，相似度最大的区域，即为TS-MSDCR在当前帧的匹配区域。

本发明利用区域匹配，可以得到目标不同部位的相对空间位置变化，从而用来进行包括但不限于姿态估计、行为分析等智能化应用。

与现有技术相比，本发明具有以下有益效果：

本发明通过计算视频每帧图像内目标的MSCR(最大稳定颜色区域)，获取具有时空稳定性和判别性的特征TS-MSDCR，较好的解决了目标区域随目标形变(遮挡、姿态和光照等因素)造成的目标特征漂移现象，提高了对视频内目标的描述准确性和鲁棒性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中的方法流程图；

图2为本发明一实施例中的TS-MSCR提取过程图；

图3为本发明一实施例中的TS-MSDCR提取过程图；

图4为本发明一实施例中的系统框图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明是一种视频目标时空最大稳定性判别性颜色区域匹配方法，相比于其他图像特征，视频中运动目标特征具有如下特点：

特点一、形变：视频中目标由于在图像空间中的位移和目标自身的转动等形变因素，造成目标区域特征随着时间发生变化；加上由于运动造成姿态形变，某些部位会发生遮挡、弯曲、折叠等现象，导致部位刚性特征信息的丢失或变化，难以根据初始目标刚性特征进行目标匹配等研究分析。

特点二、光照：由于时间域上光照条件的变化和图像内光照不均匀、阴影现象，目标的颜色、纹理等特征会随着时间发生一定改变。

本发明的视频目标时空最大稳定性判别性颜色区域匹配方法，从上述问题出发，较好地解决了上述形变和光照等问题。本发明基于图像特征提取领域中的MSCR(最大稳定极值区域)提出了视频目标颜色特征TS-MSCR(时空最大稳定颜色区域)和TS-MSDCR(时空最大稳定性判别性颜色区域)。

如图1所示，为本发明的方法流程图，共分为五个步骤：运动目标的检测，检测提取目标的MSCR特征，提取时空最大稳定颜色区域，提取时空最大稳定性判别性颜色区域TS-MSDCR和区域匹配。以下将对这五个步骤进行详细描述：

一、检测视频中的运动目标

一帧图像可根据分析对象不同，图像内容可分为前景与背景。对视频进行前景和背景提取，可以采用帧差法、光流法和背景建模法等。帧差法实现简单，但是容易出现空洞现象；光流法通过计算运动图像的二维速度场提取前景，可以应用在运动摄像头的视频上，但是光流法运算较复杂，实时性较差，不适合较多应用场合；由于生活中大部分监控摄像头都是固定视角的，通过背景建模，不同场景设置不同参数可以获得很好的结果。OpenCV(计算机视觉开源库)中也集成了成熟的背景建模算法，例如GMM(混合高斯模型)改进的GMM算法等。

提取出视频的前景后，由于一些扰动和摄像机成像的噪声影响，前景图像往往具有较多噪声；利用腐蚀和膨胀等形态学处理，可以有效滤除噪声；根据同一运动目标属于同一团块，将前景分割为不同目标；分割前景图像成多个不同目标后，分别计算每个目标框大小和位置，用来确定提取MSCR的子图。

本步骤中，对视频中的运动目标，如行人，采用运动前景提取和目标检测融合判决方法，检测运动目标，确定运动目标所在区域(可以采用矩形目标框)。

二、检测提取目标的MSCR特征

2007年Forssen提出MSCR算法，该算法内含面积阈值、变化速率和一些狭长区域的参数，使得可以根据应用场合、目标大小调整参数删选区域，得到较合适的MSCR。提取每帧图像目标的MSCR特征后，计算得到每个区域的空间特征，包括但不限于中心位置p₀(x₀,y₀)，面积大小a₀和颜色特征(平均颜色或者颜色直方图等)π₀。

三、提取时空最大稳定颜色区域

提取时空最大稳定颜色区域如图2所示。提取出τ帧的目标MSCR后，为了使同一个目标连续帧内的MSCR特征匹配，首先定义了如下距离：

1)MSCR面积距离d_a：

其中，t代表当前第t帧，a_t表示第t帧MSCR特征的面积大小。a_t-1表示第t-1帧MSCR特征的面积大小。

2)MSCR中心点距离d_p：

其中(p_t-p_t-1)＝(x_t-x_t-1,y_t-y_t-1).表示中心点位移变化矢量；

t代表当前第t帧，p_t代表第t帧MSCR特征的中心点，x_t和y_t表示中心点p_t在图像内坐标，p_t-1代表第t-1帧MSCR特征的中心点，x_t-1和y_t-1表示中心点p_t-1在图像内坐标。

3)MSCR平均颜色距离d_c²：

其中，t代表当前第t帧，k代表第k个颜色通道，π_(t,k)表示第t帧第k个颜色通道的平均值，π_(t-1,k)表示第t-1帧第k个颜色通道的平均值.

采用卡方距离(Chi-squared distance)来度量颜色相似性。

最后定义两个MSCR之间的距离D_MSCR(R_i,R_j)：

α,β∈(0,1),(α+β)<1

其中，R_i和R_j表示第i和第j个MSCR。和分别表示相邻帧目标第i个和第j个MSCR的面积距离、中心位置距离和颜色特征距离；为在(t+1)帧内寻找t帧中目标对应区域通过使距离最小化来寻找目标同一部位的MSCR，赋以相同标签(label)归为同一目标同一MSCR：

针对存在某些连续帧内MSCR特征未匹配，设定其最小距离应小于所设阈值，即：

min D_MSCR(R_i,R_j)<T_MSCR

上述的为相邻MSCR特征匹配，为提取出在这段时间具有稳定特征的MSCR,还设定以下阈值约束：

MSCR面积约束：计算区域面积变化斜率d_a并且小于阈值s_a

d_a<s_a；

MSCR中心点约束：计算区域位移变化斜率d_p并且小于阈值s_p

d_p<s_p

MSCR平均颜色约束：计算区域面积变化斜率d_c并且小于阈值s_c

d_c<s_c

其中，DT_MSCR、S_a、s_p和s_c斜率(slope)阈值由经验值给出。

对于某些同一目标同一MSCR特征，MSCR距离或者变化斜率大于所设阈值，则应将此区域删除，只保留在时间框[t-τ,t]内稳定存在的MSCR。

提取出τ帧内稳定存在MSCR特征后，为了使最后输出的特征描述更加具有代表性，同时保持在时域上的稳定性，引入核函数K(t_i-t),i∈(0,τ]：

其中，t表示当前帧，τ表示时间间隔，t_i表示第t_i个时刻。

Epannechnikov核函数：

其中，c表示尺度因子，在实施例中设为1；x表示自变量。

或者高斯核(Gaussian kernel)函数：

其中，σ表示尺度因子，可设为经验值；x表示自变量。

对于靠近当前帧的目标MSCR特征，加以较大权重；对于时间窗内远离当前帧的目标MSCR特征，赋以较小权重；因为在一段连续的时间序列中，目标某些部位因遮挡、转动等形变因素和光照变化因素势必造成一些MSCR特征随时间发生改变；在符合稳定性判决下，为保证最后提取出来的描述子具有在时间域上目标稳定的特征信息，同时防止目标特征漂移现象；计算时间框[t-τ,t]内加权的MSCR特征，得到目标区域最后时域稳定的包括但不限于区域面积a，中心位置P(x,y)和颜色特征(平均颜色等)的描述子TS-MSCR。

四、提取时空最大稳定性判别性颜色区域TS-MSDCR。

提取时空最大稳定性判别性颜色区域TS-MSDCR如图3所示。提取出TS-MSCR特征后，对于所有TS-MSCR特征，计算每个TS-MSCR特征之间颜色特征距离，选取最小的距离作为该TS-MSCR的判别距离。

对于第i个TS-MSCR特征，其最小距离定义为：

其中，j指的是除第i个TS-MSCR外其他TS-MSCR表示。对所有TS-MSCR按照判别距离进行由大到小进行排序，判断距离越大的TS-MSCR特征，其具有越大的判别性。

选取判别距离最大的前N个TS-MSCR，称之为时空最大稳定性判别性颜色区域TS-MSDCR，其中N一般取1～20之间，具体跟据目标和应用情况不同给出不同经验值，比如目标如果为行人，按直立行人上、中、下三个区域每个区域选1-2个TS-MSDCR，则整个目标的N可选为3-6个。(TS-MSDCR概念可理解成MSCR概念的子集)。

第五步、区域匹配

在后续视频帧中，基于动目标跟踪技术，确定目标所在的可能区域，并在该区域检测提取目标的MSCR特征；与第四步得到的N个TS-MSDCR特征进行相似度度量。

首先，定义两个MSCR(一个是步骤四中得到的TS-MSDCR，一个是步骤五中得到的MSCR)之间的距离D(R_i,R_j)：

γ∈(0,1)

其中，R_i和R_j表示第i和第j个MSCR。和分别表示第i个TS-MSDCR与第j个MSCR的面积距离和颜色特征距离；为每个TS-MSDCR在当前帧找到与其匹配的MSCR，通过使距离D(R_i，R_j)最小来寻找目标同一部位(j∈[1,M]，M为当前帧中MSCR的总个数)：

min>i，R_j)

若TS-MSDCR与所有的MSCR距离差值都大于所设阈值D_T，即minD(R_i,R_j)>D_T，则认为该TS-MSDCR在当前帧找不到与其匹配的区域。D_T根据应用场合不同，可取不同经验值。

利用区域匹配，可以得到目标不同部位的相对空间位置变化，从而用来进行包括但不限于姿态估计、行为分析等智能化应用。

如图4所示，一种用于实现上述方法的视频目标时空最大稳定性判别性颜色区域匹配系统，包括：

运动目标检测模块：用于检测视频中的运动目标，确定运动目标所在区域；

最大稳定性颜色区域提取模块：基于所述最大稳定性颜色区域的目标所在区域，检测提取运动目标的最大稳定性颜色区域，简称MSCR；

时空最大稳定颜色区域提取模块：对所述最大稳定性颜色区域提取模块得到的每个MSCR，提取时空最大稳定颜色区域即TS-MSCR；

时空最大稳定性判别性颜色区域提取模块：在所述时空最大稳定颜色区域提取模块的TS-MSCR中，计算每个TS-MSCR同其他TS-MSCR之间的颜色特征距离，选取最小距离作为该TS-MSCR的判别距离；对所有TS-MSCR按照判别距离由大到小顺序进行排序，判别距离越大的TS-MSCR，认为其具有越大的判别性；选取判别距离最大的前N个TS-MSCR，作为时空最大稳定性判别性颜色区域即TS-MSDCR；

区域匹配模块：用于视频运动目标不同时间段MSCR匹配；在后续视频帧中，基于动目标跟踪技术，确定第一步运动目标在当前帧的位置区域，并在该位置区域检测提取目标的MSCR；对步骤四得到的N个TS-MSDCR，与运动目标在当前帧的每个MSCR，进行基于颜色特征和相对面积等约束的相似度度量，相似度最大的区域，即为TS-MSDCR在当前帧的匹配区域。

上述各个模块具体实现的技术与上述方法中各步骤的实现对应，这对本领域技术人员来说是很容易理解的，再此不再赘述。

尽管本发明的内容已经通过上述实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。