多摄像机下基于主轴匹配的行人跟踪方法

摘要

本发明涉及计算机视觉技术领域，一种在多摄像机下基于主轴匹配的行人跟踪方法，包括步骤：对序列图像进行运动检测；提取人的主轴特征；进行单摄像机下的跟踪；依据主轴匹配函数建立主轴匹配对；融合多视角信息对跟踪结果进行优化更新。本发明提出了一种新型的多摄像机匹配技术，克服了传统多摄像机匹配方法需要定标、采用特征易受噪声与视角因素的影响、依赖于准确分割算法的缺点，具有很好的应用前景。

说明书

技术领域

本发明涉及计算机视觉技术领域，特别涉及多摄像机匹配方法。

背景技术

随着社会的发展，安全问题日益变得重要。视觉监控成为很多大型场所的要求。这些场所包括国家重要的安全部门、军事。与此同时在很多公共场所，视觉监控也变得至关重要，其中典型的应用是交通领域。由于传统的视觉监控系统都是一种事后监控，所有的意外事件和异常情况都是保安人员当时或事后发现的，对各种破坏安全性的行为起不到制止作用；因此传统的监控系统将不能适应社会发展的需要。此时，智能化的视觉监控系统成为时代的要求和研究者的目标。智能化的视觉监控最终目的是实现实时识别运动目标的行为，从而对异常行为及时做出判断和报警。而作为运动目标的行为识别与分析等高层问题的解决依赖于底层处理，即运动目标的跟踪。在监控场景中，人的运动往往是我们关注的焦点。此外，人的运动是一种非刚体的运动，其跟踪相比其他的运动跟踪(比如车辆的运动跟踪)而言更加复杂。因此人的跟踪成为智能化监控一个至关重要的部分。

现如今，人们对视觉监控系统的智能化与安全性要求越来越高，使用单摄像机对运动的人进行跟踪远远不能满足社会的需要。近些年来，利用多摄像机来跟踪运动的人成为研究热点。

多摄像机下人的跟踪本质上是一个多摄像机匹配的问题，即在同一时刻建立不同视角(摄像机)下运动物体之间的对应关系。多摄像机匹配是计算机视觉一个比较新的课题。在这方面，国外一些大学和研究机构(Maryland，Oxford，MIT)已开展了一些研究工作。根据所选特征的类型可以将相关工作大致划分为两大类：基于区域的方法和基于特征点的方法。

基于区域的匹配方法是把人看作一个运动区域，利用运动区域的特征来建立不同视角下人的对应关系。在这类方法中，颜色是最常用的一个区域特征。Orwell等以及Krumm等利用颜色直方图来估计人的区域颜色分布，通过比较颜色直方图来建立多摄像机的匹配；Mittal等为人的运动区域建立了高斯颜色模型，然后利用这些模型建立匹配；另外一种方法是利用核密度函数估计区域颜色的分布，在此基础上建立匹配。颜色特征虽然比较直观，然而其在匹配方面很不鲁棒。这是因为，基于颜色的匹配依赖于人的衣服的颜色，当两个人的衣服颜色相同时，可能产生错误的匹配；其次，由于受光照和视角的影响，观察到的同一个人的衣服颜色可能会发生变化。

基于特征点的方法是将人看成一系列的特征点，不同视角下人的匹配就转化为特征点的匹配。特征点的匹配是基于一定的几何约束。根据所选用的几何约束的不同，这类方法可以划分为两个子类：三维方法和二维方法。A.Utsumi选取运动物体的质心作为特征点，然后比较他们的三维投影点；Q.Cai选取人的上半身中线的一些特征点，然后利用极限约束来寻找匹配。三维方法都需要对摄像机进行标定。当监控场景中所使用的摄像机数目很大时，摄像机标定将是一个比较巨大的任务。为了克服三维方法的缺点，有些研究者提出了利用二维信息来建立多摄像机之间的匹配。Khan等利用地平面的单映约束(homography constraint)来匹配人脚上的特征点。但这些特征点容易受到噪声的影响。当存在遮挡或者检测效果不好，人只有部分被观测时，提取的特征点将不鲁棒，因此匹配的性能将会变差。

需要强调的是，虽然多摄像机下人的跟踪在世界范围内得到了广泛的关注和研究，但在多摄像机匹配技术方面仍然存在诸多难点。因此如何选取更加鲁棒、准确的特征来匹配仍是一个挑战。

发明内容

本发明的目的在于避免传统方法需要定标、采用特征易受噪声与视角因素影响等缺点，提供一种简单的、鲁棒的多摄像机匹配方法用于多摄像机下人的跟踪。

为实现上述目的，多摄像机下基于主轴匹配的行人跟踪方法包括步骤：

(1)运动目标分割；

(2)提取人的主轴特征；

(3)单摄像机下的跟踪；

(4)根据主轴匹配似然函数寻找所有的最佳匹配对；

(5)融合多视角信息更新跟踪结果。

多摄像机是指使用两个或两个以上的单摄像机，该方法的前提条件是假设不同摄像机的可视区域中存在一个公共的平面，一般而言，这个公共的平面是指地平面。

本发明提取人的主轴作为特征，是一种新型的基于主轴的多摄像机匹配方法，具有很好的应用前景。

附图说明

图1是单个人的主轴检测示例图。

图2是一群人的主轴检测示例图。

图3是遮挡情况下的人的主轴检测示例图。

图4是单摄像机下人的跟踪框图。

图5是多摄像机下人的主轴投影关系图。

图6(a)是NLPR数据库两个摄像机下多人跟踪实验结果图。

图6(b)是NLPR数据库三个摄像机下多人跟踪实验结果图。

图6(c)是PETS2001数据库两个摄像机下对单个人在遮挡情况下的跟踪实验结果图。

图6(d)是PETS2001数据库两个摄像机下对一群人在遮挡情况下的跟踪实验结果图。

图7是多摄像机下基于主轴匹配的行人跟踪方法的概述图。

具体实施方式

本发明的主要特点在于：1)提取人的主轴作为匹配的特征。由于人的主轴是人体区域的对称轴，根据对称性，对称分布在主轴两边的点会互相抵消它们的误差，从而使得主轴更加鲁棒。并且人的主轴受运动检测和分割的结果影响较小；2)提出了三种不同情况下人的主轴的检测方法：即单个人的主轴检测、一群人的主轴检测和遮挡情况下的人的主轴的检测；3)基于不同视角下主轴的几何关系约束，定义了主轴匹配似然函数来衡量不同视角下主轴对的相似度；4)根据匹配结果融合多视角信息，对跟踪结果进行优化更新。

方案的整体框架见附图7。首先对单摄像机下的图像序列进行运动检测，提取人的主轴特征，进行单摄像机下的跟踪；然后根据单映关系约束对不同视角下的主轴对进行匹配；最后根据匹配结果融合多视角信息更新跟踪结果。

下面详细给出该发明技术方案中所涉及的各个细节问题的说明。

(1)运动目标分割

运动目标分割是运动跟踪的第一步，算法采用的是单高斯模型的背景剪除方法来检测运动区域。为了减少光照变化和阴影的影响，采用归一化的颜色rgs模型，其中r＝R/(R+G+B)，g＝G/(R+G+B)，s＝R+G+B。先对一段背景图像序列进行滤波，得到单高斯的背景模型。每个点的高斯参数为(u_r，u_g，u_s，σ_r²，σ_g²，σ_s²)，其中u_i和σ_i(i＝r，g，s)分别是该点背景模型的均值和方差。然后将当前图像与背景图像进行差分处理，在对差分图像进行阈值处理可以得到二值化图像M_xy，在二值图像中设定前景像素值为1，背景像素值为0。其过程为：

$$ >>>M>xy>>=>\begin{array}{}>>0>>otherwise>\; >>1>>>>|>I>>i>>>(>x>,>y>)>>->>u>i>>>(>x>,>y>)>>|>>>>\alpha >i>>>\sigma >i>>>(>x>,>y>)>>,>i>\in >\{>r>,>g>,>s>\}>>\; >>>->->->>(>1>)>>>>>\end{array}$$

其中I_i(x，y)，(i＝r，g，s)为像素(x，y)的当前观测值。α_i是阈值参数，可在实验中由经验确定。得到二值图像后，在对其进行形态学算子中腐蚀与膨胀操作来进一步滤除噪声。最后通过二值化的连通分量分析用于提取单连通的前景区域，作为分割后的运动区域。

(2)人的主轴的检测

为了简单起见，假设人是直立行走的，而且人的主轴是存在的。基于此假设我们讨论三种不同情况下的人的主轴的检测方法，即单个人的主轴检测；一群人的主轴检测；遮挡情况下主轴的检测。这三种情况可以根据跟踪中对应关系来判断。

单个人的主轴检测。对于单个人，采用最小中值平方方法(Least MedianSequence)来检测其主轴。假设第i个前景像素X_i到待定直线l的垂直距离是D(X_i，l)，根据最小中值平方方法，则所有前景像素到主轴的垂直距离的平方中值最小。

$$ >>L>=>arg>>min>i>>>median>i>>\{>D>>>(>>X>i>>,>l>)>>2>>\}>>->->->>(>2>)>>>$$

附图1给出了单个人的主轴检测示例。

一群人的主轴检测。一群人的主轴检测包括个体分割和主轴检测两大部分。

为了将个体分割，引入垂直投影直方图，一群人中的个体对应于垂直投影直方图的峰值区域。只有满足一定条件的峰值区域才对应于单个个体，我们把这些峰值区域称为明显峰值区域。明显峰值区域必须满足两个条件：

a)峰值区域的最大值必须大于某一特定的阈值，峰值阈值P_T

b)峰值区域的最小值必须小于某一特定的阈值，波谷阈值C_T假设在一峰值区域中，P₁，P₂，....，P_n是其局部极值。C_l，C_r分别是该区域的左右波谷值，则以上两个条件用数学表达式可以表示为：

        max(P₁，P₂，......，P_n)＞P_T          (3)

            C_l＜C_T，C_r＜C_T                   (4)

波谷阈值C_T选取为整个直方图的均值，波峰阈值P_T被选取为在图像坐标中人的高度的百分之八十。在第二步主轴检测中可以采用前面提到的单个人主轴检测的方法。

图2给出了多个人主轴检测的例子。(b)是检测到的前景区域，(c)为其垂直投影直方图，(d)是分割后的结果。在垂直投影直方图(c)中，有三个明显的峰值区域，由此可以将这个区域分割为三个部分分别对应于三个个体。最后，他们的主轴在图(e)中给出。

在遮挡情况下的人的主轴的检测。先将人分割出来，找出其前景区域的像素，在对分割出来的前景像素利用最小中值平方误差的方法来检测人的主轴。我们采用基于颜色模板方法来实现遮挡情况下的分割。该模型包括一个颜色模型和一个附加的概率掩模。当出现遮挡时，运动物体的分割可以表示为分类问题，即判断哪些前景像素属于哪个模型。这个问题可以用贝叶斯法则来解决。如果满足以下方程：

$$ >>k>=>arg>>max>i>>>P>i>>>(>x>)>>->->->>(>5>)>>>$$

则前景像素X属于第k个运动物体(模型)。

遮挡情况下的主轴检测如图3所示。

(3)单摄像机下的跟踪

采用卡尔曼滤波器来实现跟踪

选取状态向量X包含人在图像中的位置(x，y)以及运动速度(v_x，v_y)，观测向量Z为人的位置(x，y)。人的运动位置(x，y)被估计为人在图像中脚点(”land-point”)的观测值，即人的主轴与矩形框的下边缘的交点。则：

    Z_t＝[x_t，y_t]^T     X_t＝[x_t，v_x，t，y_t，v_y，t]^T   (6)

人行走的速度可以近似地认为是恒定的，状态转移矩阵以及观测矩阵为：

$$ >>\Phi >=>\begin{array}{}>>1>>\Delta t>>0>>0>\; >>0>>1>>0>>0>\; >>0>>0>>1>>\Delta t>\; >>0>>0>>0>>1>\; >>>,>H>=>\begin{array}{}>>1>>0>>0>>0>\; >>0>>0>>1>>0>\; >>>->->->>(>7>)>>>\end{array}\end{array}$$

由前一帧物体的位置预测当前帧物体的位置，然后和当前帧的观测值(人的主轴与矩形框下边缘的交点)进行比较。如果观测值和预测值之间的距离很小，则表明观测值可信度高，观测值可以代表当前帧物体的位置；如果两者的距离超过一定的阈值(比如人的下半部被遮挡这种情况)，则观测值不可信了，我们定义了主轴与另一条线的交点来更新观测值，这条线就是预测点到主轴的垂直线。整个单摄像机下的跟踪框架可参见附图4。

(4)寻找所有的最佳主轴匹配对

首先需要计算不同图像平面之间的单映矩阵。单映矩阵描述了不同图像之间关于同一平面上的点的一一对应关系。通过给定的对应点可以联立方程求解矩阵的参数。本方法的对应点获取采用手工方式：即事先在场景中设置标志点或者利用场景中的一些特殊的对应点。

然后定义主轴匹配似然函数。

主轴匹配似然函数用来衡量不同视角下人的主轴的匹配程度。在给出具体的定义之前，不同视角下主轴的几何关系可参见附图5。如图所示，假设有两个摄像机i和j。假设摄像机观测到人s的主轴是L_sⁱ，g_si是L_si在地平面上的投影。对于摄像机j观测到人k有相应的L_k^j和g_k^j。摄像机i图像平面到摄像机j图像平面的单映矩阵为H_i^j。通过单映矩阵我们将L_sⁱ投影到摄像机j的图像平面坐标系中可以得到L_s^ij。L_s^ij和L_k^j将会相交于一个点Q_sk^ij。根据单映矩阵的性质，如果摄像机i观测到的人s和摄像机j观测到的人k对应于三维空间中的同一个人，则Q_sk^ij对应于该人的“land-point”，即人的主轴和地平面的交点。因此，“land-point”的观测值和交点Q_sk^ij之间的距离可以用来衡量主轴之间的匹配程度。距离越小说明主轴之间越匹配。

根据不同视角下主轴的几何关系，定义人s和k主轴之间的匹配似然函数为

$$ >>L>>(sup>>L>s>isup>>,sup>>L>k>jsup>>)>>=>p>>(sup>>X>s>isup>>|sup>>Q>ks>jisup>>)>>p>>(sup>>X>k>jsup>>|sup>>Q>sk>ijsup>>)>>->->->>(>8>)>>>$$

其中X_sⁱ是摄像机i观测到人s的“land-point”，X_k^j是摄像机j观测到人k的“land-point”Q_sk^π是主轴s从i视角转换到j视角与主轴k的交点。

为了不失一般性，假设上面两个概率密度函数服布，则：

$$ >>p>>(sup>>X>s>isup>>|sup>>Q>ks>jisup>>)>>=>2>\pi >>>(>|sup>>\Sigma >s>isup>>|>)>>>->1>/>2>>>exp>\{>->>1>2>>>(sup>>X>s>isup>>-sup>>Q>ks>jisup>>)>>>>(sup>>\Sigma >s>isup>>)>>>->1>>>>>(sup>>X>s>isup>>-sup>>Q>ks>jisup>>)>>T>>\}>>$$

$$ >>>p>>(sup>>X>k>jsup>>|sup>>Q>sk>ijsup>>)>>=>2>\pi >>>(>|sup>>\Sigma >k>jsup>>|>)>>>->1>/>2>>>exp>\{>->>1>2>>>(sup>>X>k>jsup>>-sup>>Q>sk>ijsup>>)>>>>(sup>>\Sigma >k>jsup>>)>>>->1>>>>>(sup>>X>k>jsup>>-sup>>Q>sk>ijsup>>)>>T>>\}>>->->->>(>9>)>>>$$

最后根据匹配算法找到所有的最佳匹配对

多摄像机的匹配实际上可以建模成为最大似然函数的问题，即相互对应的主轴对的主轴匹配似然函数在众多主轴对的主轴匹配似然函数中是最大的。为了简化问题，我们定义了主轴匹配距离，把最大似然函数问题转化为最小匹配距离问题。$$ >>arg>>max>>s>,>k>>>L>>(sup>>L>s>isup>>,sup>>L>k>jsup>>)>>\iff >arg>>min>>s>,>k>>sup>>D>sk>ijsup>>>$$

其中D_sk^ij为主轴匹配距离，定义主轴匹配距离如下式：

$$ >sup>>D>sk>ijsup>>=>>(sup>>X>s>isup>>-sup>>Q>ks>jisup>>)>>>>(>>\Sigma >i>>)>>>->1>>>>>(sup>>X>s>isup>>-sup>>Q>ks>jisup>>)>>T>>+>>(sup>>X>k>jsup>>-sup>>Q>sk>ijsup>>)>>>>(>>\Sigma >j>>)>>>->1>>>>>(sup>>X>k>jsup>>-sup>>Q>sk>ijsup>>)>>T>>->->->>(>10>)>>>$$

主轴距离D_sk^ij越小，则主轴相互之间越匹配。

主轴匹配算法是为了寻找全局最佳匹配对，使得它们的D_sk^ij之和最小。两个摄像机之间的主轴匹配算法描述如下：

假设在摄像机i下，检测到M个主轴：L₁ⁱ，L₂ⁱ，.....，L_Mⁱ；在摄像机j下，检测到N个主轴：L₁^j，L₂^j，.....，L_N^j。

步骤一：将两个视角下检测到的主轴两两组合，组成所有可能匹配的主轴对。不失一般性，假定M≤N，则M个主轴依次按顺序地从N个主轴中选出M个主轴与之匹配，共形成P_N^M种组合。每一种组合具有如下的形式：

$$ >>>\theta >k>>=>\{>>(sup>>L>1>isup>>,sup>>L>>k>1>>jsup>>)>>,>>(sup>>L>2>isup>>,sup>>L>>k>2>>jsup>>)>>.>.>.>.>.>.>.>,>>(sup>>L>M>isup>>,sup>>L>kM>jsup>>)>>\}>,>k>=>1>.>.>.>.>.>.sup>>P>N>Msup>>;>->->->>(>11>)>>>$$

步骤二：对于每一种组合中的每一个主轴对{m，n}，计算其匹配距离D_mn^ij，并且保证其中D_T是由经验得出来的阈值，用来判断主轴对{m，n}是否匹配。如果不满足上述约束，则把主轴对{m，n}从θ_k中删除掉。

步骤三：选取匹配对数l最多的组合Θ_k，所有的Θ_k组成集合Θ：

$$ >>\Theta >=>\{>>\Theta >k>>=>>(sup>>L>>k>1>>isup>>,sup>>L>>k>1>>jsup>>)>>,>>(sup>>L>>k>2>>isup>>,sup>>L>>k>2>>jsup>>)>>,>.>.>.>,>>(sup>>L>>k>l>>isup>>,sup>>L>>k>l>>jsup>>)>>\}>>$$其中$$ >>k>\in sup>>P>N>Msup>>->->->>(>12>)>>>$$

步骤四：在集合Θ中，寻找全局最佳匹配组合λ，使得其中所有的匹配距离D_sk^ij之和达到最小值，即满足下式：

$$ >>\lambda >=>arg>>min>k>>>(sup>>\Sigma >>w>=>1>>1sup>>>(sup>>D>>(>>k>w>>,sup>>k>w>\prime sup>>)>>>(>i>,>.>j>)>sup>>)>>)>>->->->>(>13>)>>>$$

步骤五：最终得到的Θ_λ则为全局最佳匹配组合，其中的每一对则为匹配的主轴对。

上述算法很容易扩展到多于两个摄像机的情况。首先摄像机两两组合，对于有公共地平面区域的一对摄像机，建立匹配关系可以采用上面介绍的算法；如果两两摄像机之间匹配产生矛盾时，则匹配关系只考虑具有最小匹配距离的主轴对。

(5)融合多视角信息更新跟踪结果

当找到所有的匹配主轴对后，这些匹配信息就可以用来更新单摄像机下的跟踪结果。针对两个摄像机的情况，只有当跟踪的人处于两个视角公共地平面区域时，更新这一步骤才有效。

假设通过上面提到的匹配算法找到对应于同一个人两个视角下，分别是视角i和视角j的主轴对，将视角j下的主轴通过两个图像平面之间的单映关系转换到视角i的图像平面中，则原来视角i下的主轴与转换过来的直线的交点就是最终此人在图像平面i中的位置，用来更新原来单视角i下的跟踪结果。对于视角j同理可知。

如附图5，如果两个视角下的主轴L_sⁱ和L_k^j对应于同一人，则将L_sⁱ从视角i转换到视角j得到直线L_s^ij，则此直线与L_k^j交于点Q_sk^ij，这个交点就对应着该人在视角j下的“land-point”，即人的主轴与地平面的交点。

对于多于两个摄像机的情况，一个人可能有两个或两个以上这样的交点，则选取这些交点的平均值作为人的最终位置“land-point”。

对于人的下半部被遮挡的情况，基于预测的位置和检测的主轴，本算法仍然能够鲁棒的匹配，准确的估计出人在图像中的位置(“land-point”)。

为了实施本发明的具体思想，我们在两个数据库上做了大量的实验，实现了多摄像机下基于主轴匹配的行人跟踪。实验结果进一步验证了该方法的有效性和鲁棒性。

实验结果如附图6所示，被跟踪的人用矩形框来表示，矩形框下面的数字表示人的序号，矩形框的中线表示检测到的主轴，主轴和矩形框的下边缘线的交点表示估计到的人在图像中的位置。

在(a)中的数字1、2、3、4表示是NLPR数据库两个摄像机下多人跟踪实验结果。

(b)中的数字1、2、3、4表示是NLPR数据库三个摄像机下多人跟踪实验结果。

图6(c)中的数字1、2表示是PETS2001数据库两个摄像机下对单个人在遮挡情况下的跟踪实验结果。

图6(d)中的数字1、2、3、4表示是PETS2001数据库两个摄像机下对一群人在遮挡情况下的跟踪实验结果。