基于视觉空间显著性约束的跨摄像机行人目标匹配方法

摘要

本发明公开了一种基于视觉空间显著性约束的跨摄像机行人目标匹配方法，具体是一种通过行人图像间视觉和空间约束来进行显著性学习，以显著性学习结果为基础进行跨摄像机行人目标匹配的方法，首先对行人目标模板图像进行前景提取和过分割以得到行人目标子区域集合，然后在此区域集合上利用区域之间的视觉关联性和空间关联性分别构造视觉超图和空间超图，接着利用超图联合排序获得每个区域的视觉空间显著性分数，最后通过对模板图像与可疑目标图像进行显著性区域匹配得到最终的跨摄像机行人目标匹配结果。本发明具有无需提前训练、精确度高、易于实现等优点，为实际场景中的跨摄像机行人匹配提供了一种有效方法。

说明书

技术领域

本发明涉及一种视频图像处理技术领域的方法，具体为一种基于视觉空间显著性约 束的跨摄像机行人目标匹配方法。

背景技术

在大多数监控视频网络中，当行人目标移出当前视频后并没有办法简单利用摄像机 的位置拓扑关系准确定位目标所移入的摄像头和目标在该摄像头出现的时间，因此跨摄 像机行人目标匹配在跨摄像机智能监控系统中变得不可或缺。跨摄像机行人目标匹配是 一个极具挑战性的问题，这是由于不同摄像机之间存在着参数、光照等差异，并且同一 物体在不同摄像机视角拍摄下会存在姿态变化及遮挡。

经过对现有技术文献的检索发现，跨摄像机行人目标匹配问题的研究主要集中在通 过预先训练进行度量学习和特征学习这两个方面。郑伟诗等人于2012年在《IEEE  Transactions on Pattern Analysis and Machine Intelligence》(国际电气与电子工 程师协会模式分析与机器智能学报)发表的论文“Reidentification by relative  distance comparison”(基于相对距离比较的跨摄像机行人匹配)利用训练样本学习得到 最优的概率相对距离度量标准，并用此标准来对数据库中的其它图片进行距离度量。赵 瑞等人于2014年在《IEEE Computer Society Conference on Computer Vision and  Pattern Recognition》(国际电子电气工程师协会计算机学会计算机视觉与模式识别会 议)上发表的论文“Learning mid-level filters for person re-identification”(基 于中层滤波器学习的行人重匹配)通过提前训练得到适合数据库样本的中层滤波器，以 此滤波器选取行人图片中的感兴趣区域用于跨摄像机行人匹配。

虽然现有的跨摄像机行人目标匹配方法在标准数据库上能达到较高的匹配准确度， 但由于目前绝大多数方法都需要预先的训练步骤或者额外的训练样本进行有监督或无监 督的训练，因此这些算法在实际应用中较难推广。而在实际场景中，能够提供给跨摄像 机匹配算法的样本数量十分有限，通常仅为某一指定行人目标的几幅模板图像。这促使 寻找一种无须提前训练而又具有较高匹配准确度和鲁棒性的跨摄像机行人目标匹配方 法。另一个现有跨摄像机行人目标匹配方法中普遍存在的问题是，行人身体空间约束往 往被忽视或没有被合理利用。由于行人在步行时通常符合一定的空间约束，例如上半身 部分相对稳定而下半身摆动较大，因此有效利用这些约束信息必然会提升跨摄像机行人 目标匹配算法的性能。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于视觉空间显著性约束的跨摄 像机行人目标匹配方法，既可以自适应地利用行人身体空间约束信息，又不需要额外的 训练样本和训练步骤，并具有较高的行人目标匹配准确度，能够适用于绝大多数实际应 用场景。

为实现上述目的，本发明首先对行人目标模板图像进行前景提取和过分割以得到行 人目标子区域集合，然后在此区域集合上利用区域之间的视觉关联性和空间关联性分别 构造视觉超图和空间超图，接着利用超图联合排序获得每个区域的视觉空间显著性分数， 最后通过对模板图像与可疑目标图像进行显著性区域匹配得到最终的跨摄像机行人目标 匹配结果。

本发明方法通过以下具体步骤实现：

基于视觉空间显著性约束的跨摄像机行人目标匹配方法包括以下步骤：

步骤1：读取待匹配行人目标模板图像和可疑行人目标图片，利用行人目标模板图 像构建投票人集合，定义投票人集合为其中N为投票人集合中的图片数， x_i代表行人模板图像；将某一可疑行人目标的图片集合作为检索人输入，定义检索人集 合为其中M为检索人集合里的图片数，y_j代表检索人图片；

步骤2：将投票人集合和检索人图像统一归一化为128×64像素，并通过前景提取 算法提取每幅图像的前景区域；

步骤3：利用Mean-Shift算法对投票人集合里的每幅图像和检索人图像进行过分割 处理，若M＝1则将所有过分割得到的区域统一纳入区域集合N_r为投票人集 合和检索人集合中所有图片过分割得到的子区域数量的总和；若M＞1则将检索人集合 中的每张图片单独考虑，分别重复M次M＝1时的处理步骤，并对M次结果进行平均；

步骤4：将区域集合R中的每个子区域作为顶点构建视觉超图，对于任意区域 r_n∈R，将其自身作为中心节点，与其它每幅图像中的子区域计算视觉特征距离，除去 r_n自身所属图像外，在每幅图像中选取一个与中心节点视觉空间距离最邻近的区域，将 包含中心节点在内的共N+1个顶点相连接，构成一条视觉超边，从而构建全部N_r条视 觉超边；

步骤5：同样，将区域集合R中的每个子区域作为顶点构建空间超图，对于任意区 域r_n∈R，将其自身作为中心节点，与其它每幅图像中的子区域计算空间距离，除中心 节点自身所属图像外，在其它每幅行人图片中选取一个与中心节点空间像素距离最邻近 的区域，将包含中心节点在内的N+1个顶点相连接，构成一条空间超边，从而构建全部 N_r条空间超边；

步骤6：利用视觉超图和空间超图中超边与顶点的关系，分别计算视觉超图关联矩 阵H_v和空间超图关联矩阵H_s，关联矩阵H_v和H_s皆为N_r×N_r矩阵，若某一顶点属于某 条超边，则关联矩阵中对应行列的元素为1，否则，对应元素为0；

步骤7：对于视觉超边集合E_v中的每条超边e_i∈E_v，定义其权重如下：

$w_v\left(e_i\right)=\underset{r_a,r_b\in e_i}{\Sigma }\exp (-\frac{{d_v(r_a,r_b)}^2}{{\sigma }_v^2})$

其中，d_v(r_a,r_b)为区域r_a和r_b之间的视觉特征距离，而σ_v为整个区域集合R中各子区 域之间视觉距离的平均值；之后定义视觉超边权重矩阵W_v，W_v为一对角矩阵，其第i行 第i列存放着视觉超边e_i的权重值；

步骤8：对应地，对于空间超边集合E_s中的每条超边e_j∈E_s，定义其权重如下：

$w_s\left(e_i\right)=\underset{r_a,r_b\in e_i}{\Sigma }\exp (-\frac{{d_s(r_a,r_b)}^2}{{\sigma }_s^2})$

其中，d_s(r_a,r_b)为区域r_a和r_b之间的空间像素距离，而σ_s为所有顶点间的平均空间距 离；定义空间超边权重矩阵W_s，W_s为一对角矩阵，其第j行第j列存放着空间超边e_j的权重值；

步骤9：计算得到两个超图的顶点度矩阵、超边度矩阵，并利用超图的关联矩阵、 顶点度矩阵、超边度矩阵以及超边权重矩阵，分别计算视觉超图和空间超图的超图拉普 拉斯矩阵L_v和L_s；

步骤10：利用超图拉普拉斯矩阵L_v和L_s，将子区域显著性学习转化为两个超图上 的联合排序问题，以使计算得到的子区域显著性同时满足视觉约束和空间约束，显著性 学习问题定义如下：

$\arg \underset{s}{\min }\{{\lambda }_v{s}^T{L}_{v}s+{\lambda }_s{s}^T{L}_{s}s+\mu {\left|\right|s-z\left|\right|}^2\}$

其中s是需要被学习得到的显著性向量，最终结果包含了所有子区域的显著性分 数；z为归一化区域尺寸向量，包含了区域集合R中每个子区域归一化后的像素尺寸； λ_v和λ_s为两个权重参数，用于调节目标函数前两项之间的平衡关系；μ也为平衡参数， 用于调整目标函数第三项对显著性学习过程的影响；

步骤11：通过交替迭代优化算法解决显著性学习目标函数优化问题，在得到满足约 束条件的最优的显著性向量s的同时，根据不同投票人集合对视觉约束和空间约束的不 同敏感性，自适应地调整λ_v和λ_s，使两个平衡参数对于显著性学习问题同时达到最优；

步骤12：利用学习得到的区域显著性，定义基于显著性的earth mover distance 距离来度量投票人集合中的行人图像与检索人集合中行人图像间的区域匹配距离；根据 区域匹配距离对不同的检索人集合进行排序，与投票人集合区域匹配距离最小的检索人 集合即为跨摄像机行人目标匹配结果。

步骤4中所述计算视觉特征距离为：

步骤4.1：对区城集合R中的每个子区域，以每个子区域的质心为中心，选取周围 20×20像素区域为感兴趣区域，在每个子区域的感兴趣区域内分别得到120维HSV颜 色空间直方图、36维HOG特征以及59维等价LBP特征；

步骤4.2：利用区域集合R中所有子区域的视觉特征进行PCA降维，分别将HSV颜 色直方图特征、HOG特征、等价LBP特征降维成20维、5维和10维，之后将三种特征归 一化后串联得到每个子区域最终的视觉特征向量；

步骤4.3：通过不同子区域视觉特征向量间的欧式距离得到区城集合R中不同子区 域间的视觉特征距离。

步骤9中所述的计算得到两个超图的顶点度矩阵、超边度矩阵，并利用超图的关联 矩阵、顶点度矩阵、超边度矩阵以及超边权重矩阵，分别计算视觉超图和空间超图的超 图拉普拉斯矩阵L_v和L_s，其具体实现过程如下：

步骤9.1：计算视觉超图和空间超图中每个顶点的度d(v)和每条超边的度δ(e)：

d(v)＝Σ_e∈Ew(e)h(v,e)

δ(e)＝Σ_v∈Vh(v,e)

其中h(v,e)为对应超图关联矩阵中顶点v和超边e对应的值，而w(e)为超边e的权 重；

步骤9.2：将视觉超图中所有顶点的度存放于一个N_r×N_r对角矩阵的对角线上，定 义该对角矩阵为视觉超图的顶点度矩阵D_v1；利用同样的方法得到空间超图的顶点度矩 阵D_v2；

步骤9.3：将视觉超图中所有超边的度存放于一个N_r×N_r对角矩阵的对角线上，定 义该矩阵为视觉超图的超边度矩阵D_e1；利用同样的方法得到空间超图的超边度矩阵 D_e2；

步骤9.4：对于视觉超图，计算矩阵则视觉超图拉普 拉斯L_v的定义为L_v＝I-Θ_v，其中I为N_r×N_r单位矩阵；

步骤9.5：同样地，对于空间超图，计算矩阵则空间 超图拉普拉斯L_s的定义为L_s＝I-Θ_s，其中I为N_r×N_r单位矩阵。

步骤11中所述的通过交替迭代优化算法解决显著性学习目标函数优化问题，其具体 实现步骤如下：

步骤11.1：为了使显著性向量s和平衡参数λ_v和λ_s同时达到最优，增加约束条件， 将目标函数写为：

$\left(\begin{array}{c}\arg \underset{s,{\lambda }_v,{\lambda }_s}{\min }\{{\lambda }_v{s}^T{L}_{v}s+{\lambda }_s{s}^T{L}_{s}s+\mu {\left|\right|s-z\left|\right|}^2\}\\ s.t.{\lambda }_v+{\lambda }_s=1,{\lambda }_v,{\lambda }_s\ge 0.\end{array}\right)$

步骤11.2：固定λ_v和λ_s，将它们设为初始值，将目标函数对显著性向量s求偏导， 计算得到λ_v和λ_s固定情况下使目标函数最优的显著性向量：

$s={(I+\frac{1}{\mu }L)}^{-1}z$

其中L＝λ_vL_v+λ_sL_s，I为单位矩阵；

步骤11.3：将步骤11.2中求得的显著性向量代入原目标函数，固定显著性向量s， 用和代替λ_v和λ_s，其中l＞1表示l次幂，优化问题被重新写为：

$\left(\begin{array}{c}\arg \underset{{\lambda }_v,{\lambda }_s}{\min }\{{\lambda }_v^l{s}^T{L}_{v}s+{\lambda }_s^l{s}^T{L}_{s}s\}\\ s.t.{\lambda }_v+{\lambda }_s=1,{\lambda }_v,{\lambda }_s\ge 0.\end{array}\right)$

通过引入拉格朗日算法，将目标函数转化为：

$\psi ({\lambda }_v,{\lambda }_s,\zeta )={\lambda }_v^l{s}^T{L}_{v}s+{\lambda }_s^l{s}^T{L}_{s}s-\zeta ({\lambda }_v+{\lambda }_s-1).$

对上式分别求偏导，得到当s固定时，最优的λ_v和λ_s：

${\lambda }_v=\frac{{(1/s^T{L}_{v}s)}^{\frac{1}{(l-1)}}}{{(1/s^T{L}_{v}s)}^{\frac{1}{(l-1)}}+{(1/s^T{L}_{s}s)}^{\frac{1}{(l-1)}}}$

λ_s＝1-λ_v.

步骤11.4：交替重复步骤11.2和步骤11.3，直至目标函数最终收敛；在目标函数 收敛时，对应的显著性向量s即包含了所有N_r个子区域的显著性分数。

步骤12中所述的定义基于显著性的earth mover distance距离来度量投票人集合 中的行人图像与检索人集合中行人图像间的区域匹配距离，其具体实现步骤如下：

步骤12.1：定义两幅行人图像间的区域匹配距离为：

$\left(\begin{array}{c}\mathrm{Dis}(x_i,y_j)=\left(\underset{f_{\mathrm{ab}}}{\min }\underset{a\in A}{\Sigma }\underset{b\in B}{\Sigma }{f}_{\mathrm{ab}}d(x_i^a,y_j^b)\right)/\left(\underset{a\in A}{\Sigma }\underset{b\in B}{\Sigma }{f}_{\mathrm{ab}}\right)\\ s.t.\underset{b\in B}{\Sigma }{f}_{\mathrm{ab}}=s\left(x_i^a\right),\underset{a\in A}{\Sigma }{f}_{\mathrm{ab}}=s\left(y_j^b\right).\end{array}\right)$

其中表示投票人图像x_i的第a个区域，表示查询图像y_j的第b个区域；A和 B分别表示图像x_i和图像y_j中所有区域的集合；和分别表示区域和区域 的区域显著性；表示子区域和之间的距离，其定义为子区域间的视觉 特征距离和空间像素距离的加权求和：f_ab为使区域匹配 距离Dis最小化的区域和区域之间的运输量；

步骤12.2：将步骤12.1中的距离定义转化为最优运输问题，利用匈牙利算法求解 得到使Dis最小的任意两子区域和间的运输量f_ab；

步骤12.3：将求解得到的运输量f_ab再次代入区域匹配距离，得到两幅行人图像间 的距离。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1)本发明不需要预先的训练步骤和额外的训练样本，只需输入行人目标模板图片和 可以目标图片即可计算得到最终的跨摄像机匹配结果，可以适应于大多数实际监控场景， 可移植性高；

2)本发明将视觉一致性和空间约束性融合入区域显著性学习中，使得模板图片中视 觉一致性高且出现在一定范围内的子区域在匹配过程中起到更大的作用，以此提升跨摄 像机行人目标匹配算法的准确度；

3)本发明通过同时使显著性向量和平衡参数对于目标函数达到最优，来自适应地调 整视觉约束和空间约束对跨摄像机行人目标匹配的影响，以使得本方法具有更强的鲁棒 性，可以适用于不同的行人目标。

附图说明

图1为本发明的整体流程示意图。

具体实施方式

下面结合具体实施例，对本发明的技术方案做进一步的详细说明。

以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体 的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例通过在某一监控视频序列中选取指定行人作为目标，并在另一监控视频序 列中寻找与行人目标最相似的可疑行人对象，以完成跨摄像机行人目标匹配，在本发明 的实施例中，该方法包括以下步骤：

步骤1：从某一监控视频序列中框取指定行人作为待匹配目标，对该行人在当前视 频中进行跟踪和采集，在跟踪过程中采集5幅该行人的目标模板图像，利用行人目标模 板图像构建投票人集合，定义投票人集合为其中N为投票人集合中的图片 数，在本实施例中N＝5，x_i代表行人模板图像。将监控网络中另一监控视频序列中的 可疑行人目标图片集合逐一作为检索人输入，定义检索人集合为其中M为 检索人集合里的图片数，在本实施例中M＝1，y_j代表检索人图片。

步骤2：将投票人集合和检索人图像统一归一化为128×64像素，并通过前景提取 算法提取每幅图像的前景区域。在本实施例中，前景提取通过对视频序列进行混合高斯 背景建模完成。

步骤3：利用Mean-Shift算法对投票人集合里的每幅图像和检索人图像进行过分割 处理，将所有过分割得到的区域统一纳入区域集合N_r为投票人集合和检索 人集合中所有图片过分割得到的子区域数量的总和。

步骤4：将区域集合R中的每个子区域作为顶点构建视觉超图，对于任意区域 r_n∈R，将其自身作为中心节点，与其它每幅图像中的子区域计算视觉特征距离，除去 r_n自身所属图像外，在每幅图像中选取一个与中心节点视觉空间距离最邻近的区域，将 包含中心节点在内的共6个顶点相连接，构成一条视觉超边，以此方法构建全部N_r条视 觉超边。

在本实施例中，步骤4中所述的视觉特征距离，其具体计算过程如下：

步骤4.1：对R中的每个子区域，以该区域的质心为中心，选取周围20×20像素 区域为感兴趣区域，在每个子区域的感兴趣区域内分别计算得到120维HSV颜色空间直 方图、36维HOG特征以及59维等价LBP特征；

步骤4.2：利用区域集合R中所有子区域的视觉特征进行PCA降维，分别将HSV颜 色直方图特征、HOG特征、等价LBP特征降维成20维、5维和10维，之后将三种特征归 一化后串联得到每个子区域最终的视觉特征向量；

步骤4.3：通过计算不同子区域视觉特征向量间的欧式距离得到R中不同子区域间 的视觉特征距离。

步骤5：同样，将区域集合R中的每个子区域作为顶点构建空间超图，对于任意区 域r_n∈R，将其自身作为中心节点，与其它每幅图像中的子区域计算空间距离，除中心 节点自身所属图像外，在其它每幅行人图片中选取一个与中心节点空间像素距离最邻近 的区域，将包含中心节点在内的N+1个顶点相连接，构成一条空间超边，通过该步骤构 建全部N_r条空间超边。

步骤6：利用视觉超图和空间超图中超边与顶点的关系，分别计算视觉超图关联矩 阵H_v和空间超图关联矩阵H_s，关联矩阵H_v和H_s皆为N_r×N_r矩阵，若某一顶点属于某 条超边，则关联矩阵中对应行列的元素为1，否则，对应元素为0。

步骤7：对于视觉超边集合E_v中的每条超边e_i∈E_v，定义其权重如下：

$w_v\left(e_i\right)=\underset{r_a,r_b\in e_i}{\Sigma }\exp (-\frac{{d_v(r_a,r_b)}^2}{{\sigma }_v^2})$

其中，d_v(r_a,r_b)为区域r_a和r_b之间的视觉特征距离，而σ_v为整个区域集合R中各子区 域之间视觉距离的平均值。之后定义视觉超边权重矩阵W_v，W_v为一对角矩阵，其第i行 第i列存放着视觉超边e_i的权重值。

步骤8：对应地，对于空间超边集合E_s中的每条超边e_j∈E_s，定义其权重如下：

$w_s\left(e_i\right)=\underset{r_a,r_b\in e_i}{\Sigma }\exp (-\frac{{d_s(r_a,r_b)}^2}{{\sigma }_s^2})$

其中，d_s(r_a,r_b)为区域r_a和r_b之间的空间像素距离，而σ_s为所有顶点间的平均空间距 离。定义空间超边权重矩阵W_s，W_s为一对角矩阵，其第j行第j列存放着空间超边e_j的权重值。

步骤9：计算得到两个超图的顶点度矩阵、超边度矩阵，并利用超图的关联矩阵、 顶点度矩阵、超边度矩阵以及超边权重矩阵，分别计算视觉超图和空间超图的超图拉普 拉斯矩阵L_v和L_s。

在本实施例中，步骤9中所述的计算得到两个超图的顶点度矩阵、超边度矩阵，并 利用超图的关联矩阵、顶点度矩阵、超边度矩阵以及超边权重矩阵，分别计算视觉超图 和空间超图的超图拉普拉斯矩阵L_v和L_s，其具体实现过程如下：

步骤9.1：计算视觉超图和空间超图中每个顶点的度d(v)和每条超边的度δ(e)：

d(v)＝Σ_e∈Ew(e)h(v,e)

δ(e)＝Σ_v∈Vh(v,e)

其中h(v,e)为对应超图关联矩阵中顶点v和超边e对应的值，而w(e)为超边e的权 重；本质上，顶点的度为关联矩阵对应行的加权求和，超边的度为关联矩阵对应列的求 和；

步骤9.2：将视觉超图中所有顶点的度存放于一个N_r×N_r对角矩阵的对角线上，定 义该对角矩阵为视觉超图的顶点度矩阵D_v1。利用同样的方法计算得到空间超图的顶点 度矩阵D_v2；

步骤9.3：将视觉超图中所有超边的度存放于一个N_r×N_r对角矩阵的对角线上，定 义该矩阵为视觉超图的超边度矩阵D_e1。利用同样的方法计算得到空间超图的超边度矩 阵D_e2；

步骤9.4：对于视觉超图，计算矩阵则视觉超图拉普 拉斯L_v的定义为L_v＝I-Θ_v，其中I为N_r×N_r单位矩阵；

步骤9.5：同样地，对于空间超图，计算矩阵则空间 超图拉普拉斯L_s的定义为L_s＝I-Θ_s，其中I为N_r×N_r单位矩阵。

步骤10：利用计算得到的超图拉普拉斯矩阵L_v和L_s，将子区域显著性学习转化为 两个超图上的联合排序问题，以使计算得到的子区域显著性同时满足视觉约束和空间约 束，显著性学习问题定义如下：

$\arg \underset{s}{\min }\{{\lambda }_v{s}^T{L}_{v}s+{\lambda }_s{s}^T{L}_{s}s+\mu {\left|\right|s-z\left|\right|}^2\}$

其中s是需要被学习得到的显著性向量，其最终结果包含了所有子区域的显著性分 数。z为归一化区域尺寸向量，其包含了区域集合R中每个子区域归一化后的像素尺寸。 λ_v和λ_s为两个权重参数，用于调节目标函数前两项之间的平衡关系。μ也为平衡参数， 用于调整目标函数第三项对显著性学习过程的影响，在本实施例中μ＝0.01。

步骤11：通过交替迭代优化算法解决显著性学习目标函数优化问题，在得到满足约 束条件的最优的显著性向量s的同时，根据不同投票人集合对视觉约束和空间约束的不 同敏感性，自适应地调整λ_v和λ_s，使两个平衡参数对于显著性学习问题同时达到最优。

在本实施例中，步骤11中所述的通过交替迭代优化算法解决显著性学习目标函数优 化问题，其具体实现步骤如下：

步骤11.1：为了使显著性向量s和平衡参数λ_v和λ_s同时达到最优，增加约束条件， 将目标函数写为：

$\left(\begin{array}{c}\arg \underset{s,{\lambda }_v,{\lambda }_s}{\min }\{{\lambda }_v{s}^T{L}_{v}s+{\lambda }_s{s}^T{L}_{s}s+\mu {\left|\right|s-z\left|\right|}^2\}\\ s.t.{\lambda }_v+{\lambda }_s=1,{\lambda }_v,{\lambda }_s\ge 0.\end{array}\right)$

步骤11.2：固定λ_v和λ_s，将它们设为初始值，在本实施例中，λ_v和λ_s的初始值为 λ_v＝0.6和λ_s＝0.4。将目标函数对显著性向量s求偏导，计算得到λ_v和λ_s固定情况下使 目标函数最优的显著性向量：

$s={(I+\frac{1}{\mu }L)}^{-1}z$

其中L＝λ_vL_v+λ_sL_s，I为单位矩阵；

步骤11.3：将步骤11.2中求得的显著性向量代入原目标函数，固定显著性向量s， 为了避免目标函数产生退化解，用和代替λ_v和λ_s，其中l＞1表示l次幂，在本实施例 中l＝4，优化问题被重新写为：

$\left(\begin{array}{c}\arg \underset{{\lambda }_v,{\lambda }_s}{\min }\{{\lambda }_v^l{s}^T{L}_{v}s+{\lambda }_s^l{s}^T{L}_{s}s\}\\ s.t.{\lambda }_v+{\lambda }_s=1,{\lambda }_v,{\lambda }_s\ge 0.\end{array}\right)$

通过引入拉格朗日算法，将目标函数转化为：

$\psi ({\lambda }_v,{\lambda }_s,\zeta )={\lambda }_v^l{s}^T{L}_{v}s+{\lambda }_s^l{s}^T{L}_{s}s-\zeta ({\lambda }_v+{\lambda }_s-1).$

对上式分别求偏导，得到当s固定时，最优的λ_v和λ_s：

${\lambda }_v=\frac{{(1/s^T{L}_{v}s)}^{\frac{1}{(l-1)}}}{{(1/s^T{L}_{v}s)}^{\frac{1}{(l-1)}}+{(1/s^T{L}_{s}s)}^{\frac{1}{(l-1)}}}$

λ_s＝1-λ_v.

步骤11.4：交替重复步骤11.2和步骤11.3，直至目标函数最终收敛。在目标函数 收敛时，对应的显著性向量s即包含了所有N_r个子区域的显著性分数。

步骤12：利用学习得到的区域显著性，定义基于显著性的EMD(earth mover  distance)距离来度量投票人集合中的行人图像与检索人集合中行人图像间的区域匹配 距离。根据区域匹配距离对视频序列中不同的可疑行人进行排序，与投票人集合区域匹 配距离最小的可疑行人即为跨摄像机行人目标匹配结果。

在本实施例中，步骤12中所述的定义基于显著性的EMD(earth mover distance) 距离来度量投票人集合中的行人图像与检索人集合中行人图像间的区域匹配距离，其具 体实现步骤如下：

步骤12.1：定义两幅行人图像间的区域匹配距离为：

$\left(\begin{array}{c}\mathrm{Dis}(x_i,y_j)=\left(\underset{f_{\mathrm{ab}}}{\min }\underset{a\in A}{\Sigma }\underset{b\in B}{\Sigma }{f}_{\mathrm{ab}}d(x_i^a,y_j^b)\right)/\left(\underset{a\in A}{\Sigma }\underset{b\in B}{\Sigma }{f}_{\mathrm{ab}}\right)\\ s.t.\underset{b\in B}{\Sigma }{f}_{\mathrm{ab}}=s\left(x_i^a\right),\underset{a\in A}{\Sigma }{f}_{\mathrm{ab}}=s\left(y_j^b\right).\end{array}\right)$

其中表示投票人图像x_i的第a个区域，表示查询图像y_j的第b个区域；A和 B分别表示图像x_i和图像y_j中所有区域的集合；和分别表示区域和区域 的区域显著性；表示子区域和之间的距离，其定义为子区域间的视觉 特征距离和空间像素距离的加权求和：f_ab为使区域匹配 距离Dis最小化的区域和区域之间的运输量；

步骤12.2：将上式中的距离定义转化为最优运输问题，利用匈牙利算法求解得到使 Dis最小的任意两子区域和间的运输量f_ab。

步骤12.3：将求解得到的运输量f_ab再次代入区域匹配距离，计算得到两幅行人图 像间的距离。