基于双约束度量学习和样本重排序的行人再识别方法

摘要

本发明公开了一种基于双约束度量学习和样本重排序的行人再识别方法，包括训练和测试两个阶段；所述训练阶段包括如下步骤：建立跨摄像机关联约束；建立同摄像机关联约束；度量矩阵求解；所述测试阶段包括以下步骤：利用度量矩阵进行特征空间投影；计算查询图片和候选图片在特征空间中的欧式距离；计算候选图片初始排序；选取排序队列中前K张候选图片；利用前K张候选图片在特征空间中的关联性构建概率超图；基于概率超图计算重排序结果；返回候选图片最终排序。本发明同时考虑训练样本的两种关联约束，使学习得到的特征空间更适合于行人再识别，同时利用候选图片的关联性进行重排序，获得了更准确的行人再识别结果。

说明书

技术领域

本发明涉及一种视频图像处理技术领域的方法，具体为一种基于双约束度量学习和样本重排序的行人再识别方法。

背景技术

视频监控为安全预警、调查取证以及疑犯追踪等工作提供了丰富的信息来源。然而，单一摄像机的监控范围十分有限，因此无法对较大或较复杂的场景(如火车站、机场、校园等)进行全方位的监控。为了对公共区域进行更全面、更广泛的信息捕捉，通常需要大量的监控摄像头协同工作。传统的视频处理技术主要针对单一摄像头设计，当行人目标移出当前视频后，则无法判断目标的去向。因此，如何根据行人目标的查询图片，在监控网络中进行行人再识别，建立行人目标在不同摄像机下的身份关联成为智能视频监控领域的核心问题。

对于行人再识别问题，传统方法主要基于行人图像的外观特征，如提取颜色、形状、纹理等特征，然后根据特征相似度得到行人再识别结果。然而，不同摄像机之间的光照、视角差异、行人的姿态变化都会使同一行人的外观发生显著改变，仅依靠行人图片的外观特征进行相似性匹配无法取得令人满意的行人再识别准确率。度量学习的引入，为缓解跨摄像机差异对行人再识别的影响提供了重要手段，度量学习通过训练集学习一个度量矩阵，可以将行人图片投影到一个新的特征空间，使同一行人图片之间的特征距离较小，而不同行人图片之间的特征距离较大。然而，现有度量学习算法在训练过程中只考虑了不同摄像机下行人图片之间的跨摄像机关联信息，而忽略了同一摄像机内部不同行人图片之间的关联性。同时，度量学习算法容易在训练集上出现过拟合现象，在测试阶段完全依赖学习得到的距离度量矩阵进行相似性排序可能会得到次优的行人再识别结果。

针对现有的基于度量学习的行人再识别方法中存在的缺点和不足，本发明提出的双约束度量学习技术能够在度量学习的过程中同时考虑训练样本之间的同摄像机和跨摄像机关联信息，学习得到判别性更强的特征空间投影矩阵。此外，通过在测试阶段引入重排序技术，本发明能够利用候选图片之间的关联信息有效缓解度量学习中过拟合现象的影响，获得比现有行人再识别技术更加稳定和准确的候选图片排序结果。

发明内容

本发明为了解决现有技术中的问题，提出了一种基于双约束度量学习和样本重排序的行人再识别方法，从而提升了现有基于度量学习的行人再识别方法的准确性和稳定性。

为实现上述目的，本发明公开了基于双约束度量学习和样本重排序的行人再识别方法，包括训练和测试两个阶段；

所述训练阶段包括以下步骤：

步骤1，建立跨摄像机关联约束：利用训练集中来自于不同摄像机的行人图片组成跨摄像机样本对，建立约束项使跨摄像机正样本对之间的特征距离小于跨摄像机负样本对之间的特征距离；

步骤2，建立同摄像机关联约束：利用训练集中来自于同一摄像机的行人图片组成同摄像机样本对，建立约束项使同摄像机负样本对之间的特征距离大于跨摄像机正样本对之间的特征距离；

步骤3，度量矩阵求解：通过联合步骤1和步骤2中的两个约束项得到双约束度量学习的目标函数，求使目标函数最小化的半正定度量矩阵M，得到度量学习的训练结果，结束训练阶段；

所述测试阶段包含以下步骤：

步骤4，利用度量矩阵进行特征空间投影：根据度量矩阵M的半正定性，将其特征分解为M＝P^TP，利用矩阵P将测试阶段中查询图片的特征向量x^p和候选集的特征向量统一投影至一个新的特征空间，N为测试阶段候选集中图片总数；

步骤5，计算查询图片和候选图片在特征空间中的欧式距离：分别计算查询图片与每张候选图片在新特征空间中的欧式距离：

步骤6，计算候选图片初始排序：根据步骤5中计算得到的欧式距离对候选图片进行排序，与查询图片欧式距离越小的候选图片将获得更靠前的排序位置；

步骤7，选取排序队列中前K张候选图片：从步骤6中得到的候选图片排序队列中选取排序靠前的K张候选图片；

步骤8，利用前K张候选图片在特征空间中的关联性构建概率超图：以查询图片和K张候选图片作为概率超图的顶点，并通过顶点之间的关联性生成概率超图的超边，最后为每条超边赋予对应的权重；

步骤9，基于概率超图计算重排序结果：计算概率超图的拉普拉斯矩阵，并结合初始标签的经验损失建立目标函数，根据目标函数计算得到候选图片的排序分数，按照排序分数从大到小对K张候选图片重新排序；

步骤10，返回候选图片最终排序：用步骤9中K张候选图片的重排序结果替换步骤6中排序队列里前K张图片的排序位置，并返回整个候选集排序队列作为行人再识别的最终结果。

进一步的：步骤1中所述的建立跨摄像机关联约束，包括以下步骤：

步骤1.1，将来自于不同摄像机的训练图片分别定义为查询集以及候选集其中x_i和y_j为行人图片的特征向量，而和为对应的行人身份标签，n为训练阶段查询集的图片总数，m为训练阶段候选集的图片总数；

步骤1.2，定义来自于不同摄像机的行人图片组成的样本对(x_i,y_j)为跨摄像机样本对；当x_i和y_j属于同一行人时，即称(x_i,y_j)为跨摄像机正样本对，并定义z_ij＝1；而当时，称(x_i,y_j)为跨摄像机负样本对，并设z_ij＝-1；

步骤1.3，约束训练集中任意跨摄像机正样本对(x_i,y_j)之间的距离小于跨摄像机负样本对(x_i,y_k)之间的距离：

其中d_M(·,·)为待学习的马氏距离度量函数，表达式如下：

上式中M为一个半正定的度量矩阵，即度量学习的目标；

步骤1.4，对步骤1.3中的约束进行等效转化，约束训练集中任意跨摄像机正样本对之间的距离小于阈值ξ，而训练集中任意跨摄像机负样本对之间的距离大于阈值ξ，得到下列损失函数：

其中为逻辑回归函数；E_p(M)为跨摄像机正样本对的损失函数，E_d(M)为跨摄像机负样本对的损失函数；ξ的取值为所有跨摄像机样本对(x_i,y_j)和同摄像机样本对(y_j,y_k)的平均距离。

进一步的：步骤2中所述的建立同摄像机关联约束，包括以下步骤：

步骤2.1，定义候选集中不同行人图片y_j和y_k组成的样本对(y_j,y_k)为同摄像机负样本对，并设置标签z_jk＝-1；

步骤2.2，约束训练集中任意跨摄像机正样本对(x_i,y_j)之间的距离小于同摄像机负样本对(y_j,y_k)之间的距离：

步骤2.3，由于步骤1.4已经约束所有跨摄像机正样本对之间的距离小于阈值ξ，因此将步骤2.2中的约束等效转化为约束训练集中任意同摄像机负样本对(y_j,y_k)之间的距离大于ξ，得到如下损失函数：

其中E_s(M)为同摄像机负样本对的损失函数。

进一步的：步骤3中所述的度量矩阵求解，具体包括以下步骤：

步骤3.1，联合考虑步骤1.4和步骤2.3中的损失函数，得到双约束距离度量学习的目标函数：

Φ(M)＝E_p(M)+E_d(M)+E_s(M)

步骤3.2，为目标函数中的样本对赋予权重w_ij和W_jk，并对步骤3.1中的目标函数表达式进行简化，得到：

其中当z_ij＝1时w_ij＝1/N_pos，其中N_pos为训练集中跨摄像机正样本对的总数；当z_ij＝-1时w_ij被设为1/N_neg，其中N_neg为训练集中所有跨摄像机和同摄像机负样本对的总数；同时，由于不存在同摄像机正样本对，将w_jk统一设为1/N_neg；

步骤3.3，将双约束度量学习定义为如下优化问题：

步骤3.4，求解步骤3.3中的优化问题，得到半正定度量矩阵M。

进一步的：步骤8中所述的利用前K张候选图片在特征空间中的关联性构建概率超图，具体包括以下步骤：

步骤8.1，首先将查询图片和K张候选图片进行合并，得到概率超图的顶点集合

步骤8.2，以中的每一个顶点v_i作为中心节点，通过连接v_i及其在投影特征空间中距离最近的5、15以及25个顶点，生成三条超边，并加入概率超图的超边集合ε中，因此集合ε中一共包含3*(K+1)条超边；

步骤8.3，为超边集合ε中的每条超边e_i分配一个非负权重值w_h(e_i)，当超边以查询图片作为中心节点时，为其分配一个权重值而当超边以候选图片作为中心节点时，为其分配权重值

步骤8.4，根据中顶点和ε中超边的从属关系，构造大小为的关联矩阵H，其元素的定义为：

其中A(v_i,e_j)表示顶点v_i属于超边e_j的概率，通过下式计算得到：

其中v_j为超边e_j的中心节点，σ为投影特征空间中所有顶点之间的平均距离；最终完成概率超图的构建，并且得到关联矩阵H。

进一步的：步骤9中基于概率超图计算重排序结果，其具体包含以下子步骤：

步骤9.1，基于关联矩阵H，计算概率超图中每个顶点的度d(v)和每条超边的度δ(e)，其中d(v)＝∑_e∈εw_h(e)H(v,e)，而定义对角矩阵D_v，使其对角线上的元素对应概率超图中每个顶点的度；定义对角矩阵D_e，使其对角线上的元素对应概率超图中每条超边的度；同时定义对角矩阵W，使其对角线上的元素对应每条超边的权重W_h(e)；

步骤9.2，利用关联矩阵H、顶点度矩阵D_v、超边度矩阵D_e和超边权重矩阵W共同计算概率超图的拉普拉斯矩阵L：

其中I为大小为的单位矩阵；

步骤9.3，利用归一化框架同时考虑概率超图的拉普拉斯约束和初始标签经验损失，定义样本重排序的目标函数为：

其中f表示需要学习的重排序分数向量，r表示初始标签向量，r中查询图片的标签被设为1，所有候选图片的标签被设为0，μ>0为归一化参数，用于权衡目标函数中第一项与第二项之间的重要性；目标函数中的第一项约束概率超图中共享更多超边的顶点获得相似的重排序分数，而目标函数中的第二项则约束重排序分数接近初始标签信息；

步骤9.4，通过使步骤9.3中的目标函数关于f的一阶导数为零，可以快速获得重排序问题的最优解：

步骤9.5，根据向量f中候选图片的重排序分数，按照排序分数从大到小对K张候选图片重新排序。

本发明采用以上技术方案与现有技术相比，具有以下有益效果：

1)与现有基于度量学习的行人再识别方法仅考虑训练样本的跨摄像机关联约束不同，本发明在度量学习的过程中同时考虑训练样本之间的同摄像机和跨摄像机关联信息，使学习得到的度量矩阵具有更强的判别性；

2)本发明利用不同候选图片之间的关联信息构建概率超图，对测试阶段的相似性排序结果进行重排序，有效缓解了度量学习中过拟合现象的影响，获得了更加稳定和准确的候选图片排序结果；

3)本发明在重排序时仅考虑初始排序位置靠前的K张候选图片，与考虑整个候选集的重排序相比，在保证排序准确率的基础上，减少了概率超图构建的计算复杂度，从而加快了重排序的速度。

附图说明

图1为本发明的整体流程示意图。

具体实施方式

下面结合具体实施例，对本发明的技术方案做进一步的详细说明。

以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例对不同摄像机拍摄得到的行人图片进行处理，通过训练集学习度量矩阵，并在测试阶段使用某一行人目标的查询图片，在不同摄像机拍摄得到的候选集中寻找行人目标的正确匹配，参照图1，在本发明的实施例中，包括训练和测试两个阶段；

所述训练阶段包括以下步骤：

步骤1，建立跨摄像机关联约束：利用训练集中来自于不同摄像机的行人图片组成跨摄像机样本对，建立约束项使跨摄像机正样本对之间的特征距离小于跨摄像机负样本对之间的特征距离，具体包括以下子步骤：

步骤1.1，将来自于不同摄像机的训练图片分别定义为查询集以及候选集其中x_i和y_j为行人图片的特征向量，而和为对应的行人身份标签，n为训练阶段查询集的图片总数，m为训练阶段候选集的图片总数；

步骤1.2，定义来自于不同摄像机的行人图片组成的样本对(x_i,y_j)为跨摄像机样本对；当x_i和y_j属于同一行人时，即称(x_i,y_j)为跨摄像机正样本对，并定义z_ij＝1；而当时，称(x_i,y_j)为跨摄像机负样本对，并设z_ij＝-1；

步骤1.3，约束训练集中任意跨摄像机正样本对(x_i,y_j)之间的距离小于跨摄像机负样本对(x_i,y_k)之间的距离：

其中d_M(·,·)为待学习的马氏距离度量函数，表达式如下：

上式中M为一个半正定的度量矩阵，即度量学习的目标；

步骤1.4，对步骤1.3中的约束进行等效转化，约束训练集中任意跨摄像机正样本对之间的距离小于阈值ξ，而训练集中任意跨摄像机负样本对

之间的距离大于阈值ξ，得到下列损失函数：

其中为逻辑回归函数；E_p(M)为跨摄像机正样本对的损失函数，E_d(M)为跨摄像机负样本对的损失函数；ξ的取值为所有跨摄像机样本对(x_i,y_j)和同摄像机样本对(y_j,y_k)的平均距离。

步骤2，建立同摄像机关联约束：利用训练集中来自于同一摄像机的行人图片组成同摄像机样本对，建立约束项使同摄像机负样本对之间的特征距离大于跨摄像机正样本对之间的特征距离，具体包含以下子步骤：

步骤2.1，定义候选集中不同行人图片y_j和y_k组成的样本对(y_j,y_k)为同摄像机负样本对，并设置标签z_jk＝-1；

步骤2.2，约束训练集中任意跨摄像机正样本对(x_i,y_j)之间的距离小于同摄像机负样本对(y_j,y_k)之间的距离：

步骤2.3，由于步骤1.4已经约束所有跨摄像机正样本对之间的距离小于阈值ξ，因此将步骤2.2中的约束等效转化为约束训练集中任意同摄像机负样本对(y_j,y_k)之间的距离大于ξ，得到如下损失函数：

步骤3，度量矩阵求解：通过联合步骤1和步骤2中的两个约束项得到双约束度量学习的目标函数，求使目标函数最小化的半正定度量矩阵M，得到度量学习的训练结果，具体包括以下子步骤：

步骤3.1，联合考虑步骤1.4和步骤2.3中的损失函数，得到双约束距离度量学习的目标函数：

Φ(M)＝E_p(M)+E_d(M)+E_s(M)

步骤3.2，为目标函数中的样本对赋予权重，并对步骤3.1中的目标函数表达式进行简化，得到：

其中当z_ij＝1时w_ij=1/N_pos，其中N_pos为训练集中跨摄像机正样本对的总数；当z_ij＝-1时w_ij被设为1/N_neg，其中N_neg为训练集中所有跨摄像机和同摄像机负样本对的总数；同时，由于不存在同摄像机正样本对，将w_jk统一设为1/N_neg；

步骤3.3，将双约束度量学习定义为如下优化问题：

步骤3.4，求解步骤3.3中的优化问题，得到半正定度量矩阵M；在本实施例中，首先定义矩阵X和矩阵Y，矩阵X和Y分别存放着查询集中n张图片和候选集中m张图片的特征向量；然后，将X和Y合并为矩阵C＝[X,Y]，并用c_i表示矩阵C的第i列；通过假设当y_j和y_k为相同候选图片时z_jk＝0和w_jk＝0，可以将步骤3.2中的目标函数变为：

求得上述目标函数关于矩阵M的梯度为：

最后，使用梯度下降法迭代求解使目标函数最小的度量矩阵M；

所述测试阶段包含以下步骤：

步骤4，利用度量矩阵进行特征空间投影：根据度量矩阵M的半正定性，将其特征分解为M＝P^TP，利用矩阵P将测试阶段中查询图片的特征向量x^p和候选集的特征向量统一投影至一个新的特征空间，N为测试阶段候选集中图片总数；

步骤5，计算查询图片和候选图片在特征空间中的欧式距离：分别计算查询图片与每张候选图片在新特征空间中的欧式距离：

步骤6，计算候选图片初始排序：根据步骤5中计算得到的欧式距离对候选图片进行排序，与查询图片欧式距离越小的候选图片将获得更靠前的排序位置；

步骤7，选取排序队列中前K张候选图片：从步骤6中得到的候选图片排序队列中选取排序靠前的K张候选图片，在本实施例中K取100；

步骤8，利用前K张候选图片在特征空间中的关联性构建概率超图：以查询图片和K张候选图片作为概率超图的顶点，并通过顶点之间的关联性生成概率超图的超边，最后为每条超边赋予对应的权重；具体包括以下子步骤：

步骤8.1，首先将查询图片和K张候选图片进行合并，得到概率超图的顶点集合

步骤8.2，以中的每一个顶点v_i作为中心节点，通过连接v_i及其在投影特征空间中距离最近的5、15以及25个顶点，生成三条超边，并加入概率超图的超边集合ε中，因此集合ε中一共包含3*(K+1)条超边；

步骤8.3，为超边集合ε中的每条超边e_i分配一个非负权重值w_h(e_i)，当超边以查询图片作为中心节点时，为其分配一个较大的权重值强调查询图片在重排序中的作用；而当超边以候选图片作为中心节点时，为其分配一个较小的权重值在本实施例中取

步骤8.4，根据中顶点和ε中超边的从属关系，构造大小为的关联矩阵H，其元素的定义为：

其中A(v_i,e_j)表示顶点v_i属于超边e_j的概率，通过下式计算得到：

其中v_j为超边e_j的中心节点，σ为投影特征空间中所有顶点之间的平均距离；最终完成概率超图的构建，并且得到关联矩阵H；

步骤9，基于概率超图计算重排序结果：计算概率超图的拉普拉斯矩阵，并结合初始标签的经验损失建立目标函数，根据目标函数计算得到候选图片的排序分数，按照排序分数从大到小对K张候选图片重新排序；具体包括如下子步骤：

步骤9.1，基于关联矩阵H，计算概率超图中每个顶点的度d(v)和每条超边的度δ(e)，其中d(v)＝∑_e∈εw_h(e)H(v,e)，而定义对角矩阵D_v，使其对角线上的元素对应概率超图中每个顶点的度；定义对角矩阵D_e，使其对角线上的元素对应概率超图中每条超边的度；同时定义对角矩阵W，使其对角线上的元素对应每条超边的权重w_h(e)；

步骤9.2，利用关联矩阵H、顶点度矩阵D_v、超边度矩阵D_e和超边权重矩阵W共同计算概率超图的拉普拉斯矩阵L：

其中I为大小为的单位矩阵；

步骤9.3，利用归一化框架同时考虑概率超图的拉普拉斯约束和初始标签经验损失，定义样本重排序的目标函数为：

其中f表示需要学习的重排序分数向量，r表示初始标签向量，r中查询图片的标签被设为1，所有候选图片的标签被设为0，μ>0为归一化参数，用于权衡目标函数中第一项与第二项之间的重要性；目标函数中的第一项约束超图中共享更多超边的顶点获得相似的重排序分数，而目标函数中的第二项则约束重排序分数接近初始标签信息；本实施例中μ＝0.01；

步骤9.4，通过使步骤9.3中的目标函数关于f的一阶导数为零，可以快速获得重排序问题的最优解：

步骤9.5，根据向量f中候选图片的重排序分数，按照排序分数从大到小对K张候选图片重新排序；

步骤10，返回候选图片最终排序：用步骤9中K张候选图片的重排序结果替换步骤6中排序队列里前K张图片的排序位置，并返回整个候选集排序队列作为行人再识别的最终结果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。