基于两级融合的不完整属性标记行人重识别方法与系统

摘要

本发明公开了一种基于两级融合的不完整属性标记行人重识别方法与系统，首先，基于人工标注属性特征更为精确的前提，利用低层特征和高层一般属性特征的跨层稀疏重构一致性，初步融合人工标注属性来学习出完整而精确的高层属性特征，然后，用基于统计意义上的属性关注度和显著度提出关注-显著度模型来度量行人属性向量间的距离，最后对基于低层特征的排序结果和基于关注度-显著度的属性特征排序结果进行排序的后融合。本发明的有效性都在VIPER数据集上得到证明，同时可知，引入不完整标注属性进行行人重识别能大大提升检索效果。

说明书

技术领域

本发明属于监控视频检索技术领域，尤其涉及一种基于两级融合的不完整属 性标记行人重识别方法与系统。

背景技术

在实际视频侦查中，侦查员需要根据指定行人对象在多摄像头下的活动画面 和轨迹来快速排查、追踪和锁定嫌疑目标，在侦查过程中，侦查员经常会手动标 注一些信息，视觉属性中的图片信息和语义描述因此得以收集，然而，实际中往 往花费大量的人力物力和时间信息在匹配这些不同的标记上，这严重影响破案效 率,容易错过最佳的破案时机。

行人重识别是一种针对特定行人对象的跨摄像头监控视频自动检索技术，它 仅仅利用图像特征对进行目标查询，侦查员所标记的不完整语义属性并未得到利 用，充分利用侦查员所标注的信息并结合已有的行人重识别技术用以辅助视频侦 查员快速、准确地发现嫌疑目标的活动画面和轨迹，对公安部门提高破案率、维 护人民群众生命财产安全具有重要意义。

目前行人重识别技术所面临的挑战主要是来自于多摄像头下的行人图像往 往存在视角变化、光照变化、姿态变化和尺寸变化等，使得相同行人之间的差异 甚至比不同行人之间的还要大。现有行人重识别技术大致可以分为三类：基于特 征表示的行人重识别技术、基于尺度学习的行人重识别技术、基于排序优化的行 人重识别技术。现有行人重识别技术中基于特征方法包括基于低层特征的行人重 识别技术，如[文献1]所述的基于局部特征驱动的行人重识别技术、[文献2]所述 的基于语义色彩的行人重识别技术、[文献3]所述的基于局部互动的排序优化行 人重识别技术等等以及基于高层语义特征的行人重识别技术、如[文献4]所述的 基于属性的行人重识别技术。现有基于尺度学习的重识别技术，如[文献5]所述 的KISSME算法。

基于特征表示的行人重识别方法，其中低层视觉特征在面对视角变化、光照 变化、姿态变化时不够鲁棒，图像高层特征相对而言鲁棒性更强，从图像内容中 得到的普通高层属性特征较为完整却因分类器的精度限制而不准确，人工标注的 高层属性特征尽管不完整却较为精确。

基于属性特征距离度量的行人重识别，很少考虑到如[文献6]所述信息检索 中考虑到属性关注度和属性显著度的概念，而关注度-显著度匹配模型在度量属 性时却是非常有效果的。

基于重排的行人重识别认为基于低层特征的行人重识别在行人外貌变化不 大的前提下更为精准，而基于高层的属性特征对外貌变化鲁棒性更强，但相对不 精准。

[文献1]M.Farenzena,L.Bazzani,A.Perina,V.Murino,andM.Cristani.Person re-identificationbysymmetry-drivenaccumulationoflocalfeatures.InCVPR,2010.

[文献2]Y.Yang,J.Yang,J.Yan,S.Liao,D.Yi,andS.Z.Li.Salientcolornamesfor personre-identification.InECCV.2014.

[文献3]Z.Wang,R.Hu,C.Liang,Q.Leng,andK.Sun.Region-basedinteractive rankingoptimizationforpersonre-identification.InPCM.2014.

[文献4]R.Layne,T.M.Hospedales,S.Gong,andQ.Mary.Personre-identification byattributes.InBMVC,2012.

[文献5]M.Kostinger,M.Hirzer,P.Wohlhart,P.M.Roth,andH.Bischof.Large scalemetriclearningfromequivalenceconstraints.InCVPR,2012.

[文献6]G.Salton,A.Wong,andC.-S.Yang.Avectorspacemodelforautomatic indexing.CommunicationsoftheACM,1975.

发明内容

针对现有技术存在的不足，本发明提供了一种基于两级融合的不完整属性标 记行人重识别方法与系统。

本发明的方法所采用的技术方案是：一种基于两级融合的不完整属性标记行 人重识别方法，其特征在于，包括以下步骤：

步骤1：针对任一图片，为其定义“普通低层特征向量、普通高层属性向量、 人工标记属性向量”三种属性向量；

⑴普通低层特征向量f，N_f是特征向量的维度，N_f是一个常数； 普通特征向量需要较强的判别力和面对光照视角变化的鲁棒性要求；

⑵普通高层属性向量a_g，N_a是属性分类器个数，即N_a种属性， 某个分类器的分类的结果a_g取值为[-11]，+1代表图片具有该属性，-1代表图片 不具有该属性；通过若干个训练出的属性分类器学习出的普通高层属性向量，普 通高层属性向量包含所有分类器所对应的属性，信息完整；

⑶人工标记属性向量a_m表示，对任一种属性，出现属性标记为+1， 未出现属性标记为-1，未标记的属性为0；由侦查员任选属性进行标记；

步骤2：基于跨层稀疏重构一致性考虑，利用普通低层特征向量、普通高层 属性向量、人工标记属性向量进行前融合，得到完备高层属性向量；

其具体实现包括以下子步骤：

步骤2.1：基于收集获得的训练集形成特征字典D_f，用D_f重 构普通低层特征向量f，通过目标函数Θ_f，对应f稀疏重构权重向量α；

步骤2.2：基于训练集形成属性字典D_a，用D_a重构普通高层属 性属性向量a_g，通过目标函数Θ_a，对应a_g稀疏重构权重向量β；

步骤2.3：基于跨层稀疏重构一致性考虑，特征字典D_f和属性字典D_a列间 对应于一张图片，写出联合优化目标函数Θ，求出跨层一致约束下的稀疏重构权 重向量α和β；

步骤2.4：基于上述α和β，结合人工标记属性向量信息，得出完备高层属 性向量a；

步骤3：构建高层属性向量度量模型，即关注度-显著度匹配模型，其具体实 现包括以下子步骤：

步骤3.1：关注度形式化表达；如果某些属性特征较另外一些属性特征被侦 查员标记次数多，证明该种属性的关注度高，反之低；关注度形式化表达为dom_i；

步骤3.2：显著度形式化表达；如果某种属性出现次数比其他属性出现次数 少，它引人注目的可能性就越大，从而更具有区分性，该种属性理应赋予更高的 权重；显著度形式化表达为sal_i；

步骤3.3：属性向量间度量方式；结合关注度和显著度得到高层属性向量度 量模型d(a,a')；

步骤4：进行普通低层特征向量和高层属性特征排序结果的后融合，其具体 实现包括以下子步骤：

步骤4.1：基于步骤1得出图像普通特征向量f得到基于低层特征的细粒度 排序结果RF，其中RF＝{RF¹,RF²,…RF^M}，M为查询集中被标记的行人数；

步骤4.2：基于步骤2得出的图像高层属性向量a、步骤3得出的高层属性 向量度量模型d(a,a')，得到基于高层特征的粗粒度排序结果RA，其中 RA＝{RA¹,RA²,…RA^M}，M为查询集中被标记的行人数；

步骤4.3：对RA进行分组G＝{G¹,G²,…}，出于属性特征向量的粗粒度考虑， 普通特征向量排序结果不变，调整属性特征向量排序结果，得到最终组合排序结 果。

作为优选，步骤2.1中所述的目标函数Θ_f定义为：

其中||||₁、||||₂分别为L₁和L₂范数，α(α∈R^N×1)是f目标稀疏权重向量， λ是协调因子。

作为优选，步骤2.2中所述的目标函数Θ_a定义为：

其中||||₁、||||₂分别为L₁和L₂范数，β(β∈R^N×1)是a_g目标稀疏权重向量， ω是协调因子。

作为优选，步骤2.3中所述的联合优化目标函数Θ定义为：

其中是跨层一致性限制，v是惩罚α和β差异的协调因子，是 选择引导限制，τ选择引导限制的协调因子。

作为优选，步骤2.4中所述的完备高层属性向量a为：

a＝D_aβ.*Not(a_m)+a_m，

其中Not(·)是取反作用符号，式子含义为：当a_m为0时，即没有标记信息 时，某个属性用D_aβ表示，否则用人工标记属性向量a_m代表其某个属性值。

作为优选，步骤3.1中所述的关注度形式化表达为dom_i，

${\mathrm{dom}}_i=\frac{1+n_i}{{\Sigma }_{i=1}^{N_a}{n}_i},$

其中n_i是属性i被标记的个数吗，共有N_a种属性。

作为优选，步骤3.2中所述的显著度形式化表达为sal_i，

${\mathrm{sal}}_i=log\frac{1+N}{1+m_i},$

其中m_i是训练集中标记为有属性i的个数，训练集中有N个图片。

作为优选，步骤3.3中所述的高层属性向量度量模型d(a,a')，

$d(a,a^{\prime })={\Sigma }_{i=1}^{N_a}{w}_i|a_i-a_i^{\prime }|,$

其中a和a’表示两个属性向量，w_i＝dom_i×sal_i。

本发明的系统所采用的技术方案是：一种基于两级融合的不完整属性标记行 人重识别系统，其特征在于：包括特征提取模块、前融合模块、后融合模块；所 述的特征提取模块完成普通低层特征、普通高层属性特征、人工标记属性特征的 提取；所述的前融合模块基于普通低层特征与普通高层属性特征、人工标记属性 特征之间的跨层一致性，基于人工标记属性特征更为准确的前提，融合三种特征 得到更为精准的高层属性特征；所述的后融合模块首先基于提出的关注度-显著 度匹配模型得到基于高层属性的排序结果，然后基于KISSME方法得到基于普 通低层特征的排序结果，最终融合两种排序结果，得到最终的行人重识别排序结 果。

与现有行人重识别方法与系统相比，本发明具有以下优点和有益效果：

(1)与现有技术相比，本发明运用了三种特征即低层视觉特征、高层普通 属性特征和高层人工标记属性特征。在跨层一致和人工标记信息优先的前提下， 提出将三种特征进行前融合，进而得到行人更为完整和精确的属性向量，用该向 量进行行人重识别，使得排名靠前的检索结果更加可靠；

(2)与现有技术相比，本发明提出在进行属性向量距离度量时，考虑行人 图像的关注度和显著度，进而给予属性不同的权重，使得排名靠前的检索结果更 加可靠；

(3)与现有技术相比，基于粗粒度属性特征向量的考量，普通特征向量排 序结果基本不变，轻微调整属性特征向量排序结果，进行普通特征向量的排序结 果和高层属性特征向量排序结果分组融合，使得排名靠前的排序结果更加可靠；

(4)与现有行人重识别系统相比。以往的行人重识别系统一般将该系统分 为：特征提取模块，距离度量模块、重排优化模块。该系统将行人重识别模块分 为特征提取模块、前融合模块、后融合模块。与以往系统有区别，特征提取模块 与以往系统基本相同，前融合模块相当于对特征的进一步优化以提取更为精准的 特征，后融合模块融合原有的距离度量模块和重排优化模块得到最终排序优化结 果。

附图说明

图1：为本发明实施例的方法流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作 进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明， 并不用于限定本发明。

本发明是基于二级融合的不完整属性标记行人重识别与系统。该方法基于人 工标注属性特征更为精确的前提，利用普通属性特征和低层特征的跨层稀疏重构 一致性，同时利用人工标注属性特征来学习高层属性特征，考虑属性的关注度和 显著度进行属性间的距离度量，得到基于高层属性特征的排序结果，再与基于 KISSME的普通特征度量排序方法融合排序进而实现多步提升多摄像头下同一 行人匹配的准确性。

本实施例采用MATLAB7作为仿真实验平台，在常用的行人重识别数据集 VIPeR上进行测试。VIPeR数据集有两个摄像头下的632个行人图像对，两个摄 像头之间存在明显的视角、光照等差异。一般用作训练，另一半用作测试。本实 例选择49种有效属性，选取5名志愿者充当侦查员对样本进行人工属性标记。

请见图1，本发明提供的一种基于两级融合的不完整属性标记行人重识别方 法，包括以下步骤：

步骤1：针对任一图片，为其定义“普通低层特征向量、普通高层属性向量、 人工标记属性向量”三种属性向量；

⑴普通低层特征向量f，N_f是特征向量的维度，N_f是一个常数； 普通特征向量需要较强的判别力和面对光照视角变化的鲁棒性要求，这里选择纹 理特征和颜色特征。

⑵普通高层属性向量a_g，N_a是属性分类器个数，即N_a种属性， 某个分类器的分类的结果a_g取值为[-11]，+1代表图片具有该属性，-1代表图片 不具有该属性；通过若干个训练出的属性分类器学习出的普通高层属性向量，普 通高层属性向量包含所有分类器所对应的属性，信息完整；

⑶人工标记属性向量a_m表示，对任一种属性，出现属性标记为+1， 未出现属性标记为-1，未标记的属性为0；由侦查员任选属性进行标记；

步骤2：基于跨层稀疏重构一致性考虑，利用普通低层特征向量、普通高层 属性向量、人工标记属性向量进行前融合，得到完备高层属性向量；

其具体实现包括以下子步骤：

步骤2.1：基于收集获得的训练集形成特征字典D_f，用D_f重 构普通低层特征向量f，通过目标函数Θ_f，对应f稀疏重构权重向量α；

目标函数Θ_f定义为：

其中||||₁、||||₂分别为L₁和L₂范数，α(α∈R^N×1)是f目标稀疏权重向量， λ是协调因子。

步骤2.2：基于训练集形成属性字典D_a，用D_a重构普通高层属 性属性向量a_g，通过目标函数Θ_a，对应a_g稀疏重构权重向量β；

目标函数Θ_a定义为：

其中||||₁、||||₂分别为L₁和L₂范数，β(β∈R^N×1)是a_g目标稀疏权重向量， ω是协调因子。

步骤2.3：基于跨层稀疏重构一致性考虑，特征字典D_f和属性字典D_a列间 对应于一张图片，写出联合优化目标函数Θ，求出跨层一致约束下的稀疏重构权 重向量α和β；

联合优化目标函数Θ定义为：

其中是跨层一致性限制，v是惩罚α和β差异的协调因子，是 选择引导限制，τ选择引导限制的协调因子。

步骤2.4：基于上述α和β，结合人工标记属性向量信息，得出完备高层属 性向量a；

完备高层属性向量a为：

a＝D_aβ.*Not(a_m)+a_m，

其中Not(·)是取反作用符号，式子含义为：当a_m为0时，即没有标记信息 时，某个属性用D_aβ表示，否则用人工标记属性向量a_m代表其某个属性值。

步骤3：构建高层属性向量度量模型，即关注度-显著度匹配模型，其具体实 现包括以下子步骤：

步骤3.1：关注度形式化表达；如果某些属性特征较另外一些属性特征被侦 查员标记次数多，证明该种属性的关注度高，反之低；关注度形式化表达为dom_i；

${\mathrm{dom}}_i=\frac{1+n_i}{{\Sigma }_{i=1}^{N_a}{n}_i},$

其中n_i是属性i被标记的个数吗，共有N_a种属性。

步骤3.2：显著度形式化表达；如果某种属性出现次数比其他属性出现次数 少，它引人注目的可能性就越大，从而更具有区分性，该种属性理应赋予更高的 权重；显著度形式化表达为sal_i；

${\mathrm{sal}}_r=log\frac{1+N}{1+m_i},$

其中m_i是训练集中标记为有属性i的个数，训练集中有N个图片。

步骤3.3：属性向量间度量方式；结合关注度和显著度得到高层属性向量度 量模型d(a,a')；

$d(a,a^{\prime })={\Sigma }_{i=1}^{N_a}{w}_i|a_i-a_i^{\prime }|,$

其中a和a’表示两个属性向量，w_i＝dom_i×sal_i。

步骤4：进行普通低层特征向量和高层属性特征排序结果的后融合，其具体 实现包括以下子步骤：

步骤4.1：基于步骤1得出图像普通特征向量f得到基于低层特征的细粒度 排序结果RF，其中RF＝{RF¹,RF²,…RF^M}，M为查询集中被标记的行人数；

步骤4.2：基于步骤2得出的图像高层属性向量a、步骤3得出的高层属性 向量度量模型d(a,a')，得到基于高层特征的粗粒度排序结果RA，其中 RA＝{RA¹,RA²,…RA^M}，M为查询集中被标记的行人数；

步骤4.3：对RA进行分组G＝{G¹,G²,…}，出于属性特征向量的粗粒度考虑， 普通特征向量排序结果不变，调整属性特征向量排序结果，得到最终组合排序结 果。

其中调整属性特征向量排序结果的过程为：G中某个子集包含多个RA的元 素，本发明需要对这个子集里的RA元素进行排序。比如，G¹＝{RA¹,RA²,RA³}， 本发明要对RA¹,RA²,RA³重新排序。RA元素可以在RF中找到对应于同一人的元 素。那么本发明就可以找到三个RF元素，其重新排序依照相应RF中的次序。

步骤5：计算排序融合后的CMC值，此处CMC值是指N次查询中，返回 前r个结果中有正确行人对象的概率，当返回前r个结果时，CMC值越高，表 示行人检索性能越好。

上述过程对每个测试样本进行k次查询，计算k次查询平均CMC值，并输 出，此处k取10。对比初始的基于KISSME的行人重识别方法，基于普通低层 属性特征和L₁距离度量行人重识别方法(GA+L1)，基于普通低层特征、普通高 层属性特征、人工标记属性特征三种融合特征和L₁距离度量行人重识别方法 (EF+L1)，基于三种融合特征和基于关注-显著度距离度量行人重识别算法 (EF+DSM)，基于三种融合特征、基于关注显著度距离度量的属性融合排序与基 于普通特征排序融合行人重识别算法(EF+DSM+LF)的平均CMC值，见表1。

从表1中可以发现，本发明的排序优化行人重识别方法的检索性能在各步都 有提高。最明显是第一步，基于人工标注属性特征更为精确的前提，利用不完整 属性标注信息和低层特征的跨层稀疏重构一致性，同时利用人工标注属性特征来 学习高层属性特征，通过该层融合得到的高层属性特征即使仅使用L₁度量方式结 果也有很大提升，再利用属性具有的关注度和显著度特性，改变距离度量时各属 性的权重，结果也得到了提升，最后综合具关注度与显著度性质的融合性属性特 征的排序结果和普通特征向量排序结果，结果基于上一步仍有提升。

表1在VIPeR上分别返回前1、5、10、25个结果时的平均CMC值(％)

Method rank 1 10 25 KISSME[7] 23.39 66.27 83.73 92.66 GA+L1 9.72 35.28 51.33 66.84 EF+L1 62.53 91.58 96.11 97.59 EF+DSM 67.78 96.20 98.73 99.40 EF+DSM+LF 60.70 96.58 98.89 99.40

其中[7]M.Kostinger,M.Hirzer,P.Wohlhart,P.M.Roth,andH.Bischof.Largescale metriclearningfromequivalenceconstraints.InCVPR,2012.

本发明提供的一种基于两级融合的不完整属性标记行人重识别系统，包括特 征提取模块、前融合模块、后融合模块；所述的特征提取模块完成普通低层特征、 普通高层属性特征、人工标记属性特征的提取；所述的前融合模块基于普通低层 特征与普通高层属性特征、人工标记属性特征之间的跨层一致性，基于人工标记 属性特征更为准确的前提，融合三种特征得到更为精准的高层属性特征；所述的 后融合模块首先基于提出的关注度-显著度匹配模型得到基于高层属性的排序结 果，然后基于KISSME方法得到基于普通低层特征的排序结果，最终融合两种 排序结果，得到最终的行人重识别排序结果。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是 对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不 脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发 明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。