一种时空约束的监控视频行人重识别结果的二次优化方法

摘要

本发明公开了一种时空约束的监控视频行人重识别结果的二次优化方法，首先，采用基于人体外貌视觉特征的行人重识别算法，得到初始识别结果；接着，通过视频帧中提起的时间序列参数，计算视觉匹配概率、路径匹配概率及二者的联合概率；最后，选择联合概率最大的路径下的行人图像作为输出。本发明方法在不降低召回率的前提下，显著提升了行人重识别结果的可信度，有效克服了传统的基于视觉特征的行人重识别方法对监控环境敏感的缺陷。

说明书

技术领域

本发明属于视频分析技术领域，涉及监控视频行人重识别分析，具体涉及一种时空约束的监控视频行人重识别结果的二次优化方法。

技术背景

近年来，随着视频监控系统大量普及，视频监控系统在打击犯罪、维护稳定实践中正发挥着越来越重要的作用，视频侦查已成为公安机关侦查破案的新手段。在视频侦查应用中，针对特定嫌疑目标(尤其是人)的检索是重要需求。目前这一过程主要通过人工完成，耗费大量的人力物力以及时间，影响破案效率。特定目标监控视频检索的核心关键问题——行人重识别，是指判断不同监控摄像头下出现的行人图像是否属于同一行人。随着技术发展和应用需求的增加，这一问题正逐渐发展为学术研究和行业应用的热点。

为了在多摄像头画面下准确匹配同一行人，相关学者分别在时空线索、生物特征和外貌视觉特征的基础上开展行人重识别研究。虽然特定应用条件下人脸识别等技术被用于行人身份识别，然而在实际视频监控环境下，存在监控视频画面的分辨率较差、行人对象尺度较小以及行人对象姿态的随意性等因素，导致人脸、步态等生物特征难以提取。相对于时空线索和生物特征，行人的外貌视觉特征容易提取并且具有一定的个体辨识力。而且在一定的时空范围内，行人对象往往不会换装。因此，现有研究大多采用行人图像的外貌特征。

在现有基于外貌的行人重识别研究中，研究者围绕特征提取及相似性度量发展了许多方法。前者重点在于设计鲁棒可靠的行人图像特征表示模型，即能够区分不同行人，同时能够不受光照和视角变化的影响；后者重点在于学习符合行人图像特征分布特性的距离函数，从而使同一行人图像特征距离较小，不同行人图像特征距离较大。然而，这些方法应用到实际监控业务中仍存在巨大的挑战。主要表现为，行人重识别问题中的图片来源于不同的摄像头，由于不同摄像头所处的角度、光照等环境的影响，同一个行人的不同图片中，外貌特征会有一定程度的变化；相反，由于行人姿势及摄像头角度的变化，在不同摄像头中，不同行人的外貌特征可能比同一个人的外貌特征更相似。

为了尽量减少不可控监控环境因素的干扰，现有的行人重识别技术不得不在每个监控点的识别结果中都提供一组图像供人选择，再通过交互的相关反馈方法提炼识别结果。这种处理方式不仅增加了人工研判的工作量、降低了视频分析的自动化程度，而且，由于视角和光照差异，行人的外貌特征会发生很大的变化，可能导致提供的排序靠前的结果并不一定更可信。

发明内容

为了解决上述技术问题，本发明提供了一种时空约束的监控视频行人重识别结果的二次优化方法。

本发明所采用的技术方案是：一种时空约束的监控视频行人重识别结果的二次优化方法，其特征在于，包括以下步骤：

步骤1：基于视觉特征的行人重识别；

根据输入的行人图像及行进路径上N个监控点的监控视频录像，采用基于人体外貌视觉特征的行人重识别算法，逐一识别每个监控点录像中视觉特征最相似的M幅候选行人图像，并按照视觉识别概率由高到低的顺序排序，同时记录每幅行人图像的时间戳和视觉概率；

步骤2：时间序列参数获取；

根据监控点之间的物理距离及上述步骤得到的行人图像时间戳，计算两两相邻监控点之间的距离时间，以及对应的两组M幅候选图像中任意两幅图像之间的时间差，对于行进路径上的第一个监控点，则相对于输入图像来自的案发监控点计算；

步骤3：视觉匹配概率计算；

根据步骤1保存的每幅图像的视觉概率参数，对于(M+1)^N-1种可能的路径组合，计算每种组合下的视觉匹配概率P_v；

步骤4：路径匹配概率计算；

根据步骤2得到的监控点之间的距离时间及候选图像间的时间差参数，对于(M+1)^N-1种可能的路径组合，计算每种组合下的路径匹配概率P_p；

步骤5：联合概率计算；

根据步骤3和4的计算结果，以及给定的经验加权系数，采用加权平均法计算路径-视觉联合概率P；

步骤6：基于联合概率的二次识别；

根据上述步骤计算的(M+1)^N-1种路径组合各自的联合概率，按从大到小的顺序排序，选取排在首位的路径作为优选路径，路径上的行人图像作为行人重识别的优化结果。

作为优选，步骤1中所述的行人重识别算法为多尺度学习的行人重识别算法。

作为优选，步骤1中所述的行人图像的时间戳为行人图像所在的原始视频帧的时间戳的平均值。

作为优选，步骤2中所述的两相邻监控点之间的距离时间l_i，通过监控点之间的物理距离d_i除以行人平均行进速度v计算，即其中行人平均行进速度v为经验值；步骤2中所述的两幅图像之间的时间差t_i，通过行进路径上后面监控点中图像的时间戳减去前面监控点中图像的时间戳计算。

作为优选，步骤3中所述的路径组合下的视觉匹配概率是用路径上所有行人图像的概率相加计算，即这里P_i为路径上行人图像的视觉匹配概率，K为路径上的监控点数目，对于每个确定的路径，K为一固定常数。

作为优选，步骤4中所述的路径匹配概率的具体计算过程包含如下子步骤：

步骤4.1：通过公式计算路径上任意相邻监控点中两幅行人图像的路径偏移概率e_i，这里l_i和t_i分别为步骤2得到的距离时间和时间差参数；

步骤4.2：将路径上所有监控点的偏移概率e_i相加，得到总体路径偏移概率E_p，即如果E_p>1，则令E_p＝1，即行人的出现时序有违行进顺序；

步骤4.3：按式P_p＝1-E_p计算路径匹配概率，当P_p＝0时，即该路径是无效路径。

作为优选，步骤5中所述的路径-视觉联合概率P的计算公式为：

P＝wP_p+(1-w)P_v，

其中w为一预先设定的经验加权系数。

作为优选，步骤6所述的基于联合概率的二次识别的具体实现过程包含如下子步骤：

步骤6.1：路径组合排序；

将(M+1)^N-1条路径按联合概率排序，选择排序靠前的L条路径组成候选路径集；

步骤6.2：路径合并；

当某条短路径从属于另外一条长路径且短路径的联合概率不大于长路径的联合概率时，将短路径从候选集中去掉，只保留长路径；

步骤6.3：从路径合并后的候选集中输出排序第一的路径及路径所对应的行人图像。

本发明方法提出的路径匹配概率的思路是一种降低搜索空间的有效措施，具有较好的推广价值，对海量监控视频大数据中的嫌疑目标的检测、跟踪和检索问题均具有借鉴作用。相比于传统的基于人体外貌视觉特征的行人重识别方法，本发明方法还具有如下优点和积极效果：

1)本发明方法通过巧妙利用行进路径上监控点中行人出现的时序约束关系，在原有的视觉匹配概率的基础上，引入路径匹配概率来联合度量各种行人路径组合出现的可能性，以此作为对第一次识别结果的优选依据，显著提升了行人重识别结果的可信度；

2)本发明方法引入了路径依赖的时空约束关系，而时空约束不受光照、视角等摄像环境的影响，有效克服了传统的基于视觉特征的行人重识别方法对摄像环境敏感的缺陷；

3)本发明方法通过对大量候选识别结果的合理清理，只保留最为可靠的行人图像，在不降低召回率的前提下，有效减轻了后续人工研判的工作量。

附图说明

图1本发明实施例的流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

实际上，如果将行进路径上各个监控点的识别结果作为一个整体来看待，它们之间应该有强烈的时空依赖关系。诸如，同一行人不可能在同一时间出现在物理位置相距的不同监控点中，行人出现在不同监控点中的时间差异也须得与监控点间的距离及常识中的行人行进速度有合理的关系，行人出现在行进路径上后面监控点的时间不应早于前面监控点的时间。因此，通过对不同监控点中识别出的行人图像的时序关系的关联分析，可剔除大量不合理的识别结果，仅保留少量的符合行进路径约束关系的结果呈现给用户。

假设行进路径上有N个互不覆盖的监控点，对每个监控点而言，行人可出现或不出现，则理论上共有2^N种组合，涵盖了所有监控点都出现、所有监控点都不出现、出现在部分监控点中等各种情况。但并不是每种组合都有存在的可能，例如，对于A、B两个相邻的监控点，如果在二者中检测到的行人的出现时间相同，则显然是不合理的，因为一个人不可能在同一时间出现在两个不同的地方。换言之，行人出现在不同监控点中的概率必须受到现实时空关系的约束，行人只有在不同时间才能出现在不同监控点中。更一般化，行人出现在不同监控点中的时间差须得与监控点间的距离及常识中的行人行进速度有合理的关系。通过监控点间的距离及行人速度可以得出两监控点间的距离时间，如果检测出的实际时间差与这个距离时间相差太远，则是不合理的；如果考虑到行进方向，则不仅有时间差的约束，还有先后顺序的时序约束，例如，从A到B，则B中出现的时间不能早于A。

如何量化计算每种路径组合存在的概率呢？行人在路径中任意相邻两点之间出现的实际时间差t_i与距离时间l_i越接近，则这两点被包含在路径中的可能性越大，因此，可以用这两个参数的误差衡量路径匹配程度。考虑到距离时间长的允许更大的误差，用误差与距离时间的比例来衡量更合适，即这里e_i实际就是路径匹配的偏移概率。将行进路径上两两相邻监控点之间的偏移概率累加，即就得到整个路径的偏移概率，这里K为路径上的监控点数目，对于确定的路径而言，K是固定值。由于误差可能比时长参数还大，此时计算的偏移概率可能大于1，因此，应限制E不大于1。相应地，P_p＝1－E就是路径匹配概率，简称路径概率。逐一计算2^N种路径组合中每种组合的路径概率，并对结果排序，路径概率排序靠前的路径存在的可能性越大。

上述思路可以用在基于视觉特性的行人重识别结果的二次识别优化。同样，假设路径上有N个监控点，针对某一输入行人图像，假若行人重识别方法已经给出了每个监控点的M幅识别排序图像，每个监控点的行人有(M+1)种选择(包含都不选择这种特殊情况)，则共有(M+1)^N-1种行人路径组合(减去1是为了去掉行人在每个监控点都未出现这种不符合假设的情况)。每种组合的路径匹配概率与上述计算方式完全一样，即K同样为路径上的监控点数目，但不同于前者的是，由于输入图像本来就来自一个监控点，所以求和时K不用减去1。选择路径概率排序靠前的路径上的行人作为输出，相当于对基于视觉特性的行人重识别结果进行了时空关联约束的优选。

实际上，二次优选中还可以进一步结合视觉排序的概率。在视觉重识别中，对每次的M张识别结果都会赋予一个视觉匹配概率，视觉排序正是基于这个概率来实现。二次识别中不应完全忽视这个概率，而是应该利用它与路径概率共同来衡量识别结果的可信度。在基于视觉特性的行人重识别中，对路径组合中的每个监控点的识别是独立开展的，故视觉概率P_i可视为独立观测变量，因此，总的视觉匹配概率可用路径上所有点的概率求和计算，即这里K为路径上监控点数目，对于一种确定的路径组合，K是固定的。进而，将总的视觉匹配概率和路径匹配概率进行加权平均，得到路径-视觉联合概率，简称联合概率，也即联合概率P＝wP_p+(1-w)P_v，这里w是经验加权系数。原理上，联合概率是最为科学合理的二次识别依据。

基于上述思想，本发明提供了一种时空约束的监控视频行人重识别结果的二次优化方法，请见图1，本发明的具体实现包括以下步骤：

步骤1：基于视觉特征的行人重识别。根据输入的行人图像及行进路径上N(本实施例N＝5)个监控点的监控视频录像，采用基于人体外貌视觉特征的行人重识别算法，逐一识别每个监控点录像中视觉特征最相似的M(本实施例M＝10)幅候选行人图像，并按照视觉识别概率由高到低的顺序排序，同时记录每幅行人图像的时间戳和视觉概率；

作为一种具体实现，行人重识别选用多尺度学习的行人重识别算法，算法从每个监控点录像中识别出M幅按视觉相似性排序的行人图像，共产生NxM幅候选图像；

多尺度学习的行人重识别算法的执行过程如下：

1)行人外貌类型提取，根据行人在多摄像头下不同图像间的视觉差异，对行人数据进行聚类，每类数据标记为同一外貌类型的行人；

2)基于随机采样的尺度学习算法，对总体训练样本进行随机采样，并学习得到初始的马氏距离函数，在此基础上对每类数据进行尺度学习并更新马氏距离函数；

3)查找输入行人图像的K近邻，并通过投票选择马氏距离函数；

4)计算输入行人与待测行人的双向内容相似性与近邻相似性，自动重排初始结果。

作为一种具体实现，行人图像的时间戳规定为行人图像所在的原始视频帧的时间戳的平均值，时间戳保存在长度为NxM的数组中。

步骤2：时间序列参数获取。根据监控点之间的物理距离及上述步骤得到的行人图像时间戳，计算两两相邻监控点之间的距离时间，以及对应的两组M幅候选图像中任意两幅图像之间的时间差，对于行进路径上的第一个监控点，则相对于输入图像来自的案发监控点计算；

其中两相邻监控点之间的距离时间l_i，通过监控点之间的物理距离d_i除以行人平均行进速度v计算，即这里的行人平均行进速度v为经验值；距离时间保存在长度为N的数组中；两幅图像之间的时间差t_i，通过行进路径上后面监控点中图像的时间戳减去前面监控点中图像的时间戳计算；每相邻监控点2组M幅图像之间的两两时间差的数据长度为MxM，共有N个监控点，故保存时间差参数的数组长度为NxMxM。

步骤3：视觉匹配概率计算。根据步骤1保存的每幅图像的视觉概率参数，对于(M+1)^N-1种可能的路径组合，计算每种组合下的视觉匹配概率P_v；

作为一种具体实现，视觉匹配概率计算如下：

路径组合下的视觉匹配概率可用路径上所有行人图像的概率相加计算，即这里P_i为路径上行人图像的视觉匹配概率，K为路径上的监控点数目，对于每个确定的路径，K为一固定常数。

步骤4：路径匹配概率计算。根据步骤2得到的监控点之间的距离时间及候选图像间的时间差参数，对于(M+1)^N-1种可能的路径组合，计算每种组合下的路径匹配概率P_p；

作为一种具体实现，路径匹配概率的计算包含如下子步骤：

步骤4.1：通过公式计算路径上任意相邻监控点中两幅行人图像的路径偏移概率e_i，这里l_i和t_i分别为步骤2得到的距离时间和时间差参数；

步骤4.2：将路径上所有监控点的偏移概率e_i相加，得到总体路径偏移概率E_p，即如果E_p>1则令E_p＝1，意味者行人的出现时序有违行进顺序；

步骤4.3：按式P_p＝1-E_p计算路径匹配概率，当P_p＝0时，意味着这条路径是无效路径。

步骤5：根据步骤3和4的计算结果，以及给定的经验加权系数，采用加权平均法计算路径-视觉联合概率P；

作为一种具体实现，路径-视觉联合概率P按公式P＝wP_p+(1-w)P_v计算，这里w为一预先设定的经验加权系数(本实施例w＝0.8)。

步骤6：基于联合概率的二次识别。根据上述步骤计算的(M+1)^N-1种路径组合各自的联合概率，按从大到小的顺序排序，选取排在首位的路径作为优选路径，路径上的行人图像作为行人重识别的优化结果。

作为一种具体实现，二次识别具体包含如下子步骤：

步骤6.1：路径排序，将(M+1)^N-1条路径按联合概率排序，选择排序靠前的L条路径组成候选路径集；

步骤6.2：路径合并，当某条短路径从属于另外一条长路径且短路径的联合概率不大于长路径的联合概率时，将短路径从候选集中去掉，只保留长路径；

N个监控点、每个点M幅图像，则共有NxM幅图像，对这些图像依次编号，路径可表达成编号的集合，短路径集合用S_s表示，长路径集合用S_l表示，当S_s∈S_l时，则短路径从属于长路径。

步骤6.3：从路径合并后的候选集中输出排序第一的路径及路径所对应的行人图像。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。