一种基于多摄像机信息融合的目标匹配与跟踪系统及方法

摘要

本发明公开了一种基于多摄像机信息融合的目标匹配与跟踪系统及方法，系统包括单摄像机目标检测模块、单摄像机目标跟踪模块、单摄像机目标关键点特征提取模块，多摄像机目标匹配模块以及目标模型在线更新模块；在系统中建立与目标对应的模型，分别基于局部颜色和方向直方图这两种特征计算目标与模型的相似度，最后进行决策级的融合，将融合的结果作为目标匹配的依据。匹配上的目标特征用于模型的更新，实现对目标的自适应跟踪。本发明可提高多摄像机目标匹配对于遮挡、环境、光照、角度等的鲁棒性，有利于实现多摄像机视频监控系统对目标的鲁棒协同跟踪。

说明书

技术领域

本发明涉及视频监控中多摄像机信息融合的技术领域，特别涉及一种在从 不同角度对同一场景进行监控时，能够智能地检测多个运动目标并对运动目标 进行跟踪的系统及方法。

背景技术

视频跟踪是计算机视觉方面要研究的一个重要领域。所谓视频跟踪，是指 用一定的方法实现对视频序列中感兴趣的目标进行检测、特征提取、识别和跟 踪，从而获取目标的运动参数以及运动轨迹，以便后续在此基础上对运动目标 的行为进行分析与理解。实际视频监控中，需要工作人员干预和处理的事件发 生概率很小，这就需要监控人员工作时长时间集中注意力，然而现实中很难做 到这一点，注意力的分散可能会极大地影响监控的及时性和有效性。视频跟踪 技术可以代替视频监控人员，在此基础上可实现自动地对目标的行为进行分析 和理解，从而判断是否需要人工干预。因此，视频跟踪方面的研究具有重要的 现实意义。

视频跟踪技术可以分为基于单个摄像机的目标跟踪和基于多个摄像机信息 融合的目标跟踪。但基于单摄像机的目标跟踪存在监控范围有限、场景遮挡、 跟踪精度不高等问题。采用多摄机对目标进行跟踪可以扩大监视范围和角度， 从而扩展信息采集的区域，有助于解决目标遮挡及景深难题，有效克服单摄像 机中存在的盲点问题。多摄像机能提供更为丰富的目标信息，包括目标的多种 特征，对这些信息和特征进行有效的融合，可以更好地实现对目标的匹配和跟 踪。

多摄像机间目标匹配的方法有很多，代表性的目标匹配方法有基于灰度的 或基于特征的匹配方法等。

基于灰度匹配方法的基本思想把图像看成二维信号，然后利用图像的灰度 信息建立目标之间的相似性度量，如差平方和、协方差函数、相关函数、差绝 对值等，根据相似性来进行目标之间的匹配。这种方法的缺陷是计算量较大， 很难达到实时性要求。

基于目标特征的配准方法在检测目标的基础上提取目标特征作为匹配依 据，这些特征包括纹理特征、颜色特征、形状特征、空间位置特征等。但由于 遮挡、光照、角度变化、形变等因素，这类方法缺乏必要的鲁棒性。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于多摄像机信 息融合的目标匹配与跟踪系统，以提高多摄像机目标匹配与跟踪的鲁棒性和自 适应性。

本发明的另一目的在于，提供一种基于多摄像机信息融合的目标匹配与跟 踪方法。

为了达到上述第一目的，本发明采用以下技术方案：

一种基于多摄像机信息融合的运动目标匹配与跟踪系统，包括单摄像机目 标检测模块、单摄像机目标跟踪模块、单摄像机目标关键点特征提取模块，多 摄像机目标匹配模块以及目标模型在线更新模块；

所述单摄像机目标检测模块提取摄像机采集到的视频中的运动目标，输出 给目标跟踪模块；

所述单摄像机目标跟踪模块提取运动目标的参数，实现在单摄像机内对目 标进行跟踪；

所述单摄像机目标关键点特征提取模块检测目标上具有视觉显著性的关键 点，提取关键点处的颜色与局部方向直方图特征，输出给多摄像机间目标匹配 模块；

多摄像机目标匹配模块比对检测到的目标特征与已知目标模型，根据其相 似度确定目标类别，从而实现摄像机间目标匹配；

目标模型在线更新模块根据与模型匹配的目标特征更新模型，实现对目标 的自适应跟踪。

优选的，所述单摄像机目标检测模块采用混合高斯模型法对视频中的运动 目标进行检测。

优选的，所述单摄像机目标跟踪模块采用均值偏移法对视频中的运动目标 进行跟踪。

优选的，所述单摄像机目标关键点特征提取模块检测前景目标上具有视觉 显著性的关键点，提取关键点局部区域的颜色特征和方向直方图特征，作为目 标刻画，用于后续目标匹配。

为了达到上述第二目的，本发明采用以下技术方案：

一种基于多摄像机信息融合的运动目标匹配与跟踪方法，包括下述步骤：

首先，利用高斯混合模型进行视频序列中运动目标的检测，利用均值偏移 法对单摄像机内的目标进行跟踪，然后对检测到的目标区域进行小波变换，以 检测具有视觉显著性的关键点；

其次，在关键点局部区域提取颜色特征和局部方向直方图特征，以刻画前 景目标，并作为目标模型更新的输入；

最后，在融合关键点处局部颜色特征和方向直方图特征的基础上，实现运 动目标与模型间的匹配；同时，与模型匹配的前景目标特征被用于在线更新模 型，以实现对目标的自适应跟踪。

优选的，匹配时，先分别基于目标关键点颜色特征和局部方向直方图特征进 行相似度计算，然后融合两种相似度，设第一目标与第二目标基于颜色特征得 到的相似度为S₁，基于直方图特征得到的相似度为S₂，则融合后的相似度为：

S＝wS₁+(1-w)S₂

其中w用于调整两种特征在匹配决策中的比重。

优选的，在进行更新时，为每一个运动目标建立一个特征模块，更新分为 两部分，一部分利用当前帧中的目标特征对已建立的模型进行更新，另一部分 是利用与特征模型可靠地匹配的运动目标特征信息来对模型进行更新。

优选的，对特征模型的更新公式如下：

${\mathrm{TF}}_k=\left(\begin{array}{cc}(1-\alpha -\beta ){\mathrm{TF}}_{k-1}+{\mathrm{\alpha SF}}_k+{\mathrm{\beta T}}_i,& S_{f_2}/S_{f_1}\le \gamma \\ (1-\alpha ){\mathrm{TF}}_{k-1}+{\mathrm{\alpha SF}}_k,& S_{f_2}/S_{f_1}>\gamma \end{array}\right)$

其中，TF_k表示特征模型TF的第k帧，TF_k-1表示特征模型TF的第k-1帧， SF_k是第k帧中运动目标的特征，α是运动目标特征对模型的更新速度；T_i表示 与特征模型匹配上的目标特征，β是与特征模型匹配上的运动目标的特征对模 型的更新速度。

本发明相对于现有技术具有如下的优点及效果：

1、本发明利用基于关键点的局部特征进行目标间的匹配，能有效提高匹配 与跟踪对遮挡、角度、形变等的鲁棒性，在减少无关信息干扰的同时降低了算 法复杂度。

2、本发明通过融合具有互补性的局部颜色特征和方向直方图特征，并建立 对应的目标特征模型，将目标与目标之间的匹配转换为目标与模型之间的匹配， 提高匹配的准确性。

3、本发明对目标建立模型，并利用匹配结果在线更新模型，能实现对目标 的自适应跟踪，提高对环境、姿态变化时的鲁棒性。

附图说明

图1是本发明单摄像机目标检测与跟踪模块；

图2是本发明单摄像机目标特征提取与模型在线更新模块；

图3是本发明多摄像机目标匹配及跟踪模块。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方 式不限于此。

实施例

本实施例一种基于多摄像机信息融合的运动目标匹配与跟踪系统，包括单 摄像机目标检测模块、单摄像机目标跟踪模块、单摄像机目标关键点特征提取 模块，多摄像机目标匹配模块以及目标模型在线更新模块；

如图1所示，所述单摄像机目标检测模块提取摄像机采集到的视频中的运 动目标，输出给目标跟踪模块；所述单摄像机目标跟踪模块提取运动目标的参 数，实现在单摄像机内对目标进行跟踪。

如图2所示，所述单摄像机目标关键点特征提取模块检测目标上具有视觉 显著性的关键点，提取关键点处的颜色与局部方向直方图特征，输出给多摄像 机间目标匹配模块。

如图3所示，所述多摄像机目标匹配模块比对检测到的目标特征与已知目 标模型，根据其相似度确定目标类别，从而实现摄像机间目标匹配；所述目标 模型在线更新模块根据与模型匹配的目标特征更新模型，实现对目标的自适应 跟踪。

所述单摄像机目标检测模块采用混合高斯模型法对视频中的运动目标进行 检测。

所述单摄像机目标跟踪模块采用均值偏移法对视频中的运动目标进行跟 踪。

所述单摄像机目标关键点特征提取模块检测前景目标上具有视觉显著性的 关键点，提取关键点局部区域的颜色特征和方向直方图特征，作为目标刻画，用 于后续目标匹配。

本实施例一种基于多摄像机信息融合的目标匹配与跟踪方法，包括下述步 骤：

首先，利用高斯混合模型进行视频序列中运动目标的检测，利用均值偏移 法对单摄像机内的目标进行跟踪。然后对检测到的目标区域进行小波变换，以 检测具有视觉显著性的关键点。

其次，在关键点局部区域提取颜色特征和局部方向直方图特征，以刻画前 景目标，并作为目标模型更新的输入。

最后，在融合关键点处局部颜色特征和方向直方图特征的基础上，实现运 动目标与模型间较为准确的匹配；同时，与模型匹配的前景目标特征被用于在 线更新模型，以实现对目标的自适应跟踪。

匹配时，先分别基于目标关键点颜色特征和局部方向直方图特征进行相似 度计算，然后融合两种相似度。设目标1与目标2基于颜色特征得到的相似度 为S₁，基于直方图特征得到的相似度为S₂，则融合后的相似度为：

S＝wS₁+(1-w)S₂

其中w用于调整两种特征在匹配决策中的比重。

实验时，我们选取PETS2001数据库的dataset2视频序列的第1751帧到第 2007帧共257作为测试帧。基于目标关键点颜色特征和局部方向直方图特征的 实验结果分别如表1和表2所示，表1为利用颜色特征匹配的效果，表2为利 用方向直方图特征进行匹配时的效果；融合两种特征后的对车与人的匹配效果 分别如表3和表4所示；表3表示融合局部颜色特征和方向直方图特征后小车 的匹配效果，表4表示融合局部颜色特征和方向直方图特征后人的匹配效果。

表1

  匹配对象   匹配正确帧数   匹配错误帧数   准确率

  车   196   61   76.3％   人   156   101   60.7％

表2

  匹配对象   匹配正确帧数   匹配错误帧数   准确率   车   186   71   72.4％   人   164   93   63.8％

表3

  w   0   0.2   0.4   0.6   0.8   1   正确帧数   186   189   215   228   216   196   错误帧数   71   68   42   29   41   61   正确率   72.4％   73.5％   83.7％   88.7％   84.0   76.3％

表4

  w   0   0.2   0.4   0.6   0.8   1   正确帧数   164   188   192   184   175   156   错误帧数   93   69   65   73   82   101   正确率   63.8％   73.2％   74.7％   71.6％   68.1％   60.7％

为了进一步提高匹配的精度，我们为每一个运动目标建立一个特征模型。 更新分为两个部分，一部分是利用当前帧中的目标特征对已建立的模型进行更 新，另一部分是利用与特征模型可靠匹配的运动目标特征信息来对模型进行更 新。

设第i个运动目标与特征模型TF的相似度最大，为第j个运动目标与 TF的相似度次大，为由于视频序列中存在小车和人两种特征差异较大的 运动目标，它们与特征模型的相似度会有较大的差别，我们求出次大相似度和最大相似度的比值，然后设定一个阈值，小于此阈值，我们认为是比较可 靠的匹配，并利用与特征模型匹配上的目标的特征对模型进行更新，否则，不 对模型进行更新。则对特征模型TF更新的公式如式(1)：

${\mathrm{TF}}_k=\left(\begin{array}{cc}(1-\alpha -\beta ){\mathrm{TF}}_{k-1}+{\mathrm{\alpha SF}}_k+{\mathrm{\beta T}}_i,& S_{f_2}/S_{f_1}\le \gamma \\ (1-\alpha ){\mathrm{TF}}_{k-1}+{\mathrm{\alpha SF}}_k,& S_{f_2}/S_{f_1}>\gamma \end{array}\right)---\left(1\right)$

式中TF_k表示特征模型TF的第k帧，TF_k-1表示特征模型TF的第k-1帧， SF_k是第k帧中运动目标的特征，α是运动目标特征对模型的更新速度；T_i表示 与特征模型匹配上的目标特征，β是与特征模型匹配上的运动目标的特征对模 型的更新速度。

我们分别统计了车的匹配准确率和人的匹配准确率，先给出只利用当前帧 的目标特征对模型进行更新时的匹配效果(表5、表6)，表5为只用当前帧对 模型更新时车的匹配效果，表6表示只用当前帧对模型更新时人的匹配效果。

表5

  α   0   0.005   0.01   0.05   0.1   0.2   0.5   1   正确帧数   228   236   249   240   223   209   185   91   错误帧数   29   21   8   17   34   48   72   166   正确率   88.7％   91.8％   96.9％   93.4％   86.8％   81.3％   72.0％   35.4％

表6

  α   0   0.005   0.01   0.05   0.1   0.2   0.5   1   正确帧数   192   203   227   242   209   198   169   82

  错误帧数   65   54   30   15   48   59   88   175   正确率   74.7％   79.0％   88.3％   94.2％   81.3％   77.0％   65.8％   31.9％

从上表我们可以看出特征模型的更新系数α对匹配正确率影响很大。我们 选择合适的α值，然后结合可靠匹配的目标特征对模板进行更新。表7与表8 给出了利用当前帧的目标特征和可靠的匹配目标特征同时对模型更新时的实验 结果，表7为利用当前帧和可靠的匹配对模型更新时小车的匹配效果，表8为 利用当前帧和可靠的匹配对模型更新时人的匹配效果。

表7

  β   0   0.005   0.01   0.05   0.1   0.2   0.5   1   正确帧数   249   250   250   243   223   207   194   121   错误帧数   8   7   7   14   34   50   63   136   正确率   96.9％   97.3％   97.3％   94.6％   86.8％   80.5％   75.5％   47.1％

表8

  β   0   0.005   0.01   0.05   0.1   0.2   0.5   1   正确帧数   242   242   245   232   221   198   184   127   错误帧数   15   15   12   25   36   59   73   130   正确率   94.2％   94.2％   95.3％   90.3％   86.0％   77.0％   71.6％   49.4％

从实验结果可以看出，利用当前帧和可靠的匹配同时对特征模板进行更新能 提高目标匹配的精度。由于模型是在线更新的，因此这也实现了对目标的自适应 跟踪，提高了对环境、角度、目标形变等的鲁棒性。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实 施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、 替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。