动态背景环境下雷达与视觉融合的目标检测与跟踪方法

摘要

本发明公开一种动态背景环境下雷达与视觉融合的目标检测与跟踪方法，该方法步骤包括：1)预先固定布置雷达以及图像采集装置，通过图像采集装置按照不同焦距、不同角度采集背景图像并建立背景图像库；2)当雷达探测到目标时，控制调整图像采集装置采集当前图像；3)查找与当前图像匹配的背景图像，并根据查找到的背景图像提取当前图像所对应的前景图；4)对前景图进行目标检测与跟踪。本发明能够适用于背景环境复杂、目标移动速度快、图像变焦等情况实现目标检测与跟踪，且具有实现方法简单、所需成本低、环境适应性强、检测与跟踪效果好的优点。

说明书

技术领域

本发明涉及动态目标检测与跟踪技术领域，尤其涉及一种动态背景环境下雷达与视觉融合的目标检测与跟踪方法。

背景技术

动态目标检测与跟踪通常分为静态背景环境和动态背景环境两类条件，其中针对动态背景环境条件，绝大多数都是单独利用视频功能对图像内容进行分析，分析方法主要有光流法、均值漂移、粒子滤波、卡尔曼滤波、TLD等。如中国专利申请201310059457.5公开一种基于视觉的无人机动态目标跟踪与定位方法，视频处理方法即是对图像中的动态目标进行检测与跟踪，检测部分采用的基础方法是帧差法，跟踪部分采用的方法是基于偏移的均值向量跟踪和卡尔曼先验预估的算法连续跟踪；但该方法是针对无人机应用的环境，即适用于摄像机云台转速较慢或者动态目标移动速度较慢，且背景较为简单、目标的尺寸与视场角固定的条件，不适用于云台转速较快或者焦距会发生改变、背景环境较为复杂等情况，因而具有局限性，且环境适应性较差。即目前动态背景环境下的行人目标检测与跟踪方法，具体存在以下问题：

(1)单独利用视频功能对图像内容进行分析，使得实现的方法设计复杂、难度较高，同时环境适应性较差，容易受外部光照环境或者复杂背景环境的干扰，如当运动的目标与其周围的背景相似时，跟踪精度即会下降，甚至会完全失效，无法正确区分出目标；

(2)对移动速度较慢的物体跟踪效果较好，当应用于移动速度较快的目标进行检测与跟踪时，移动速度较快的目标会导致相邻两帧的特征点匹配度较小，无法计算出当前图像的全局运动矢量，即无法通过相邻帧差减法提取前景区域，容易出现跟丢的现象；

(3)目前通常都是在固定焦距的视场条件下完成目标检测与跟踪，一旦应用于图像传感器焦距可变的情况时，变焦过程也会导致相邻帧之间的特征点匹配度较小，较难计算出当前图像的全局运动矢量，容易丢失目标的关键特征，另外要获得比较好的效果，需要处理性能较高的硬件系统，且图像在变焦过程中还会发生剧烈形变，因而目前在变焦过程通常无法进行目标的检测和跟踪；

(4)需要借助热成像设备等对图像信息进行分析，热成像设备昂贵，使得检测、跟踪成本较高。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种能够适用于背景环境复杂、目标移动速度快、图像变焦等情况实现目标检测与跟踪，且实现方法简单、所需成本低、环境适应性强、检测与跟踪效果好的动态背景环境下雷达与视觉融合的目标检测与跟踪方法。

为解决上述技术问题，本发明提出的技术方案为：

一种动态背景环境下雷达与视觉融合的目标检测与跟踪方法，步骤包括：

1)预先在待监测区域内固定布置雷达以及图像采集装置，并通过所述图像采集装置以不同焦距、不同角度采集背景图像并建立背景图像库；

2)启动雷达实时探测目标，当探测到目标时，根据雷达的探测信息控制所述图像采集装置调整焦距、角度进行图像采集，得到当前图像；

3)从所述背景图像库中查找与当前图像匹配的背景图像，并根据查找到的背景图像提取当前图像所对应的前景图；

4)对提取得到的所述前景图进行目标检测与跟踪。

作为本发明方法的进一步改进，所述步骤3)中查找与当前图像匹配的背景图像的具体步骤为：

3.11)根据所述图像采集装置的当前焦距、角度从所述背景图像库中获取当前图像可能的背景图像；

3.12)分别计算所述步骤3.11)获取到的各背景图像与当前图像的特征点，根据计算到的特征点获取各所述背景图像与当前图像的匹配值，并将最大匹配值所对应的背景图像作为与当前图像匹配的背景图像输出。

作为本发明方法的进一步改进，所述步骤3.11)的具体步骤为：根据所述图像采集装置的当前焦距、角度，以及预先基于焦距、角度信息生成的对应所述背景图像库中各背景图像的索引表，定位到所述背景图像库中目标位置，获取所述目标位置处指定范围内背景图像作为当前图像可能的背景图像输出。

作为本发明方法的进一步改进，所述步骤3)中提取当前图像所对应的前景图的具体步骤为：

3.21)将当前图像与查找到的背景图像进行特征匹配，并估计当前图像的全局运动矢量，得到当前图像与背景图像之间的局部重叠区域；

3.22)根据所述局部重叠区域将当前图像按照指定阈值生成二值图像，提取得到当前图像对应的初始前景图；

3.23)由固定尺寸的滑动窗口对所述初始前景图中每一个连通域进行滑动操作，滑动操作后得到的前景图再经过放大调整后得到最终的前景图。

作为本发明方法的进一步改进，所述步骤3.22)的具体步骤为：

3.221)根据所述局部重叠区域通过帧间差分法计算当前图像与背景图像的重叠区域；

3.222)将当前图像中所述重叠区域基于最大类间方差阈值法生成二值图像，对所述二值图像去除干扰噪声点，并对剩余的连通区域进行轮廊填充操作，将当前图像中非重叠区域设定为背景，得到初始前景图。

作为本发明方法的进一步改进，所述步骤3.23)中放大调整的具体步骤为：计算待调整前景图的最小外接矩形的中心位置，以所述中心位置为中点取指定大小的区域作为调整后的前景图；所述步骤3.23)中滑动操作具体为根据所述滑动窗口内相邻连通域之间位置间距执行合并操作，以及根据各连通域的面积大小执行删除操作。

作为本发明方法的进一步改进，其特征在于，所述步骤4)中目标检测的具体步骤为：

4.11)循环遍历所述前景图中每一个连通域所对应的有效连通域，每次遍历时，获取一个有效连通域作为当前检测区域，转入执行步骤4.12)；

4.12)对当前检测区域进行多尺度缩放，转入执行步骤4.13)；

4.13)通过固定尺寸的检测窗口在当前检测区域上滑动，并分别计算所述检测窗口内的两类以上指定的特征量；

4.14)分别对计算到的各所述特征量进行分类识别，并综合各分类识别结果确定是否检测到目标，如果是，退出目标检测，输出当前目标区域矩形并作为检测到的目标位置；否则存储当前目标区域矩形，转入执行步骤4.15)；

4.15)判断是否达到图像最后一层，如果是，则合并重叠的目标区域矩形，得到最终的目标区域矩形输出并作为检测到的目标位置，否则取下一个有效连通域作为当前检测区域，返回执行步骤4.12)。

作为本发明方法的进一步改进：所述特征量包括HOG特征量、MBLBP特征与PHOG特征的混合特征量；所述分类识别具体基于SVM分类器实现。

作为本发明方法的进一步改进，所述步骤4)中目标跟踪的具体步骤为：

4.21)以检测到的目标位置作为初始观测值，并作为当前观测值，转入执行步骤4.22)；

4.22)通过Kalman滤波器按照当前观测值预估目标的下一个时刻位置；

4.23)以预估得到的下一个时刻位置为中心的指定范围内矩形区域作为检测区域，对检测区域进行目标检测，若检测到目标，则由检测到的目标位置更新卡尔曼滤波器的观测值，返回执行步骤4.22)；否则保持当前观测值不变，返回步骤4.22)；直至退出跟踪。

与现有技术相比，本发明的优点在于：

1)本发明通过雷达实时提供目标探测信息，结合由图像采集装置预先以不同焦距、不同角度采集背景图像建立的背景图像库，可控制及时采集目标的当前图像并获取对应的背景图像，基于背景图像提取当前图像所对应的前景图，能够融合雷达与视觉信息实现动态目标的快速粗提取，实现方法简单，相较于需要使用热成像等设备所需成本低，且基于背景图像库，对于背景环境复杂、运动目标速度较快以及在图像变焦过程中，均能够实现动态背景条件下稳定的运动目标检测与跟踪，环境适应性强，且不受背景环境复杂程度、运动目标速度以及图像变焦等条件的限制；

2)本发明进行目标检测时，通过对每个检测窗口计算多种特征量，能够充分表征待检测目标图像的特征，同时综合各分类器对各特征量的分类识别结果确定是否检测到目标，检测精度高，可以有效降低目标检测时的误报率；

3)本发明进行目标跟踪时，通过Kalman滤波器进行预判和跟踪，能够实现更加精确的检测和定位目标，同时在目标进入背景环境相似或被遮挡等情况时，仍然能够准确的检测到目标。

附图说明

图1是本实施例动态背景环境下雷达与视觉融合的目标检测与跟踪方法的实现流程示意图。

图2是本实施例建立背景图像库的具体实现流程示意图。

图3是本实施例提取前景图的具体实现流程示意图。

图4是本实施例目标检测的具体实现流程示意图。

图5是本实施例目标跟踪的具体实现流程示意图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

如图1所示，本实施例动态背景环境下雷达与视觉融合的目标检测与跟踪方法，步骤包括：

1)预先在待监测区域内固定布置雷达以及图像采集装置，并通过图像采集装置以不同焦距、不同角度采集背景图像并建立背景图像库；

2)启动雷达实时探测目标，当探测到目标时，根据雷达的探测信息控制图像采集装置调整焦距、角度进行图像采集，得到当前图像；

3)从背景图像库中查找与当前图像匹配的背景图像，并根据查找到的背景图像提取当前图像所对应的前景图；

4)对提取得到的前景图进行目标检测与跟踪。

本实施例通过雷达实时提供目标探测信息，结合由图像采集装置预先以不同焦距、不同角度采集背景图像建立的背景图像库，可控制及时采集目标的当前图像并获取对应的背景图像，基于背景图像提取当前图像所对应的前景图，能够融合雷达与视觉信息实现动态目标的快速粗提取，实现方法简单，相较于需要使用热成像等设备所需成本低，且基于背景图像库，对于背景环境复杂、运动目标速度较快以及在图像变焦过程中，均能够实现动态背景条件下稳定的运动目标检测与跟踪，环境适应性强，且不受背景环境复杂程度、运动目标速度以及图像变焦等条件的限制。

本实施例中图像采集装置为带有云台的摄像机，以采集不同焦距、角度的图像实现视频监控，具体可采用球机摄像机；雷达具体采用相控阵雷达以提供目标的先验信息，基于相控阵雷达可以探测到目标的方位信息以及距离信息，且环境适应性以及抗干扰性能好。当然雷达、图像采集装置还可以根据实际需求采用其他类型。

如图2所示，本实施例步骤1)建立背景图像库时，首先在待监测区域固定布置好雷达和球机摄像机后，以不同的焦距、不同的角度信息采集指定视野范围内若干张对应的背景图像数据，可根据实际情况设定多个焦距，在每一种焦距状态下，存储相同角度范围内、相同角度间隔的多张背景图片，各背景图片按角度信息从小到大依次存储，建立得到背景图像库；然后以焦距Z和角度P信息建立各背景图像的索引表，以通过索引表定位背景图像库中各背景图像。通过建立背景图像库，无论运动目标的速度快慢，均能够快速的获取到背景图像，从而快速、准备的提取到目标前景图。

本实施例步骤2)当雷达探测到有目标时，具体将探测到的包括目标方位角、距离的位置信息发送给球机摄像机，球机摄像机则根据雷达探测到的目标位置信息对云台进行PTZ控制以调整角度(P)、焦距(Z)，由调整后的球机摄像机采集当前图像I^t，即得到目标的有效图像数据。

本实施例中，当雷达采集到当前图像时，分析当前图像的背景信息，如果图像采集装置的位置发生了改变，或者天气光照变化较大(如日夜转换的时候)，则需要更新背景图像库。

本实施例中，步骤3)中查找与当前图像匹配的背景图像的具体步骤为：

3.11)根据图像采集装置的当前焦距、角度从背景图像库中获取当前图像可能的背景图像；

3.12)分别计算步骤3.11)获取到的各背景图像与当前图像的特征点，根据计算到的特征点获取各背景图像与当前图像的匹配值，并将最大匹配值所对应的背景图像作为与当前图像匹配的背景图像输出。

本实施例中，步骤3.11)的具体步骤为：根据图像采集装置的当前焦距、角度，以及预先基于焦距、角度信息生成的对应背景图像库中各背景图像的索引表，定位到背景图像库中目标位置，获取目标位置处指定范围内背景图像作为当前图像可能的背景图像输出。基于索引表可以根据当前云台摄像机的焦距、角度状态快速定位到当前图像对应的背景图像位置，从而缩短背景图像匹配的查询时间，提高背景图像获取效率。

本实施例当采集到当前图像I^t后，具体通过索引表定位所需查找的背景图像在背景图像库中可能的目标位置，取该目标位置前后两张背景图像(B_p¹、B_p²)作为当前图像可能的背景图像；分别计算背景图像B_p¹、B_p²和当前图像I^t之间的特征点集，并分别计算背景图像B_p¹、B_p²与当前图像I^t之间的特征点对，通过计算到的特征点对即可获取背景图像B_p¹和当前图像I^t之间的匹配值Match1、背景图像B_p²和当前图像I^t之间的匹配值Match2，比较匹配值Match1与匹配值Match2之间的大小，匹配值高即表明匹配度高，则取匹配值高的背景图像作为当前图像I^t所对应的背景图B^t。

本实施例中，步骤3)中提取当前图像所对应的前景图的具体步骤为：

3.21)将当前图像与查找到的背景图像进行特征匹配，并估计当前图像的全局运动矢量，得到当前图像与背景图像之间的局部重叠区域；

3.22)根据局部重叠区域将当前图像按照指定阈值生成二值图像，提取得到当前图像对应的初始前景图；

3.23)由固定尺寸的滑动窗口对初始前景图中每一个连通域进行滑动操作，滑动操作后得到的前景图再经过放大调整后得到最终的前景图。

本实施例中，步骤3.22)的具体步骤为：

3.221)根据局部重叠区域通过帧间差分法计算当前图像与背景图像的重叠区域；

3.222)将当前图像中重叠区域基于最大类间方差阈值法生成二值图像，对二值图像去除干扰噪声点，并对剩余的连通区域进行轮廊填充操作；将当前图像中非重叠区域设定为背景，得到初始前景图。

本实施例中，步骤3.23)中放大调整的具体步骤为：计算待调整前景图的最小外接矩形的中心位置，以中心位置为中点取指定大小的区域作为调整后的前景图；步骤3.23)中滑动操作具体为根据滑动窗口内相邻连通域之间位置间距执行合并操作，以及根据各连通域的面积大小执行删除操作。

如图3所示，本实施例提取前景图的具体流程为：

查找到当前图像I^t所对应的背景图像B^t后，通过计算当前图像I^t与背景图像B^t之间的匹配特征点对，并估计全局的运动矢量，得到变换矩阵，进而补偿背景的运动，得到当前图像I^t与背景图像B^t之间的局部背景重叠区域，以将运动背景条件下的运动目标检测转换为静态背景条件下的运动目标检测；

通过帧间差分法计算当前图像I^t与背景图像B^t之间的重叠区域，采用帧间差分法计算重叠区域，实现简单，程序设计复杂度低，且对光线等场景变化不敏感，能够适应各种动态背景环境中，同时稳定性较好。当前图像I^t中对于重叠区域，利用最大类间方差阈值法自动选择合适的阈值产生二值图像，并利用形态学的开闭操作祛除部分干扰噪声点，再对剩余的连通区域进行轮廓填充操作；对于非重叠区域则设定为定义的区域，由于该区域内通常不存在运动的目标，本实施例具体将非重叠区域内的像素点的值设为p(x_i)＝0，即表示为背景，通过以上处理即得到当前图I^t对应的前景图f；

对前景图f中的每一个连通域(BLOB块)，采用固定尺寸的滑动窗口进行滑动操作，滑动操作具体包括对窗口内的所有的BLOB块进行合并、删除操作，其中如果相邻两个BLOB块所对应的最小外接矩形的位置间距d小于设定的阈值d_thre，则执行合并操作，将该两个BLOB块合并成一个BLOB；如果BLOB块的面积S(即像素点总和)小于最小的阈值S_min||S大于最大的阈值S_max(面积S小于S_min或大于S_max)，则执行删除操作，将该BLOB块删除；

通过上述操作后，即可以保留目标运动区域的有效连通域A_p，但并不能确定能够完全包含目标的整个区域(如对于行人不能确定是否完全包含整个身体区域)，本实施例进一步对上述得到的前景图区域进行适当的放大调整操作，通过计算BLOB块的最小外接矩形Bound的中心位置(xc,yc)，具体以固定滑动窗口所设置的尺寸作为最终检测区域A_p(前景图区域)，以使尽可能多的包含目标信息。

如图4所示，本实施例步骤4)中目标检测的具体步骤为：

4.11)循环遍历前景图中每一个连通域所对应的有效连通域，每次遍历时，获取一个有效连通域作为当前检测区域，转入执行步骤4.12)；

4.12)对当前检测区域进行多尺度缩放，转入执行步骤4.13)；

4.13)通过固定尺寸的检测窗口在当前检测区域上滑动，并分别计算检测窗口内的两类以上指定的特征量；

4.14)分别对计算到的各特征量进行分类识别，并综合各分类识别结果确定是否检测到目标，如果是，退出目标检测，输出当前目标区域矩形；否则存储当前目标区域矩形，转入执行步骤4.15)；

4.15)判断是否达到图像最后一层，如果是，则合并重叠的目标区域矩形，得到最终的目标区域矩形，否则取下一个有效连通域作为当前检测区域，返回执行步骤4.12)。

本实施例具体以行人为检测目标，特征量则具体包括HOG(梯度方向直方图特征量)、MBLBP(多块等价局部二进制模式)特征与PHOG(金字塔梯度方向直方图)特征的混合特征量，能够充分表征图像的特征；分类识别具体基于SVM分类器实现，预先采集大量的训练样本，样本图像的尺寸具体为128*64，并分别按照上述两类特征训练SVM分类器，得到基于HOG特征的SVM_hog分类器和基于MBLBP与PHOG混合特征的SVM_mix分类器。当然还可以根据实际需要采用其他特征量以及其他类型分类器进行分类识别。

本实施例具体对检测区域A_p的图像数据以固定尺寸的窗口(具体为128*64)作为目标检测窗口，并对检测区域A_p进行多尺寸缩放操作，在图像缩放的每一层滑动目标检测窗口，计算该窗口内的特征描述子(HOG特征与混合特征两类特征)，并分别输入到训练好的模式分类器SVM_hog和SVM_mix中，综合两类分类器的输出结果得到目标检测结果。如若SVM_hog和SVM_mix两个分类器的输出结果都表示检测到目标，则可以将该区域检测是否有目标的准确率设为75％以上，若只有其中一个输出结果表示检测到目标，则可以将该区域内检测是否有行人的准确率设为50％以上，否则表明该区域内没有检测到目标。通过结合两个分类器综合判断是否检测到目标，可以有效降低目标检测时的误报率。由于进行多尺寸缩放的操作，滑动窗口在不同尺寸的图像数据中滑动检测时，可能会出现多个矩形窗口重叠的现象，本实施例进一步合并重叠区域，使得最终的待检测区域A_p只有一个矩形框表示检测到目标。

本实施例中，步骤4)中目标跟踪的具体步骤为：

4.21)以检测到的目标位置作为初始观测值，并作为当前观测值，转入执行步骤4.22)；

4.22)通过Kalman滤波器按照当前观测值预估目标的下一个时刻位置；

4.23)以预估得到的下一个时刻位置为中心的指定范围内矩形区域作为检测区域，对检测区域进行目标检测，若检测到目标，则由检测到的目标位置更新卡尔曼滤波器的观测值，返回执行步骤4.22)；否则保持当前观测值不变，返回步骤4.22)；直至退出跟踪。

运动目标可能存在与背景环境相似的情况，或者存在大面积区域被遮挡，可能会导致运动目标检测的时候出现错误的情况，本实施例基于Kalman滤波器进行预判和跟踪，能够实现更加精确的检测和定位目标，同时在目标进入背景环境相似或被遮挡等情况时，仍然能够有效检测到目标以及进行目标跟踪。首先Kalman滤波器的初始观测值取为上述目标检测过程中得到的目标矩形区域，然后通过Kalman预估出目标在下一时刻最可能出现的矩形位置，再以该位置为中心指定范围内的矩形区域作为目标的检测区域，再利用上述目标检测的流程对这个区域进行目标检测，若该区域内检测到目标，则将该区域的矩形坐标作为观测值再次传递给Kalman滤波器，以预测下一时刻的目标检测位置，否则继续以上一次的预测值作为当前时刻的Kalman观测值来估算下一时刻的目标检测位置。

上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。