地面栅格占有概率目标轨迹方法

摘要

本发明公开的一种地面栅格占有概率目标轨迹方法，属于图像处理技术领域。本发明通过下述技术方案实现：多PTZ相机目标定位模块根据目标单应性矩阵在图像中目标投影矩形坐标和当前图像的分割轮廓结果进行匹配计算，计算每一个目标投影矩形与目标分割轮廓结果之间的相对熵，相对熵最小时目标所在地面栅格的占有概率最大，即为目标所在位置进而转换为场景实际位置；地平面轨迹生成模块完成多PTZ相机图像序列中每一帧图像多PTZ相机目标定位后，采用卡尔曼滤波器将相机每一帧定位结果在场景地平面下生成轨迹，得到目标在场景地平面下的运动轨迹。

说明书

技术领域

本发明属于图像处理技术领域，特别涉及一种基于多PTZ相机的地面栅格占有概率目标轨迹方法，用于多PTZ相机在相机具有转动和调焦需求下的目标定位以及运动轨迹。

背景技术

随着视频监控技术的发展，监控系统中相头的个数和监控范围的逐步增加，是的相头安装，相机标定，测量以及视频监控的分析工作劳动强度加大。另外，随着监控场景的复杂和多变，传统单相机的目标定位和跟踪方法在实际应用中面临着巨大的挑战。然而在使用单相机法对运动目标定位时，如果运动目标出现遮挡，会使得目标定位以及跟踪信息丢失，导致后续决策错判。使用单相机跟踪方法在目标之间存在遮挡情况下效果会严重受损，在遮挡情况下如果模型不能及时更新，就会存在定位失败甚至跟踪失败。相机协同的视频监控技术已经引起越来越多的关注，基于视觉的定位和跟踪方法已经逐渐从单相机领域过渡到多相机领域，尤其是当监控场景中目标之间出现多遮挡的情况下。在监控系统中，通过多台分布在不同方位的相机合理协作可以有效提高目标定位与跟踪的准确性，特别是在遮挡情况下，多个相机可以提供不同视角的监控目标信息。

多相机监控技术布置多个相机对同一个区域进行监控，这样可使得在该区域中实现对运动目标的精准定位；再者，联合多相机从多个视野获取运动信息可以帮助有效解决目标遮挡问题。与多相机相比，由于单相机定位仅仅依赖于单个视角的有限信息，很难处理遮挡情况下的跟踪问题，因此多相机协同定位和跟踪渐渐走入人们的视野；与单相机视角不同，多相机可以在遮挡情况下提供更多的信息来更好的处理目标空间定位和目标跟踪。

基于地面移动平台的多目标跟踪系统利用移动平台上摄像头的部分外参,构建与视频流对应的地面栅格图。系统将用HOG算法检测目标,并在构建的地面栅格图中计算地面占用, 来跟踪目标。为了保证移动平台下多目标跟踪的鲁棒性,算法可以根据视频序列中消失点变化情况补偿目标运动模型,并与地面栅格图中的目标三维信息相结合。对于SLAM而言，动态障碍物的影响体现在匹配和建图两个部分，采用占据栅格地图，可以减少动态障碍物在建图上的体现，但是在匹配时，当前帧的动态障碍物仍然存在，对匹配影响很大。传统定焦相机定位方法不能满足PTZ相机在较大场景下存在方位角、俯仰角和焦距变化时的目标定位和运动轨迹。

发明内容

本发明的目的是针现有技术存在的不足之处，提供一种基于多PTZ相机的地面栅格占有概率目标轨迹方法，解决多相机定位方法场景下改变相机位姿后的目标定位和传统定焦相机定位方法不能满足PTZ相机在较大场景下存在方位角、俯仰角和焦距变化时的目标定位和运动轨迹问题。

为了达到上述目的，本发明采用如下技术方案：一种地面栅格占有概率目标轨迹方法，其特征在于，包括如下步骤：

基于多PTZ相机的视频数据构建数据管理模块，目标检测分割模块，多PTZ相机目标定位模块和相机轨迹生成模块，PTZ相机采集目标运动视频流，对场景进行初始化图像采集，获得标定点的像素坐标，数据管理模块根据目标在大场景中运动，对PTZ相机进行初始化参数和数据管理，以及PTZ当前初始化状态的方位角、俯仰角和焦距，为PTZ相机输入标定场景图像以及标定点的真实场景坐标；目标检测分割模块对单PTZ相机目标进行检测分割，采用Mask R-CNN方法对相机在每个状态拍摄图像进行目标检测和分割，得到目标的目标轮廓图，完成M个相机拍摄图像的目标检测和分割，同时根据M个相机的单应性矩阵计算得到目标在图像中的目标投影矩形像素坐标，作为后续目标定位的输入；多PTZ相机目标定位模块对多PTZ相机目标定位，根据目标单应性矩阵在图像中目标投影矩形坐标和当前图像的分割轮廓结果进行匹配计算，计算每一个目标投影矩形与目标分割轮廓结果之间的相对熵，计算出目标在地面栅格中每一格的占有概率，将转换占有概率输出为目标在真实场景下的实际位置，完成多PTZ相机图像序列中每一帧图像多PTZ相机目标定位；地平面轨迹生成模块根据相机更新后的参数计算得到当前状态下相机与场景下的单应性矩阵映射，比较当前参数与初始化相机参数，若存在参数变化，则根据变换参数重新计算相机当前状态的单应性矩阵，采用卡尔曼滤波器将相机每一帧定位结果在场景地平面下生成轨迹，得到目标在场景地平面下的轨迹。

本发明同现有技术相比，其有益效果表现在：

本发明基于多PTZ相机的视频数据构建数据管理模块，目标检测分割模块，多PTZ相机目标定位模块和相机轨迹生成模块，PTZ相机采集目标运动视频流，对场景进行初始化图像采集，获得标定点的像素坐标，数据管理模块根据目标在大场景中运动，对PTZ相机进行初始化参数和数据管理，以及PTZ当前初始化状态的方位角、俯仰角和焦距，为PTZ相机输入标定场景图像以及标定点的真实场景坐标；通过多个相机提供不同视角的监控目标信息，利用布在不同方位的各模块与相机合理协作，有效提高了目标定位与跟踪的准确性。

本发明采用Mask R-CNN方法对相机在每个状态拍摄图像进行目标检测和分割，对相机当前拍摄图像进行目标检测和分割，再根据相机当前状态以及初始化参数计算当前相机像素坐标系与实际场景坐标系的单应性矩阵；得到目标的目标轮廓图，完成M个相机拍摄图像的目标检测和分割轮廓结果，同时根据M个相机的单应性矩阵计算得到目标在图像中的目标投影矩形像素坐标，，作为后续目标定位的输入，可以在遮挡情况下提供更多的信息来更好的处理目标空间定位和目标跟踪。

本发明采用多PTZ相机目标定位模块对多PTZ相机目标定位，根据目标单应性矩阵在图像中目标投影矩形坐标和当前图像的分割轮廓结果进行匹配计算，计算每一个目标投影矩形与目标分割轮廓结果之间的相对熵，计算出目标在地面栅格中每一格的占有概率，将转换占有概率输出为目标在真实场景下的实际位置，完成多PTZ相机图像序列中每一帧图像多PTZ相机目标定位；解决了单相机定位仅仅依赖于单个视角的有限信息，很难处理遮挡情况下的跟踪问题。

本发明地平面轨迹生成模块根据相机更新后的参数计算得到当前状态下相机与场景下的单应性矩阵映射，比较当前参数与初始化相机参数，若存在参数变化，则根据变换参数重新计算相机当前状态的单应性矩阵，利用原始图像与各级变换图像之间的状态参数变化，采用卡尔曼滤波器将相机每一帧定位结果在场景地平面下生成轨迹，得到目标在场景下的轨迹，继而形成目标在场景地平面下的运动轨迹，通过计算目标分割轮廓图离散地平面每个位置(地面栅格)目标投影矩阵间的相对熵，相对熵最小值即为目标在栅格中的目标地平面所在位置估计值；最后，再采用卡尔曼滤波器生成目标在场景地平面上的运动轨迹。解决了传统定焦相机定位方法不能满足PTZ相机在较大场景下存在方位角、俯仰角和焦距变化时的目标定位和轨迹生成。

本发明可用于PTZ相机监控视频中目标定位和轨迹生成，PTZ相机需要进行改变位姿场合下的目标定位和运动轨迹。

附图说明

图1是本发明基于多PTZ相机的地面栅格占有概率目标轨迹的流程示意图；

图2是本发明中PTZ相机拍摄图像的原图、目标分割轮廓图和目标定位结果图；

图3是计算目标投影矩形时，目标高度计算的线性比例推导示意图。

参阅1。根据本发明，基于多PTZ相机的视频数据构建数据管理模块，目标检测分割模块，多PTZ相机目标定位模块和目标地平面轨迹生成模块，PTZ相机采集目标运动视频流，对场景进行初始化图像采集，获得标定点的像素坐标和实际场景坐标，数据管理模块根据目标在规定场景中运动，对PTZ相机进行初始化参数和数据管理，以及PTZ当前初始化状态的方位角、俯仰角和焦距，为PTZ相机输入标定场景图像以及标定点的真实场景坐标；同时每次相机转动后还需要对PTZ相机的参数和图像进行存储管理，需要保证多PTZ相机的参数和图像在时间上需要对每一组数据进行时间配准以数据存储；目标检测分割模块对单 PTZ相机目标进行检测分割，采用全卷积特征Mask R-CNN网络算法图像实例分割来训练数据集的方法对相机在每个状态拍摄图像进行目标检测和分割，得到目标的目标轮廓图，完成M个相机拍摄图像的目标检测和分割，同时根据M个相机的单应性矩阵计算得到目标在图像中目标投影矩形像素坐标，作为后续目标定位的输入；多PTZ相机目标定位模块对场景中目标定位，根据相机单应性矩阵在图像中目标投影矩形坐标和当前图像的分割轮廓结果进行匹配计算，计算目标投影矩形与目标分割轮廓结果之间相对熵的最小值，计算出目标在地面离散栅格中每一格的占有概率，将转换占有概率输出为目标在真实场景下的计算位置，完成多PTZ相机图像序列中每一帧图像多PTZ相机目标定位；地平面轨迹生成模块循环完成多PTZ相机在场景下视频序列中每一帧图像的多相机PTZ定位，计算得到目标在真实场景下的一系列位置坐标；，再采用卡尔曼滤波器将相机每一帧定位结果在场景地平面下生成轨迹，得到目标在场景地平面下的轨迹，测试实验轨迹生成结果。全卷积特征Mask R-CNN 网络算法输入一幅处理的图片进行对应的预处理操作或者预处理后的图片，将其输入到一个预训练好的神经网络中(ResNeXt等)获得对应的feature map；对图片中的目标进行准确的分割。通过卷积模快和去卷积模块对图像进行卷积和池化，使其feature map的大小不断减小；然后进行反卷积操作，即进行插值操作，不断的增大其feature map，最后对每一个像素值进行分类。从而实现对输入图像的准确分割。

目标在实际场景中运动，PTZ相机采集目标运动视频流，同时记录PTZ相机每次采集视频流的状态参数，即每次相机的方位、俯仰和焦距；

目标检测分割模块获取每个PTZ相机的视频流，需要对每一组视频流进行图像裁帧，采用基于神经网络的目标识别和分割方法完成所有图像中目标的检测和分割，作为后续PTZ相机目标定位的输入；

目标检测分割模块基于PTZ相机状态变换得到相机映射关系计算目标投影矩形，结合相机图像的目标检测分割轮廓结果进行地面栅格占有概率计算，得到目标在场景中的位置。

目标在实际场景中运动，PTZ相机采集目标运动视频流，同时记录PTZ相机每次采集视频流的状态参数，即每次相机的方位、俯仰和焦距；数据管理模块更新当前相机状态单应性矩阵后，根据PTZ相机对应单应性矩阵完成地面栅格离散，并计算得到目标投影矩形，作为 PTZ相机定位的输入；目标在实际场景中运动，PTZ相机采集目标运动视频流，目标检测分割模块采用基于神经网络的目标识别和分割方法，完成M个相机在当前状态下拍摄图像中目标的识别和分割，根据第t帧M个相机的图像检测结果的集合Bt，采用地面栅格模型(Occupancy map)定位计算地面栅格占有概率地面栅格占有概率

而地面栅格模型则通过[FPPF(Fixed Point Probability Field)程序遗传算法来拟合峰形，模板文件求解。该方法本质是求解两个概率相对熵取得最小值时的参数。相对熵(relative entropy)，又被称为Kullback-Leibler散度(Kullback-Leiblerdivergence)或信息散度 (information divergence)，是两个概率分布(probabilitydistribution)间差异的非对称性度量，相对熵等价于两个概率分布的信息熵(Shannonentropy)的差值。

地面栅格算法中定义为表示目标分割轮廓结果Q与真实后验概率分布P(·|B)的Kullback-Leibler(相对熵)取的最小值，即表示为：

求解极小值点：

其中,K、L表示相对熵，表示KL相对熵最小值时目标的占有概率，q

Ψ表示表示计算A和B之间的图像距离，A表示目标投影矩形，B表示目标分割轮廓结果，ε

表达式中Ψ(B

由于计算E

将表达式变为表示KL相对熵最小值时目标的占有概率：

目标检测分割模块完成相机当前状态下的理想目标坐标计算和拍摄图像的目标识别和分割，若都完成，则根据所得到的理想目标在根据单应性矩阵在图像中目标投影矩形和当前图像的分割轮廓结果进行匹配计算，计算每一个目标投影矩形与目标分割轮廓结果之间的相对熵。

数据管理模块将当前状态相机参数与初始化参数比较，根据相机参数改变重新计算，具体推导如下：

数据管理模块采集同时获得标定点的像素坐标，根据实际地面点X，利用6组标定点H

s

s

P

其中，K表示相机内参矩阵，R和t是t

由于相机成像是从世界坐标系下的坐标点投影到像素坐标系，是从3D到2D的投影， S代表的就是投影过程的比例缩放，忽略S可以简写成如下：：

其中，K

如果t

如果t

对上式进行变形可以得到实际地面坐标X

其中，x

根据两图像间的单应p

H

H

数据管理模块根据相机更新后的参数计算得到当前状态下相机与场景下的单应性矩阵映射，将实际运动目标按照线性比例关系计算其在图像平面中的坐标，并将矩形框的左上、右下坐标作为输入参数，根据PTZ相机对应单应性矩阵求解地面栅格离散目标投影矩形。

图2目标分割轮廓图(中)和定位结果图(下)。图3所示为该方向上的俯视图，其中黑色线、黄色线分别为图像平面中的u、v轴。图3中，A点的实际坐标为(x

Δx＝x

Δu＝u

Δv＝v

其中：Δx为实际地面的X方向上的距离差；Δu，Δv为图像中在u、v方向上两点的垂直距离差，即为图中AC和BC的长度；则ΔX是图像中两点的像素距离差；h为实际人的高度(取170cm)；H为根据线性比例计算得到的图像中人的像素高度。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。