夜间城市交通监控中各类车辆轨迹的完整提取

摘要

这里涉及的是夜间城市交通监控视频中车辆轨迹完整提取的方法。针对如何完整提取车辆轨迹的难题，提出一种结合车辆类型与轨迹反馈修正的跟踪系统。首先借助大气反射‑散射模型复原车灯光斑，在视频远、中、近三部分采用不同滤除方法的同时结合稳定性判断删除噪声之后，再用面积重叠法完成数据关联，获得车灯初始轨迹，接着加入轨迹反馈修正即利用平均速度修正误匹配；通过单应性矩阵把图像坐标转换成路面坐标，计算实际车宽并以此分类车辆，再按车型以车灯时空相似度配对车灯；最后对车辆跟踪结果再次应用轨迹修正，实现了完整提取相邻两个监控点的车辆轨迹。测试实验结果表明，本系统与同类算法相比，车灯匹配率提高了11.33％，车辆跟踪率提高了10％。

说明书

技术领域

这里涉及的是夜间城市交通监控中各类车辆轨迹的完整提取的方法研究。首先借助大气反射-散射模型复原车灯光斑，在视频远、中、近三部分采用不同滤除方法的同时结合稳定性判断删除噪声之后，再用面积重叠法完成数据关联，获得车灯初始轨迹，接着加入轨迹反馈修正即利用平均速度修正误匹配；通过单应性矩阵把图像坐标转换成路面坐标，计算实际车宽并以此分类车辆，再按车型以车灯时空相似度配对车灯；最后对车辆跟踪结果再次应用轨迹修正，实现了完整提取相邻两个监控点的车辆轨迹。

背景技术

城市交通监控系统对人身及道路安全日趋重要，越来越多的研究者致力于夜间车辆轨迹的完整提取，完成两个相邻交通监控点的车辆信息的准确传递，实现车辆监控数据(如车牌、轨迹)联网，以期为预判车辆行为和追究肇事者责任提供有力证据。

夜间车辆最显著稳定的特征是车灯，要对提取出来的车灯光斑进行配对以达到识别车辆的目的。目前车灯配对主要存在三种方法：a.几何对称法b.最小特征匹配代价法c.最大权重独立集法。其中a最普通，它根据面积、圆形度、质心间距、质心连线斜率、位置和形状等几何特征进行车灯配对。方法b中，如汤春明等人利用最小特征匹配代价函数实现车灯配对，同时引入反馈修正机制对轨迹进行修正。a和b因未考虑监控场景中各类车辆类型，使得在车辆密集、有遮挡的情况下容易造成不止一个配对或没有相应的配对，从而导致车辆轨迹提取结果不完整，特别是在跟踪起始处，故该类算法的普适性和鲁棒性不高。方法c中以Zou等人提出最大权重独立集的配对方法为代表，把所有前灯的两两组合情况都列出来之后，再用顶点堆积法，在帧内用两个约束条件，在帧间用速度相似性，实现合理配对，在后处理中又加入四灯一组的分析情况。该方法由于先入为主的考虑双灯车的情况而对其它情况未作考虑，致使该方法在提取特殊车辆轨迹时不够灵活。

车灯配对成功后，通过跟踪车灯实现提取车辆轨迹的目的。目前存在的车灯跟踪方法有：a.利用卡尔曼滤波器或者基于车灯位置、面积及形状等特征的最近邻匹配来实现车灯跟踪；b.利用车灯面积重叠率完成帧间数据关联；c.在a和b的基础上增加空间上下文信息约束车灯匹配，提高数据关联的准确性。实际上，车辆由远及近驶入摄像机监控范围，透视影响及环境光强度的不断变化，使车灯尺寸及外观变化无规律，再加上目标间相互遮挡，造成车灯很难被配对和跟踪，从而导致车辆轨迹混乱或断开。因此目前研究算法都忽略远景区域，通过划定ROI区域缩小跟踪长度。然而远景处车辆信息对于交通监控数据的联网至关重要，它是把所有监控点数据连接起来的前提。

发明内容

由上述不同的方法可以看出，各类车辆轨迹的完整提取是夜间城市交通监控中研究的难点。因此这里提出了一种结合车辆类型与轨迹反馈修正的跟踪系统，以实现相邻两个监控点的车辆轨迹的完整提取，包括车灯提取、车灯筛选、轨迹反馈修正、车灯配对及车辆跟踪五个模块。提取车灯后用面积重叠法完成车灯匹配，再用稳定性判断筛选车灯，获得车灯初始轨迹后加入轨迹反馈修正误匹配；接着按照车型配对车灯；最后对车辆跟踪再次应用轨迹修正。

1、车灯提取

1)车灯复原

这里利用已提出的大气-反射模型复原夜间交通监控视频图像中车辆的车灯光斑。车灯复原是完整提取车辆轨迹的基础。

2)坐标变换

建立图像坐标系与路面坐标系之间的变换关系，能够计算出车灯在实际路面坐标系中的位置，进而可以计算出车辆的真实宽度、位移和速度等稳定特征。通过图像平面Γ₁与空间场景平面Γ₂之间的单应性矩阵可以实现对目标的真实几何量的测量。单应性矩阵(H：3×3)计算过程如下：

λm_i＝HM_i(1)

其中M_i(X_i，Y_i，1)是Γ₂中任一点，m_i(u_i，υ_i，1)是M_i是在Γ₁中对应的点，λ是比例因子。消去λ后可以得到关于h_ij的两个线性方程，如式(3)：

若已知Γ₂中4个点的坐标以及Γ₁中相应的4个点坐标，就可以利用(3)式求出H，通过H可求出图像中任一像素点对应的路面坐标。

2、车灯筛选

对于车灯复原结果还需要进一步筛选，以删除噪声。将视频场景分远、中、近三部分区域进行分析。线段ac，线段bd是机动车道的两条边界线，线段ab是上一个红绿灯处的禁行线，线段cd是当前红绿灯的禁行线，这四条线段所围区域内的所有驶过车辆是我们要跟踪的目标。针对各部分存在的典型噪声，采用对应的车灯筛选方法，如表1所示。例如，用面积、以及长宽比分别删除中景部分的小噪声点、狭长的地面反射区，用分水岭算法分割粘连的车灯与车身反射区。

表1车灯筛选

每帧车灯光斑的面积、长宽比及RGB变异度特征的最佳筛选阈值是用迭代法求出。通过分区域筛选，全部车灯被保留，但仍有少量存在了一段时长的高亮噪声，需利用帧间信息进一步删除。

3、车灯跟踪

利用相邻两帧中同一车灯光斑会有部分重叠的特性关联前后帧每个车灯的ID号，得到车灯的初始轨迹。把稳定跟踪连续五帧的车灯速度均值作为它在某一帧的瞬时速度，把整个跟踪过程的车灯速度均作为它的平均速度，利用该平均速度修正误匹配。

1)验证数据光联正确性

利用双位置验证保证前后帧对应车灯数据关联正确，如对第m帧中某ID车灯依次向前、向后找t帧，若质心间距满足10个像素间距离，则认为该帧车灯ID信息正确即匹配成功；否则，则认为匹配失败。

2)合并不完整轨迹

当车速很快或有长时间遮挡时，易导致数据关联失败，使轨迹断开。利用轨迹空间位置和运动方向的相似度来合并断开轨迹，对于轨迹线段ab，轨迹线段cd，若位置坐标(x_b，y_b)、(x_c，y_c)满足：横纵坐标之差分别小于5个像素距离，则合并两轨迹并重新分配ID号。查找并统计每条轨迹中连续为零的帧数，若小于10帧，则认为是由漏匹配造成，进而计算漏匹配车灯的时空信息。虚线段bc是根据平均速度计算拟合出的因目标匹配失败而消失的轨迹，从而实现了目标完整轨迹的提取。

3)判断非车灯轨迹

车灯稳定光斑在跟踪过程中具有运动连续性和形态稳定性，路面和车身反射区域视为非稳定光斑，它们容易引起车灯错误配对。根据稳定性判断筛选车灯，计算每条轨迹l_i持续的时间T(l_i)，若未达到设定阈值即不满足式(4)，则认为是非车灯轨迹，不进行配对处理。

其中，l_i^y是车灯轨迹的起始y坐标，表示车灯的平均速度，h为视频宽度。

4、车辆轨迹完整提取

提取车灯后，基于时空特征相似度实现车灯配对。交通场景中存在的各类车辆是导致车灯错误配对和轨迹混乱的主要原因。为了提取长轨迹，依据公布的各类车型的具体数据，我们按照车宽把车辆分为普通车、小车、中车及大车四种类型；按照车灯数目分为独灯车、双灯车及多灯车，然后跟据车辆类别分别进行处理。

首先选取车灯对的连线斜率θ、质心欧式距离d、速度差Δυ以及车宽w作为配对特征，完成普通车的车灯配对；若剩余的未配对车灯满足轨迹长度大于远、中和近景区域路面长度的三分之二，则按照车宽及车灯数目进行特殊车辆的分类处理。然后对提取的车辆轨迹再次应用轨迹修正法。分类处理交通场景中的各类车辆使得车灯在整个场景中能够正确配对，避免了在车辆密集、有遮挡的情况下容易造成不止一个配对或没有相应的配对的情况，保证完整提取车辆的长轨迹。同时，保留了独灯车的运动轨迹并保证了一车一轨迹。

附图说明

图1系统框图

图2视频场景

图3轨迹反馈修正流程

图4合并不完整轨迹

图5车辆定位跟踪流程

图6变道车辆的跟踪(a)左变道情况(b)右变道情况

图7车辆跟踪结果对比(a)ZhangWei算法视频1轨迹提取结果 (b)ZhangWei算法视频2轨迹提取结果 (c)ZouQi算法视频1轨迹提取结果 (d)ZouQi算法视频2轨迹提取结果(e)本方法视频1轨迹提取结果 (f)本方法视频2轨迹提取结果

具体实施方式

本方法共测试了12段视频，分别有3000、1240、1325、1479、415、716、840、454、512、856、933、617帧，用索尼HDR-550d摄像机在夜模式下拍摄。相机架设于天津市某一过街天桥，拍摄角度与水平方向呈30度，帧率为25f/s。表2是我们的跟踪方法与ZouQi车灯跟踪方法、Chen车灯跟踪方法的准确率对比。本文方法的车灯正确匹配率最高为98.01％，比Chen车灯跟踪方法高出11.33％，比ZouQi车灯跟踪方法的最高正确匹配率高出3.21％。图6是变道车辆的跟踪，(a)左变道情况，(b)右变道情况，该法表现出健壮的数据关联性。图中红线用于标注远景处红绿灯路口，数字表示车灯ID，用不同灰度表示不同车灯的轨迹。

表2车灯跟踪准确率对比

图7是车辆跟踪结果对比。图7(a)(b)是ZhangWei算法中最后提取出的轨迹，可见远景处存在严重的多车灯误配情况，图7(e)(f)是ZouQi算法中最后提取出的轨迹。表3是针对图7中车辆跟踪帧数的对比。ZhangWei算法以及ZouQi算法的跟踪帧数最多为126帧、200帧；本文方法跟踪帧数最多可达到626帧。由于现存算法中ZouQi算法的夜间车辆跟踪准确率最高，所以我们仅与它进行了对比：我们的方法在12段视频中的平均准确率为97.3％，比ZouQi算法的87.3％高出了10％。

表3普通车辆跟踪帧数对比

表4是对特殊车辆跟踪的数据统计结果。其中，小轿车两灯跟踪帧数相差142帧，货车跟踪率仅为89.25％的主要原因是：红绿灯路口长时间停车导致大量车灯光斑与噪声相互粘连，从中极难分割出单个车灯光斑。

表4特殊车辆跟踪数据统计