一种复杂天气道路车辆目标检测方法

摘要

本发明提供一种复杂天气道路车辆目标检测方法，首先，选取天气良好、光线充足的道路交通图像集S，标记车辆边界框；基于循环一致性对抗网络将正常天气图像集转换成复杂天气图像集；将合成的带有标记边界框的复杂天气图像集作为输入送入Faster R‑CNN网络进行训练，得到复杂天气车辆检测模型；然后，开始执行实际复杂天气交通视频车辆检测，将视频解码为图像集；判定复杂天气类别，选取上述对应地复杂天气的预训练好的复杂天气车辆检测模型并代入该模型，执行基于Faster R‑CNN网络的车辆目标检测，并输出结果。这样，大大地提高了复杂天气车辆目标检测的准确率和检测速度，简化了现有模型训练过程中多次重复手动标记车辆边界框的流程。

说明书

技术领域

本发明属于智能交通、深度学习及图像处理技术领域，涉及一种复杂天气道路车辆目标检测方法，具体涉及一种基于循环一致性对抗网络和Faster R-CNN网络结合的复杂天气道路车辆目标检测方法。

背景技术

车辆的目标检测，是交通视频监控中的一项重要技术，一直以来都是国内外研究学者的研究重点。近年来，基于图像的目标检测技术领域相关研究已经拓展到使用深度学习领域的方法，此类方法通常首先使用目标候选区域提取方法，例如边界盒子[1]，选择搜索法[2]或多尺度组合分发(MCG)[3]等方法从图像中生成众多的目标候选区域，然后使用卷积神经网络(CNN)[4]来执行基于候选目标区域的目标识别。R-CNN[5]是在利用深度方法进行目标检测中具有里程碑意义的算法，首先利用选择性搜索方法生成2k个目标候选区域，然后对提取的目标候选区域进行归一化成CNN的标准输入。在分类时，该方法需要从每个提取的目标候选区域中提取特征，而重复的特征提取造成了巨大的计算资源浪费。He等人[6]通过加速特征提取环节提高了R-CNN[5]的效率,该方法首先计算整个输入图像的卷积特征图谱，然后从共享的特征图谱中提取每个候选区域的特征向量用于目标识别。该方法和R-CNN[5]仍有很多类似，网络训练过程仍然是孤立的，即需要分别提取候选区域、计算CNN的特征图谱和使用支持向量机进行分类，除了需要传递总体的训练参数外，还需要在网络中传递大量的中间结果。Girshick等人在Fast R-CNN[7]中提出了一种将目标分类和边框回归相结合的思路，该算法将网络的训练过程进行了统一，并进一步对多损失层进行结合，提高了算法的精度。Faster R-CNN[8]是第一个将目标候选区域的生成、特征提取和目标分类统一到卷积神经网络中的框架，提高了整个目标检测系统的效率。

通常，目标检测算法的性能评价主要基于世界公认的公开数据集；例如PASCALVOC，ImageNet，MS COCO等公开数据集，这些数据集被用于研究者测试算法性能或者深度学习竞赛。目标检测的性能指标首先要考虑检测物体的位置以及预测类别的准确性。然而，在智能交通领域，基于深度学习的目标检测通常是基于公开数据集预训练的正常天气条件下权重完成的，而在现实环境中，受到光线不足、雨雪、大雾等复杂天气影响，该权重往往表现不佳，检测精度不高且达不到实时交通视频检测的要求。在复杂的非自然场景下，尤其是极端天气下对车辆实施检测，一直以来都是车辆目标检测领域的一大难点。

基于深度学习的车辆检测方法需要大量手动标记图像中每个车辆的边界框来训练卷积神经网络。经过多年的研究和积累，已形成了大量经人工标记车辆边界框的正常天气交通图像数据集，这些数据集可用于正常天气车辆检测。而针对复杂天气场景、夜间及其他非自然条件的交通场景，几乎没有人工标记的边界框数据集。由于人工进行手动标记是费力且费时的，因此有必要充分利用已标记边界框的现有数据集来生成各类复杂天气的未标记的新数据。

专利CN111369541A提供了一种智能汽车恶劣条件下车辆检测的方法，该方法通过将毫米波雷达检测到的车辆目标通过坐标变换投影到热成像相机捕获的红外热图像，获得车辆检测目标在红外热图像中的近似位置分布，提取与分割车辆感兴趣区域，最后通过计算代价矩阵对毫米波雷达及热成像相机的车辆检测目标进行融合。该方法将毫米波雷达和热成像相机相结合，有利于两传感器优势互补，提高了复杂天气中车辆检测的性能。然而，该方法经过图像分割等预处理，再由图像数据和雷达数据进行融合，其算法复杂度高，实时性较差；且该方法主要用于智能车辅助驾驶，无法利用现有的大量的已安装在公路上的摄像头节约建设成本；最后该方法依赖于毫米波雷达和热成像相机，建设费用高昂。

专利CN105069472B描述了一种基于卷积神经网络自适应的车辆检测方法。该发明针对

参考文献：

[1]Zitnick C L,Dollár P.b边界盒子：基于图像边缘的目标定位方法[C].欧洲计算机视觉会议.Springer,Cham,2014:391-405.

[2]Uijlings J R R，Van De Sande K E A，Gevers T等.面向对象识别的选择性搜索[J].国际计算机视觉杂志，2013，104(2)：154-171.

[3]Pont-Tuset J，Arbelaez P，Barron J T等.图像分割和目标提议生成的多尺度组合分组[J].IEEE模式分析与机器智能学报，2016，39(1)：128-140.

[4]Chen X，Kundu K，Zhu Y等.用于立体图像精确物体类别检测的3d对象检测方法[J].IEEE模式分析与机器智能学报，2017，40(5)：1259-1272.

[5]Girshick R，Donahue J，Darrell T等.构，用于精确目标检测和语义分段的丰富特征层次[C].IEEE计算机视觉和模式识别会议的论文集.2014：580-587

[6]He K，Zhang X，Ren S等.视觉识别中深度卷积网络中的空间金字塔池化[J].IEEE模式分析与机器智能学报，2015，37(9)：1904-1916.

[7]Girshick R.Fast r-cnn[C].IEEE计算机视觉国际会议论文集.2015：1440-1448。

[8]Ren S，He K，Girshick R等.Faste r-cnn：通过区域建议网络实现实时目标检测[C].先进神经信息处理系统.2015：91-99.

发明内容

本发明的目的在于提供一种能适宜于雨雪、大雾等复杂天气的基于循环一致性对抗网络和Faster R-CNN网络的车辆目标检测方法，包括以下步骤：

步骤1，利用安装在公路上的摄像头采集到当前段公路交通视频，将视频流解码为图像集D，判断当前是否为复杂天气情况；

步骤2，若判定为昼间正常天气情况，代入现有或预训练好的常规车辆目标检测模型，执行基于Faster R-CNN的车辆目标检测，输出结果；

步骤3，接步骤1，若判定为复杂天气情况，选取相应地复杂天气类型及其对应地预训练好的复杂天气车辆目标检测模型并带入该模型，执行基于Faster R-CNN的车辆目标检测，输出结果。

上述所述预训练好的复杂天气车辆目标检测模型是基于循环一致性对抗网络和Faster R-CNN相结合的预训练好的复杂天气车辆目标检测模型。

上述所述基于循环一致性对抗网络和Faster R-CNN相结合的预训练好的复杂天气车辆目标检测模型，依次通过以下步骤预训练：

步骤1，选取若干张不同日期及不同时刻的昼间正常天气条件下清晰的道路交通场景图像，手动标记图像中的车辆边界框，生成图像集S，将S作为循环一致性对抗网络的源域；再选取若干张不同日期及不同时刻的复杂天气交通场景图像，生成图像集T，将T作为复杂天气图像目标域；

步骤2，定义两个生成器G

由循环一致性对抗网络的源域S转换到复杂天气图像目标域T循环一致性对抗网络的总损失函数为：

L

上式1)中，λ是平衡权重，L

设定循环一致性对抗网络的源域S提供标记的图像I

所述对抗训练损失L

步骤3，通过ADAM优化算法为两个生成器G

训练所述两个生成器和判别器，满足公式5)：

步骤4，通过生成器G

步骤5，使用合成的包含车辆边界框的复杂天气图像集K训练Faster R-CNN网络模型训练，通过反向传播梯度下降算法,当总损失函数值降低到默认阈值以下，即得到预训练好的复杂天气车辆目标检测模型；

所述Faster R-CNN网络包括两部分，分别是RPN区域生成网络和Fast R-CNN网络；RPN用于生成目标候选区域位置，Fast R-CNN用于生成候选区域的分类和位置调整建议；

所述手动标记图像中的车辆边界框包括候选框A和标记框B，其中候选框A和标记框B的交并比

L

上式5)中L

上式7)中smoothL1定义为：

上式7)中N

上述所述预训练好的常规车辆目标检测模型训练方法，依次包括如下步骤：

步骤1，利用安装在公路上的摄像头采集在昼间正常天气情况下当前段公路交通视频，将视频流解码为昼间正常天气图像集，其中图像张数不小于5000张，对该昼间正常天气图像集中每一张图像进行手动标记车辆边界框，同时生成对应该图像的xml文件，xml文件用于描述每一个车辆目标在该图像中的位置信息，构成常规车辆目标检测数据集；

步骤2，将上述常规车辆目标检测数据集带入Faster R-CNN网络训练，在训练过程中上述常规车辆目标检测数据集被划分为训练数据集和测试数据集；当训练数据集中图像张数占比不大于90％，且测试数据集中图像张数占比不小于10％时，即形成了常规车辆目标检测模型。

上述所述所述复杂天气是至少包含昼夜间的降雨天气、降雪天气、大雾天气、大风天气、沙尘天气、雾霾天气和阴天的非昼间正常天气中至少一种。

本发明利用带标签的正常天气图像(或称源域)，在未带标签的复杂天气图像(或称目标域)中进行车辆检测。复杂天气图像与正常天气正常图像具有很大不同,例如光照条件变化，模糊图像、遮挡和反射等，造成源域和目标域的具有较大域分布差异。传统方法通常直接应用正常天气图像上训练的卷积神经网络模型权重来检测复杂天气图像上的车辆，如此则会产生相对较低的准确率。

对于上述问题，本发明提出一种新的复杂天气道路车辆目标检测方法，该方法基于循环一致性对抗网络，将带有标签的正常天气图像转换为雨、雪、雾天的合成图像来训练深度学习模型，其中真实的正常天气图像和合成的复杂天气图像具有不同样式，但共享相同的手动标签；接下来，将带有共享手动标签的合成的复杂天气图像作为输入送入FasterR-CNN网络进行训练，生成复杂天气车辆检测模型；最后，将预训练模型带入Faster R-CNN网络以实现复杂天气车辆目标检测。相较传统的基于Faster R-CNN的车辆目标检测方法，本发明针对不同复杂天气训练车辆检测模型，选取对应模型执行车辆检测，从而提高了复杂天气车辆目标检测的准确率和检测速度；本发明充分利用已标记边界框的现有数据集来生成各类复杂天气未标记边界框的新数据集，从而省去传统模型训练过程中多次重复人工标记车辆边界框的环节，极大节省了工作量；本发明针对不同复杂天气训练车辆目标检测模型，预先判定天气类型，调用对应的复杂天气车辆目标检测模型，极大的提高了检测精度和召回率。

附图说明

图1为本发明的复杂天气道路车辆目标检测方法流程示意图；

图2为本发明的复杂天气道路车辆目标车辆检测模型建立流程示意图；

图3为本发明的复杂天气道路车辆目标检测方法结构示意图。

具体实施方式

本发明中，昼间正常天气是指晴天、阴天或多云，空气质量良好，风速≤4级且光线充足的天气情况，摄像头拍摄的物体清晰可见。复杂天气至少是包含昼夜间的降雨天气、降雪天气、大雾天气、大风天气、沙尘天气、雾霾天气和阴天等的非昼间正常天气中至少一种。

复杂天气下摄像头受天气和环境影响产生抖动和遮挡，无法拍摄清晰可见的物体，产生图像噪声和污点、造成图像对比度下降等现象。

下面以复杂天气为昼间雨天例结合附图1和2对本发明提供的复杂天气道路车辆目标检测方法作进行详细说明：

首先，建立基于循环一致性对抗网络和Faster R-CNN相结合的预训练好的昼间雨天车辆检测模型，见附图2和3，其步骤如下：

步骤1，选取若干张不同日期及不同时刻的昼间正常天气条件下清晰的道路交通场景图像，手动标记图像中的车辆边界框，生成标记的昼间正常天气图像集S，将S作为循环一致性对抗网络的源域。选取若干张不同日期及不同时刻的昼间雨天道路交通场景图像，生成昼间雨天图像集T，将T作为昼间雨天图像目标域。

步骤2，定义两个生成器G

由循环一致性对抗网络的源域S转换到昼间雨天图像目标域T循环一致性对抗网络的总损失函数为：

L

上式1)中，λ是平衡权重，将λ值设为10，L

设定循环一致性对抗网络的源域S提供标记的图像I

所述对抗训练损失L

步骤3，通过ADAM优化算法为两个生成器G

为了训练所述两个生成器和判别器，需要使：

步骤4，通过生成器G

步骤5，使用合成的包含手动标记车辆边界框的昼间雨天图像集K训练Faster R-CNN网络模型。在配备2.9GHz CPU，16GB内存和NVIDIA Quadro P2200 TI GPU的工作站上进行训练，通过反向传播梯度下降算法,当总损失函数值降低到Faster R-CNN网络模型默认阈值以下，即得到预训练好的昼间雨天车辆检测模型。

本实施例中，所述Faster R-CNN网络包括两部分，分别是RPN(区域生成网络)和Fast R-CNN网络。RPN用于生成目标候选区域位置，Fast R-CNN用于生成目标候选区域的分类和位置调整建议。本实施例中，在训练RPN期间以不同的滑动窗口尺寸：32

在本实施例中，所述手动标记图像中的车辆边界框包括候选框A和标记框B，其中候选框A和标记框B的交并比

本实施例中，Faster R-CNN总损失函数定义为：

L

其中L

函数smoothL1定义为：

本实施例中，N

其次，在上述所述基于循环一致性对抗网络和Faster R-CNN相结合的预训练好的昼间雨天车辆检测模型基础上，实际昼间雨天道路车辆目标检测方法，见附图1和3，其依次包括：

步骤1，利用实际安装在公路上的摄像头采集到当前段公路交通视频，将视频流解码为图像集D，所收集的图像具有相同的720p质量(尺寸：1、280×720像素)，判断当前是否为复杂天气情况；

步骤2，若为昼间正常天气情况，带入现有或预训练好的常规道路车辆检测模型，执行基于Faster R-CNN目标检测，输出检测结果；

步骤3，若判定复杂天气类型为昼间雨天，选取对应昼间雨天车辆目标检测模型，代入预训练好的昼间雨天目标检测模型，执行基于Faster R-CNN目标检测，输出结果。

本实施例中，常规车辆目标检测模型，可以是现有常规车辆目标检测模型如VOC、ImageNet，也可以是预训练好的常规车辆目标检测模型。

该预训练好的常规车辆目标检测模型，依次通过如下步骤建立：

步骤1，利用安装在公路上的摄像头采集在昼间正常天气情况下当前段公路交通视频，将视频流解码为昼间正常天气图像集，其中图像张数不小于5000张，对该昼间正常天气图像集中每一张图像进行手动标记车辆边界框，同时生成对应该图像的xml文件，xml文件用于描述每一个车辆目标在该图像中的位置信息，构成常规车辆目标检测数据集；

步骤2，将上述常规车辆目标检测数据集带入Faster R-CNN网络训练，在训练过程中上述常规车辆目标检测数据集被划分为训练数据集和测试数据集；当训练数据集中图像张数占比不大于90％，且测试数据集中图像张数占比不小于10％时，即形成了常规车辆目标检测模型。

本实施例中，收集了总共约260K，1800帧的雨天视频，共计60S，将视频解码为图像集D并手动标记车辆边界框用于评估算法性能，在配备2.9GHz CPU，16GB内存和NVIDIAQuadro P2200 GPU的工作站上进行检测。

本实施例中，通过“平均精确度”指标评估算法性能，评估上述基于循环一致性对抗网络和Faster R-CNN相结合的预训练好的昼间雨天车辆检测模型的实际昼间雨天道路车辆目标检测方法的平均精确度达到82.4％；而仅使用现有Faster R-CNN深度学习方法的实际昼间道路车辆目标检测的平均精确度为72.32％；不采用深度学习方法，使用传统的背景差法进行实际昼间道路车辆目标检测的平均精度为65.2％。为了提高昼间雨天道路车辆目标检测的平均精确度，还须考虑选取不同时间、不同光照强度、不同降水强度的昼间雨天图像，以及不同交通状态和道路类型如大流量交通、多车道、坡道、弯道、岔道、车速大于100km/h的高速公路昼间雨天图像等，构成用于训练的图像集中包含昼间雨天图像越多即可。

虽然以上是以复杂天气为昼间雨天为例对基于循环一致性对抗网络和Faster R-CNN相结合的预训练好的昼间雨天车辆检测模型的实际昼间雨天道路车辆目标检测方法进行论述，该方法也可以应用于其他复杂天气，如昼夜间的降雨天气、降雪天气、大雾天气、大风天气、沙尘天气、雾霾天气和阴天等至少任意一种非昼间正常天气；只是针对不同具体复杂天气时，需训练得到该天气类型对应的基于循环一致性对抗网络的车辆检测模型，因而需采集选取该天气类型下不同日期及不同时刻的道路交通场景用于模型训练，而该复杂天气车辆检测模型的训练方法和车辆目标检测方法与上述实施例均是相同的。