一种基于深度学习增强实例分割的道路积水区域检测方法

摘要

一种基于深度学习增强实例分割的道路积水区域检测方法，涉及智慧城市领域和计算机视觉领域。本发明的方法步骤为：1）数据收集和标注；2）构建Mask R‑CNN，划分数据集，以易检测积水样本训练Mask R‑CNN；3）构建并训练含有GAN分支的Mask R‑CNN；4）利用含有生成器分支的Mask R‑CNN进行预测。同现有技术相比，本发明不增加现场设备节约了成本，具有算法实现简便、误差小、检测结果准确的特点。

说明书

技术领域

本发明涉及智慧城市领域和计算机视觉领域，特别是应用于城市监控视频场景下基于深度学习增强实例分割的道路积水区域检测方法。

背景技术

良好的道路是城市交通畅通的根本，城市道路积水对城市交通影响较为严重：一是道路积水影响车辆和行人的正常通行，路面积水行车，积水容易溅湿行人，给车辆和行人带来了极大的不便；二是道路长时间积水，路面会产生麻面、积水沿路面裂缝渗透，路面结构层强度降低，最终凹陷、破损，影响行车舒适性；三是城市道路大量积水、深浅难测，不仅会影响车辆和行人通行，甚至会发生危险。

目前对于城市道路积水方面研究，大多集中于道路积水深度监测方面，主要应用于城市道路低洼处、下穿式立交桥等容易发生大面积积水、易发生危险的位置。需要现场安装接触式或非接触式传感器、供电系统等相应配套设施，耗费大量人力、物力、财力，且对影响车辆和行人通行、影响道路寿命的道路少量积水情况无能为力。这种情况还得依靠城管、交通工作人员通过监控视频或现场巡视发现，耗费大量人力，且效率较低。现在城市中已安装了大量摄像头，若能利用城市监控视频直接检测城市道路积水情况，相关城市管理部门既能降低成本，又能全面、及时地掌握各路段的积水情况，降低道路积水对行人车辆通行、道路寿命的影响，同时在防洪防灾方面也有一定的辅助作用。

基于城市监控视频分析的城市管理事件检测方法由于其检测速度快，无需增加现场监测设备、部署实施应用方便，在国内外范围内逐渐成为研究的热点。在通过城市监控视频进行道路积水检测方面，公开的研究成果较少。天津英田视讯科技有限公司申请的中国专利201711192410.0《一种道路积水检测的方法》，此技术使用的是传统机器学习的方法，提取视频单帧图像基于局部二进制的静态纹理特征和多帧图像基于三正交平面边缘方向直方图的动态纹理特征，用支持向量机判断静态纹理检测和动态纹理检测是否为积水纹理。若均为积水纹理，则对相应像素块进行标识，最终将连续的积水像素块进行拼接，可以实现对积水位置的检测。此方法基于传统机器学习方法，需要手动提取视频帧图像中的纹理特征，特征提取过程不仅任务量大，而且提取到的特征有限，仅依靠纹理特征，难以胜任道路积水检测任务。

不同于传统机器学习方法，在深度学习方面，可用于道路积水检测的方法主要有目标检测和实例分割。目前应用效果比较好的目标检测方法，如Faster R-CNN、YOLOv3、SSD、RefineDet等方法都可以应用于道路积水检测。江苏理工学院申请的中国专利201811403004.9《一种基于混合模型的道路积水图像检测预警方法》，此技术使用的是目标检测方法和相似度比对方法结合的混合模型，深度学习目标检测方法用于检测是否存在道路积水及其位置，相似度比对方法用于粗略估计积水深度。但由于城市道路积水情况比较复杂，如积水区域无固定形态、大小不一，因路面坑洼不平而分布零散，可能受行人、车辆、树木等影响存在遮挡，因刮风、下雨等影响可能存在不同纹理，无风时可能存在倒影，受积水深度、是否含有泥土影响而呈现不同颜色等，前述目标检测方法难以应对上述各种情形，且目标检测方法需要用矩形框标注目标物体，在数据标注时会将部分背景标注在矩形框内，从而对目标检测方法造成一定程度的影响，这在一定程度上会导致检测效果不佳。虽然诸如FCIS、Mask R-CNN等实例分割方法在标注数据时可以去除道路积水的背景信息，但由于城市监控场景本就比较复杂，而道路积水情况又过于复杂，仅用目标检测或实例分割方法很容易发生误检和漏检，难以达到较为理想的效果，而且目前还没有公开其他将目标检测或实例分割方法用于城市道路积水检测的研究和应用。

生成对抗网络（GAN），是Ian J. Goodfellow等于2014年提出的一种生成式模型，由一个生成器和一个判别器构成，生成器用于估测数据的潜在分布，并生成新的数据；判别器用于判别输入的是真实数据还是生成的假数据。GAN的优化过程是一个极大极小博弈的过程，通过训练最终达到纳什均衡，使生成器估测到数据的潜在分布，而判别器无法区分真实图像和生成图像。GAN自提出来一直受到业界的持续关注，并在近几年得到越来越广泛的应用，包括图像超分辨率、人脸合成、图像风格迁移、数据增强等。

发明内容

为了克服上述现有技术中存在的不足，本发明的目的是提供一种基于深度学习增强实例分割的道路积水区域检测方法。它无需增加现场设备、节约了成本，具有算法实现简便、误差小、检测结果准确的特点。

为了达到上述发明目的，本发明的技术方案以如下方式实现：

一种基于深度学习增强实例分割的道路积水区域检测方法，它的方法步骤为：

1）数据收集和标注：

大量收集城市监控场景下的道路积水样本并标注。

2）构建Mask R-CNN，划分数据集，以易检测积水样本训练Mask R-CNN：

A）Mask R-CNN的结构中包含分类分支、位置回归分支和分割分支，将提取的样本特征送入上述三个分支，进行目标的检测和分割。其损失函数可表示为：

其中，表示分类分支损失，表示位置回归分支损失，表示分割分支损失。

构建Mask R-CNN网络，以标注好的数据初步训练Mask R-CNN，并将数据送入MaskR-CNN进行道路积水区域初步检测。

B）以A）中道路积水区域初步检测结果为基准，将原有样本数据中未检测出道路积水区域的样本划分为难检测样本，检测出道路积水区域的样本划分为易检测样本。

C）以易检测样本重新训练Mask R-CNN至模型收敛，据此可以得到易检测样本的特征。

3）构建并训练含有条件生成对抗网络分支的Mask R-CNN：

为Mask R-CNN添加条件生成对抗网络分支，条件生成对抗网络由生成器和判别器组成，在输入为难检测样本时，所述生成器将输入样本的特征映射到与易检测样本特征相似的特征，输入为易检测样本时，生成器起到一个零值映射作用；所述判别器输出的是和之间的相似程度，条件生成对抗网络优化过程可以表示为：

其中，是来自Resnet-FPN主干网络第一个卷积层输出的低层特征，先后经过3*3和1*1的卷积的输出和Resnet-FPN主干网络输出的特征具有相同的通道数。

当判别器损失函数值最小时，判别器能够很好地区分和，可表示为：

生成器能使生成的难检测样本特征与易检测样本特征更相似，从而使判别器无法判别输入数据的真假，其损失函数可表示为：

利用道路积水数据，交替进行生成器和判别器的训练，直到最终达到平衡。此时进行Mask R-CNN的目标检测和分割分支的训练，Mask R-CNN的目标检测和分割分支的损失函数为，利用反向传播使最小，可以使得训练过程持续收敛。

此模型完整的损失函数可表示为：

其中，和分别是和的权重系数，其中。在损失函数的作用下，训练过程中含有条件生成对抗网络分支的Mask R-CNN会持续收敛直至平衡，最终完成整个模型的训练。

4）利用含有生成器分支的Mask R-CNN进行预测：

去掉判别器部分，保留生成器分支，生成器将输入样本的特征映射到与易检测样本特征相似的特征；将前面经条件生成对抗网络映射之后的特征送入Mask R-CNN的分类分支、位置回归分支和分割分支完成城市道路积水检测和分割，得到道路积水区域信息。

在上述道路积水区域检测方法中，所述标注收集的城市监控场景下的道路积水样本是指，用标注工具以多边形方式标注视野范围内的道路积水部分，并绕过所有障碍物。

在上述道路积水区域检测方法中，所述生成器将输入样本的特征映射到与易检测样本特征相似的特征方法是，若输入是难检测样本特征，则将其映射到与易检测样本特征相似的特征；若输入是易检测样本特征，生成器则只需起到一个零值映射的作用。

在上述道路积水区域检测方法中，所述生成器由N个相同残差块ResBlock组成，每个残差块的内部结构均由卷积层、BN层、ReLU激活函数、卷积层和前向叠加构成。

在上述道路积水区域检测方法中，所述判别器由两个卷积层、两个全连接层和一个Sigmoid激活函数构成，其中卷积层和第一个全连接层后的ReLU激活函数用于增加其非线性。

在上述道路积水区域检测方法中，所述交替进行生成器和判别器的训练直到最终达到平衡是指，生成器生成的特征和易检测样本的特征很相似，判别器无法判断输入的是易检测样本的特征，还是由生成器生成的难检测样本的特征。

本发明由于采用了上述方法，结合条件生成对抗网络和Mask R-CNN的优点，设计基于深度学习的增强实例分割方法，利用条件生成对抗网络进行特征映射，通过Mask R-CNN实现城市道路积水区域检测功能。同现有技术相比具有如下优点：

1. 直接利用城市监控视频数据，无需现场安装任何设备，节省大量成本。

2. 利用深度学习方法，无需手动提取特征，降低算法实现的难度。

3. 利用实例分割方法，数据标注过程中不会包含任何背景信息，消除了背景信息对算法的影响。

4. 将条件生成对抗网络特征映射方法应用于Mask R-CNN特征提取，弥补了MaskR-CNN在检测城市道路积水方面的不足。

下面结合附图和具体实施方式对本发明做进一步说明。

附图说明

图1为本发明实施例中Mask R-CNN的网络结构示意图；

图2为本发明实施例中添加条件生成对抗网络分支的Mask R-CNN网络结构示意图；

图3为本发明实施例中生成器内部残差块的结构示意图；

图4为本发明实施例中判别器的结构示意图。

具体实施方式

本发明基于深度学习增强实例分割的道路积水区域检测方法，它的方法步骤为：

1）数据收集和标注：

收集城市监控场景下道路积水样本，样本种类尽可能多，用标注工具以多边形方式标注道路积水区域。因城市管理摄像头采集数据中存在行人、车辆、树木、交通设施等障碍物，对积水存在不同程度的遮挡，标注时需绕过所有障碍物，只标注视野范围内的道路积水部分，以免特征提取过程中提取到道路积水外的无关信息的特征，进而影响算法对道路积水区域的检测效果。

2）构建Mask R-CNN，划分数据集，以易检测积水样本训练Mask R-CNN：

A）参看图1，Mask R-CNN是在Faster R-CNN基础上改进的，使用resnet-50/resnet-101+FPN作为其特征提取骨干网络，同时使用自底向上、自顶向下以及横向连接将特征图高效整合，在提升精度的同时并没有大幅度增加检测时间。另外将Faster R-CNN中的ROIPooling改为ROI Align，ROI Pooling在进行特征提取过程中使用的取整操作会产生区域不匹配问题，因为实例分割需要判定目标区域内像素类别，这些偏差会对判定结果产生较大影响。而ROI Align使用双线性插值方法，全程使用浮点数操作，不存在取整，其精度较高。

Mask R-CNN相比于Faster R-CNN，除分类分支和位置回归分支外，Mask R-CNN添加了一个分割分支，故提取的特征送入上述三个分支，进行目标的检测和分割，其损失函数可表示为：

其中，表示分类分支损失，表示位置回归分支损失，表示分割分支损失；

构建Mask R-CNN网络，以标注好的数据初步训练Mask R-CNN。因城市道路积水的复杂性，单用Mask R-CNN对于某些场景和形态的积水区域难以检测并分割出来，待训练完成后将数据送入Mask R-CNN进行道路积水区域初步检测。

B）以A）中道路积水区域初步检测结果为基准，将原有样本数据中未检测出道路积水区域的样本划分为难检测样本，检测出道路积水区域的样本划分为易检测样本；

C）以易检测样本重新训练Mask R-CNN至模型收敛，据此可以得到易检测样本的特征；

3）构建并训练含有条件生成对抗网络分支的Mask R-CNN：

参看图2，以Mask R-CNN为基础，为其添加生成对抗网络分支。生成器的目的是将输入样本的特征映射到与易检测样本特征相似的特征，若输入是难检测样本特征，则将其映射到与易检测样本特征相似的特征；若输入是易检测样本特征，生成器则只需起到一个零值映射的作用。这样无论输入是难检测样本还是易检测样本，经过生成对抗网络和Mask R-CNN的特征提取网络之后得到的特征分布都和相似。其优化过程可以表示为：

其中，是来自Resnet-FPN主干网络第一个卷积层输出的低层特征，先后经过3*3和1*1的卷积的输出和Resnet-FPN主干网络输出的特征具有相同的通道数。生成器由N个相同残差块ResBlock组成，每个残差块的内部结构参看图3，由卷积层、BN层、ReLU激活函数、卷积层和前向叠加构成。

在输入为难检测样本时，一般的生成器很难将难检测样本特征直接映射到，使其和易检测样本特征相似。故使用条件生成对抗网络，其中判别器的输入是易检测样本特征和由生成器生成的难检测样本特征，输出是和之间的相似程度。判别器内部网络结构如图4所示，由两个卷积层、两个全连接层和一个Sigmoid激活函数构成，其中卷积层和第一个全连接层后的ReLU激活函数用于增加其非线性。

当判别器损失函数值最小时，判别器能够很好地区分和，可表示为：

生成器能使生成的难检测样本特征与易检测样本特征更相似，从而使判别器无法判别输入数据的真假，其损失函数可表示为：

利用道路积水数据，交替进行生成器和判别器的训练，直到最终达到平衡，即生成器生成的特征和易检测样本的特征很相似，判别器无法判断输入的是易检测样本的特征，还是由生成器生成的难检测样本的特征。此时可以进行Mask R-CNN的目标检测和分割分支的训练，Mask R-CNN的目标检测和分割分支的损失函数为，利用反向传播使最小，可以使得训练过程持续收敛。

此模型完整的损失函数可表示为：

其中，和分别是和的权重系数，其中；在损失函数的作用下，训练过程中含有条件生成对抗网络分支的Mask R-CNN会持续收敛直至平衡，最终完成整个模型的训练；

4）利用含有生成器分支的Mask R-CNN进行预测：

在利用此模型进行预测时，需要去掉右侧判别器部分，保留左侧生成器分支，生成器起到一个特征映射的作用。即当输入是难检测样本时，能够将其映射到与易检测样本特征相似的特征；当输入是易检测样本时，生成器起到一个零值映射的作用。这样，无论输入是易检测样本还是难检测样本，在经过含有生成器分支的特征提取网络之后，输出的特征都和易检测样本的特征相似。将前面经条件生成对抗网络映射之后的特征送入Mask R-CNN的分类分支、位置回归分支和分割分支完成城市道路积水检测和分割任务，即得到道路积水区域信息。

本发明利用条件生成对抗网络进行特征映射，将难检测样本的特征映射为与易检测样本特征类似的特征，并将其应用于Mask R-CNN特征提取，提升了Mask R-CNN泛化能力，可用于如城市道路积水区域检测等复杂情形。

本领域技术人员根据本发明方法理念结合本领域相关知识所做的等同替换均属于本发明的保护范围，如以下方法：

1. 本发明将条件生成对抗网络和Mask R-CNN结合，可替换为条件生成对抗网络与Mask R-CNN变体或其他实例分割方法结合。

2. 本发明所采用的生成器和判别器不拘泥于固定结构，可替代为其他形式。

3. 本发明提出的方法，不局限于城市道路积水区域检测，可替换为其他应用领域。