基于图像分类与图像对比的公路车辆异常检测方法

摘要

基于图像分类与图像对比的公路车辆异常检测方法，解决现有对改装和夹带检测难的问题，属于公路车辆检测领域。本发明包括：S1、用线阵相机采集公路车辆底盘图像；S2、将公路车辆底盘图像编码为向量，与数据库中已知底盘类别的向量比较，判断图像中的底盘是否属于已知分类，如果属于已知分类，将图像与属于的类别底盘的模板图像进行对比，若存在异常区域，则进行报警提示；数据库中存储有已知车辆底盘类别的向量及每个类别的模板图像；如果不属于已知分类，通过人工检测确定公路车辆底盘图是否存在改装或夹带，如无改装或夹带，将公路车辆底盘图像的向量作为新的类别加入数据库，同时存储该公路车辆底盘图像作为新的类别的模板图像。

说明书

技术领域

本发明涉及一种基于图像分类与图像对比对公路车辆底盘异常检测的方法，属于公路车辆检测领域。

背景技术

随着经济的发展，公路得到不断的建设，汽车的普及率也越来越高，造成公路的交通管理负担加重，因而迫切需要对公路中行驶的车辆的安全进行检测。

用图像自动检测代替人工车辆安全检测，能够提高车辆安检效率，排除人为因素干扰，降低人力成本。但公路车辆种类众多结构差异较大，每年都会有新的车型，并且改装和夹带图像不易获得，而直接对改装和夹带进行检测有一定困难。

发明内容

针对现有对改装和夹带检测难的问题，本发明提供一种基于图像分类与图像对比的公路车辆异常检测方法。

本发明的一种基于图像分类与图像对比的公路车辆异常检测方法，方法包括：

S1、用线阵相机采集公路车辆底盘图像；

S2、通过编码网络将公路车辆底盘图像编码为向量，与数据库中已知底盘类别的向量比较，判断公路车辆底盘图像中的底盘是否属于已知分类，如果属于已知分类，将公路车辆底盘图像与属于的类别底盘的模板图像进行对比，以确定公路车辆底盘图像是否存在异常区域，若存在异常区域，则进行报警提示；数据库中存储有已知车辆底盘类别的向量及每个类别的模板图像；

如果不属于已知分类，通过人工检测确定公路车辆底盘图像是否存在改装或夹带，如无改装或夹带，将公路车辆底盘图像的向量作为新的类别加入数据库，同时存储该公路车辆底盘图像作为新的类别的模板图像。

作为优选，S2中，编码网络采用Inception-ResNet-v2网络实现。

作为优选，编码网络的训练方法包括：

S21、用线阵相机采集车辆底盘图像，建立分类训练集；

S22、对Inception-ResNet-v2网络的全连接层进行调整，使其与分类训练集中图像尺寸相对应，用深度学习框架pytorch搭建Inception-ResNet-v2网络，用分类训练集和损失函数arcface loss对搭建的Inception-ResNet-v2网络进行训练。

作为优选，在每个类别的车辆底盘图像中随机选择一张图像作为该类别的模板图像，将模板图像输入到训练后的编码网络得到该类别的编码向量，存储到数据库中。

作为优选，S21，包括：

利用线阵相机采集车辆底盘图像，构建分割训练集，标注分割训练集的各图像中底盘的位置，将底盘视为前景，其他位置视为背景，用标注的图像训练U2-net网络，训练后的U2-net网络用来区分图像中的背景与前景，得到车辆底盘部分，作为分类训练集。

作为优选，S2中，与数据库中已知底盘类别的向量比较，判断公路车辆底盘图像中的底盘是否属于已知分类的方法为：

确定与公路车辆底盘图像的向量距离最近的类别向量，如果公路车辆底盘图像的向量与最近的类别向量距离小于类别设定阈值，公路车辆底盘图像属于最近的类别向量对应的类别，否则，公路车辆底盘图像不属于任何类别。

作为优选，S2中，将公路车辆底盘图像与属于的类别底盘的模板图像进行对比的方法包括：

利用改进的faster-rcnn-resnet50网络对比公路车辆底盘图像与属于的类别底盘的模板图像；

改进的faster-rcnn-resnet50网络在faster-rcnn-resnet50网络的基础上做出修改：输入图像包括两张图像，分类类别包括异常区域和非异常区域，分类损失函数变为对比损失函数；

利用改进的faster-rcnn-resnet50网络对比公路车辆底盘图像与属于的类别底盘的模板图像的方法为：

输入到改进的faster-rcnn-resnet50网络两张图像，分别为待检测图像与模板图像；改进的faster-rcnn-resnet50网络对比两张图像中的分类框对应向量的距离，如果向量距离大于差异设定阈值，则确定在待检测图像中分类框位置为异常区域。

作为优选，训练改进的faster-rcnn-resnet50网络时，每次用同一类别的两张底盘图像作为输入，输入前进行底盘尺寸配准，并对其中一张底盘图像进行随机修改，将随机修改的位置标记为异常区域。

作为优选，随机修改包括：

将素材库中的素材复制到底盘图像的随机位置；

将底盘图像一个区域的图像随机复制到另一区域。

作为优选，随机修改还包括对素材进行随机旋转、缩放、亮度调节和对比度调节。

本发明的有益效果：本发明利用图像识别方法，减小公路车辆检测的人工工作量。本发明通过神经网络对车辆底盘图像进行编码，得到编码向量。判断底盘是否属于某一种类时，用编码的向量与该种底盘的向量进行比较，如果两个向量的距离小于阈值认为该向量属于该种类。编码向量需要与所有已知种类底盘对应的向量进行比较，判断其属于哪个种类。图像编码后可以大大减少比较所需时间，并且有新的底盘种类时，可直接用其图像的编码向量作为该类型的向量加入数据库。通过分类将较难区分的图像交由人工检测。其余图像由算法检测。检测图像属于某一底盘种类后，与该种类的模板图像进行比较，得到更准确的检测结果。与模板图像比较时采用修改的faster-rcnn-resnet50网络，使比较结果更准确。

附图说明

图1为本发明检测时的流程示意图；

图2为本发明检测及训练的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合图1、图2和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本实施方式的基于图像分类与图像对比的公路车辆异常检测方法，包括：

步骤一、用线阵相机采集公路车辆底盘图像；

步骤二、

通过编码网络将公路车辆底盘图像编码为向量，与数据库中已知底盘类别的向量比较，判断公路车辆底盘图像中的底盘是否属于已知分类，如果属于已知分类，将公路车辆底盘图像与属于的类别底盘的模板图像进行对比，以确定公路车辆底盘图像是否存在异常区域，若存在异常区域，则进行报警提示；数据库中存储有已知车辆底盘类别的向量及每个类别的模板图像；

如果不属于已知分类，通过人工检测确定公路车辆底盘图像是否存在改装或夹带，如无改装或夹带，将公路车辆底盘图像的向量作为新的类别加入数据库，同时存储该公路车辆底盘图像作为新的类别的模板图像

本实施方式通过对车辆底盘图像进行编码，得到编码向量，判断底盘是否属于某一种类别时，用编码的向量与该种底盘的向量进行比较，编码向量需要与所有已知种类底盘对应的向量进行比较，判断其属于哪个种类。图像编码后可以大大减少比较所需时间，并且有新的底盘种类时，可直接用其图像的编码向量作为该类型的向量加入数据库。通过分类将较难区分的图像交由人工检测。其余图像由算法检测。检测图像属于某一底盘种类后，与该种类的模板图像进行比较，得到更准确的检测结果。

优选实施例中，本实施方式编码网络采用Inception-ResNet-v2网络实现。

Inception-ResNet-v2网络结构为现有技术，划分为输入层、Stem初始卷积层、5×Inception×resnet-A残差层、Reduction-A缩减层、10×Inception×resnet-A残差层、Reduction-B缩减层、5×Inception×resnet-C残差层、全局平均池化层和随机失活层，本实施方式利用编码网络得到底盘图像的编码向量，加快图像比较速度，快速对大量类别进行比较，并初步筛选出存在较大异常区域的图片。

能够获得底盘图像的向量的编码网络是需要训练的，优选实施例中，本实施方式的编码网络的训练方法包括：

步骤21、用线阵相机采集车辆底盘图像，取底盘部分图像并将图像缩放成指定尺寸，图片高为512，图片宽为1024，人工对车辆底盘图像进行分类，并标注每张图像的类别，根据图片中车体的位置，对图片进行裁切只保留车体所在矩形框内的图像，并将所有图片缩放到相同大小和比例，分辨率为512*1024，建立分类训练集；

步骤22、对Inception-ResNet-v2网络的全链接层进行调整，使其与分类训练集中图像尺寸相对应，用深度学习框架pytorch搭建Inception-ResNet-v2网络，用分类训练集和损失函数arcface loss对搭建的Inception-ResNet-v2网络进行训练，arcface loss是人脸识别任务中用到的损失函数，他可以使类间距离增大，类内更加紧凑，优化器选择adam，学习率0.00005。

在确定数据库中类别的编码向量和模板图像的优选实施例为：在每个类别的车辆底盘图像图像中随机选择一张图像作为该类别的模板图像，将模板图像输入到训练后的编码网络得到该类别的编码向量，存储到数据库中。

优选实施例中，本实施方式的步骤21包括：

利用线阵相机采集大量车辆底盘图像，构建分割训练集，标注分割训练集的各图像中底盘的位置，将底盘视为前景，其他位置视为背景，用标注的图像训练U2-net网络，训练后的U2-net网络用来区分图像中的背景与前景，得到车辆底盘部分，作为分类训练集。

本实施方式中用U2-net网络得到图像中的背景区域，得到车体底盘部分。U2-Net网络用于显著目标检测，可以区分图片中的前景与背景。取底盘部分图像并将图像缩放成指定尺寸，图片高为512，图片宽为1024。

在确定公路车辆底盘图像中的底盘的类别前，先用U2-net网络得到图片的前景，根据结果裁切图片,根据前景的最小外接矩形裁切图片，并将图片缩放到指定大小512*1024，处理后的图像输入Inception-ResNet-v2网络，得到编码向量，编码向量的维度为256。本实施方式中，与数据库中已知底盘类别的向量比较，判断公路车辆底盘图像中的底盘是否属于已知分类的优选实施例为：

找到与公路车辆底盘图像的向量距离最近的类别向量，如果公路车辆底盘图像的向量与最近的类别向量距离小于类别设定阈值，公路车辆底盘图像属于最近的类别，否则，公路车辆底盘图像不属于任何类别，再通过人工检测确定图像是否存在异常。如未检测出异常，将该图像的编码向量作为一个新类别存入数据库并保存车辆底盘图像作为该类别的模板图像。用编码向量进行图像比较，可以加快图像比较速度，快速对大量类别进行比较。并初步筛选出存在较大异常区域的图片。

步骤二中，在确定类别后还需要进行图像差异比较，将公路车辆底盘图像与属于的类别底盘的模板图像进行对比的优选实施例包括：

利用改进的faster-rcnn-resnet50网络对比公路车辆底盘图像与属于的类别底盘的模板图像；

改进的faster-rcnn-resnet50网络在faster-rcnn-resnet50网络的基础上做出修改：输入图像包括两张图像，分类类别包括异常区域和非异常区域，分类损失函数变为对比损失函数；

利用改进的faster-rcnn-resnet50网络对比公路车辆底盘图像与属于的类别底盘的模板图像的方法为：

输入到改进的faster-rcnn-resnet50网络两张图像，分别为待检测图像与模板图像；改进的faster-rcnn-resnet50网络对比两张图像中的分类框对应向量的距离，如果向量距离大于差异设定阈值，则确定在待检测图像中分类框位置为异常区域；改进的faster-rcnn-resnet50网络对确定为异常区域的分类框位置进行预测，确定异常区域的位置。本实施方式中改进的faster-rcnn-resnet50网络包括在faster-rcnn-resnet50网络的基础上做出如下修改：

将待检测图像与模板图像输入修改后的网络，检测出两张图片中区别较大的区域，并对区别较大区域进行报警。

对改进的faster-rcnn-resnet50网络进行训练的优选实施例中，训练改进的faster-rcnn-resnet50网络时，每次用同一类别的两张底盘图像作为输入，输入前进行配准，使两张图像中的底盘对齐，并对其中一张底盘图像进行随机修改，将随机修改的位置标记为异常区域；训练后，改进的faster-rcnn-resnet50网络区分两张底盘图像中的异常区域。

优选实施例中，本实施方式的随机修改包括：

将素材库中的素材复制到底盘图像的随机位置，将该随机位置标记为异常区域；

将底盘图像一个区域的图像随机复制到另一区域并标记为异常区域。

优选实施例中，本实施方式的随机修改还包括对素材进行随机旋转、缩放、亮度变化和对比度变化。

修改后的图像进行随机亮度和对比度调整。通过大量数据训练后，网络可以区分两张图像差异较大的区域，并对噪声干扰有一定的鲁棒性。由于每辆车底盘会存在局部差异，如灰尘，油渍等，在训练时我们并未标记这些区域为异常区域，训练后的网络可以较好的排除这些干扰，并且能识别较为明显的差异。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他实施例中。