车辆与车轮从属关系预测方法、系统、存储介质及终端

摘要

本发明提供一种车辆与车轮从属关系预测方法、系统、存储介质及终端，包括以下步骤：获取包含车辆和车轮的图像；基于目标检测模块检测所述图像中车辆位置和车轮位置，并根据所述车辆位置和所述车轮位置获取所述图像中车辆图像和车轮图像；根据所述车辆图像和所述车轮图像，基于图卷积神经网络模块预测所述车辆与所述车轮的从属关系。本发明的车辆与车轮从属关系预测方法、系统、存储介质及终端兼顾了车辆与车轮从属关系的预测精度和算法实时性。

说明书

技术领域

本发明涉及图像处理的技术领域，特别是涉及一种车辆与车轮从属关系预测方法、系统、存储介质及终端。

背景技术

车辆与车轮的从属关系预测是实现车辆姿态估计的重要手段之一，是自动驾驶领域内的重点研究问题。当车辆与车轮具有从属关系时，将该从属关系定义为“相关”，否则为“不相关”。

如图1所示，用不同的方框在图中标出前轮、后轮和车辆。当表示前轮或后轮的方框位于表示车辆的方框内时，说明所述前轮或后轮与所述车辆具有从属关系；当表示前轮或后轮的方框不位于表示车辆的方框内时，说明所述前轮或后轮与所述车辆不具有从属关系。

在自动驾驶领域，通常采用以下两种算法预测车辆与车轮的从属关系：

(1)异步检测模式

具体地，首先利用目标检测算法检测出车辆位置，然后裁剪出车辆区域的图像进行车轮的检测，并判定所检测出的车轮仅与当前车辆相关。但是，异步进行车辆和车轮从属关系预测时，在嵌入式设备上耗时较长，无法满足高速或密集场景对实时性的要求。

(2)同步检测模式

具体地，同时检测出车辆和车轮的位置，并采用额外的卷积神经网络分支独立地对车辆和车轮单独预测一个高维向量，根据高维向量之间的距离大小判定车辆和车轮是否具有从属关系。但是，同步进行车辆和车轮从属关系预测时，无法关联车辆与车轮的视觉特征和语义特征，因此提取到的特征形式单一，精度较低，不利于泛化。

另外，在进行车辆与车轮的从属关系预测时，还存在鱼眼场景下的数据样本不足、畸变扰动较大的问题。这是因为目前支持车辆与车轮从属关系预测的数据集基本都来源于监控或网络图片，并不适用于应用广泛的车载鱼眼场景。同时车载鱼眼场景下的图片存在较为严重的畸变，为预测车辆和车轮的从属关系带来了困难。

因此，为了进一步提升车辆与车轮的从属关系预测算法的性能，采用了模型容量改善、损失函数和数据预处理的方法。如SqueezeNet、ShuffleNet、MobileNet以及Xception等模型有较低的模型容量，这些模型具有普适性，可用于提升异步或同步检测算法的实时性。再如Triplet loss、Center loss、Corner loss以及Cosine Margin Loss等损失函数从不同的角度约束高维向量，可提升同步检测算法的精度。还如Random corp、Flip、Translations以及Rotations等方法对数据进行预处理，增强数据的多样性，可提升同步和异步检测算法的鲁棒性。

然而，上述方法虽然可以从不同的角度提升同步和异步检测算法的精度与实时性，但改进后的算法所提取到的特征形式仍然较为单一，未实现车辆特征与车轮特征的融合；仅依靠数据预处理方法，无法从监控图片、网络图片中获得真实的鱼眼场景下的数据。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种车辆与车轮从属关系预测方法、系统、存储介质及终端，通过图卷积神经网络实现车辆与车轮的视觉和语义特征的关联，并利用并行处理方式预测车辆与车轮的从属关系，从而既能够提升车辆与车轮从属关系的预测精度，又能够挺高算法实时性。

为实现上述目的及其他相关目的，本发明提供一种车辆与车轮从属关系预测方法，包括以下步骤：获取包含车辆和车轮的图像；基于目标检测模块检测所述图像中车辆位置和车轮位置，并根据所述车辆位置和所述车轮位置获取所述图像中车辆图像和车轮图像；根据所述车辆图像和所述车轮图像，基于图卷积神经网络模块预测所述车辆与所述车轮的从属关系。

于本发明一实施例中，还包括步骤：训练所述图卷积神经网络模块；

训练所述图卷积神经网络模块包括以下步骤：

获取包含车辆和车轮的图像集，并标注所述车辆和所述车轮的从属关系；

获取所述目标检测模块获取的所述图像中车辆图像和车轮图像；

基于所述车辆图像、所述车轮图像和所述从属关系训练所述图卷积神经网络模块，以使所述图卷积神经网络模型进行车辆与车轮的从属关系的预测。

于本发明一实施例中，所述目标检测模块采用深度可分离卷积模型。

于本发明一实施例中，所述图像采用鱼眼图像。

于本发明一实施例中，所述图卷积神经网络模块包括预处理模块、卷积模块、车辆矩阵模块、车轮矩阵模块、级联模块和全连接激活模块；

所述预处理模块用于对所述车辆图像和所述车轮图像进行裁剪和双线性插值处理，以得到预设尺寸的车辆图像和车轮图像；

所述卷积模块用于对所述预设尺寸的车辆图像和车轮图像进行卷积、归一化和激活函数处理，得到所述预设尺寸的车辆图像和车轮图像的节点特征；

所述车辆矩阵模块用于基于车辆矩阵从所述节点特征中检索车辆特征；

所述车轮矩阵模块用于基于车轮特征从所述节点特征中检索车轮特征；

所述级联模块用于将所述车辆特征和所述车轮特征按通道级联，以使每个车辆与每个车轮级联；

所述全连接激活模块用于对级联后的所述车辆特征和所述车轮特征进行全连接激活处理，以得到车辆与车轮从属关系的预测结果。

于本发明一实施例中，所述车辆矩阵的行数为所述图像中的车辆个数，列数为所述图像中车辆和车轮总数；所述图像中第i行表示的车辆位于第j列表示的车辆或车轮时，所述车辆矩阵的第i行、第j列的元素值为1，否则为0；所述车轮矩阵的行数为所述图像中的车轮个数，列数为所述图像中车辆和车轮总数；所述图像中第i行表示的车轮位于第j列表示的车辆或车轮时，所述车轮矩阵的第i行、第j列的元素值为1，否则为0。

于本发明一实施例中，所述车辆矩阵模块和所述车轮矩阵模块采用并行处理方式。

于本发明一实施例中，所述卷积模块包括相连的三个子卷积模块，每个子卷积模块均进行卷积、归一化和激活函数处理；所述全连接激活模块包括相连的三个子全连接激活模块，每个子全连接激活模块均进行全连接激活处理。

对应地，本发明提供一种车辆与车轮从属关系预测系统，包括获取模块、第一预测模块和第二预测模块；

所述获取模块用于获取包含车辆和车轮的图像；

所述第一预测模块用于基于目标检测模块检测所述图像中车辆位置和车轮位置，并根据所述车辆位置和所述车轮位置获取所述图像中车辆图像和车轮图像；

所述第二预测模块用于根据所述车辆图像和所述车轮图像，基于图卷积神经网络模块预测所述车辆与所述车轮的从属关系。

本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的车辆与车轮从属关系预测方法。

最后，本发明提供一种车辆与车轮从属关系预测终端，包括：处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述车辆与车轮从属关系预测终端执行上述的车辆与车轮从属关系预测方法。

如上所述，本发明的车辆与车轮从属关系预测方法、系统、存储介质及终端，具有以下有益效果：

(1)通过图卷积神经网络实现车辆与车轮的视觉和语义特征的关联，实现车辆特征和车轮特征的融合，有效提升了特征的丰富性，进而提升了提升车辆与车轮从属关系的预测精度；

(2)将图卷积神经网络的节点融合过程进行矩阵化处理，进一步缩短算法执行过程的耗时，有效提升了算法的实时性，以满足嵌入式设备；

(3)在鱼眼场景下，车辆与车轮从属关系预测准确率为97.6％，满足近帧率为40FPS的应用需求；相比异步检测算法，准确率提升6.3％，帧率提升6FPS；相比于同步检测算法，准确率提升3.7％，帧率提升9FPS。

附图说明

图1显示为车辆与车轮于一实施例中的从属关系示意图；

图2显示为本发明的车辆与车轮从属关系预测方法于一实施例中的流程图；

图3显示为本发明的车辆与车轮从属关系预测方法于一实施例中的框架示意图；

图4显示为本发明的鱼眼图像集于一实施例中的示意图；

图5显示为本发明的图卷积神经网络模块于一实施例中的框架示意图；

图6显示为本发明的车辆与车轮从属关系预测系统于一实施例中的结构示意图；

图7显示为本发明的车辆与车轮从属关系预测终端于一实施例中的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

图卷积神经网络(Graph Convolutional Network，GCN)是一种能对图数据进行深度学习的方法。具体地，GCN能够从图数据中提取特征，从而可以使用这些特征去对图数据进行节点分类(node classification)、图分类(graph classification)、边预测(linkprediction)等，具有广泛的用途。

本发明的车辆与车轮从属关系预测方法、系统、存储介质及终端通过采用图卷积神经网络进行车辆与车轮的视觉和语义特征的关联，实现车辆特征和车轮特征的融合，有效提升了特征的丰富性，进而提升从属关系预测精度；同时将图卷积神经网络的节点融合过程进行矩阵化处理，进一步缩短算法执行过程的耗时，提高算法实时性，满足嵌入式设备的处理需求，极具实用性。

如图2所示，于一实施例中，本发明的车辆与车轮从属关系预测方法包括以下步骤：

步骤S1、获取包含车辆和车轮的图像。

具体地，当需要预测车辆与车轮从属关系时，首先获取包含车辆和车轮的图像。所述图像可以是未发生畸变的普通图像，也可以是发生畸变的鱼眼图像。优选地，所述图像可以是监控图像，也可以是网络图像。

步骤S2、基于目标检测模块检测所述图像中车辆位置和车轮位置，并根据所述车辆位置和所述车轮位置获取所述图像中车辆图像和车轮图像。

如图3所示，本发明的车辆与车轮从属关系预测方法采用两级网络来实现，即由目标检测模块BackBone和图卷积神经网络模块GCN构成。所述目标检测模块BackBone用于检测所述图像中车辆位置和车轮位置，并根据所述车辆位置和所述车轮位置获取所述图像中车辆图像和车轮图像，可采用深度可分离卷积模型，如MobileNet模型。所述MobileNet模型使用深度可分离卷积代替常规卷积，能够实现模型的轻量化。所述图卷积神经网络模块GCN用于根据所述车辆位置和所述车轮位置来预测车辆与车轮从属关系。

具体地，将所获取的图像输入所述目标检测模块，即可由所述目标检测模块检测所述图像中车辆位置和车轮位置，并根据所述车辆位置和所述车轮位置获取所述图像中车辆图像和车轮图像。

步骤S3、根据所述车辆图像和所述车轮图像，基于图卷积神经网络模块预测所述车辆与所述车轮的从属关系。

具体地，将所述车辆图像和所述车轮图像输入图卷积神经网络模块中，所述图卷积神经网络模块即可输出所述图像中车辆与车轮的从属关系，即车轮属于车辆或车轮不属于车辆。

于一实施例中，本发明的车辆与车轮从属关系预测方法还包括步骤：训练所述图卷积神经网络模块。下面以鱼眼图像为例来阐述所述图卷积神经网络模块的训练过程。于本发明一实施例中，训练所述图卷积神经网络模块包括以下步骤：

31)获取包含车辆和车轮的图像集，并标注所述车辆和所述车轮的从属关系。

具体地，为了适应自动驾驶领域多搭载鱼眼摄像头的应用场景，需要采集足够多的鱼眼图像作为样本来进行车辆与车轮从属关系预测模型的训练。同时，还需要对所述鱼眼图像进行标注，标明车辆和车轮的从属关系，即“车轮属于车辆”或“车轮不属于车辆”。在训练所述车辆与车轮从属关系预测模型时，将所述标注信息作为标签，将鱼眼图像作为输入。

于本发明一实施例中，使用搭载四路鱼眼摄像头的实验车，分别在地上停车场、地下停车场、工业园区以及高速公路场景下采集如图4所示的鱼眼图像，采集得到的图像总量约1万张。优选地，在训练所述车辆与车轮从属关系预测模型时，将标注好的鱼眼图像集划分为训练图像集和测试图像集，并基于所述训练图像集训练所述车辆与车轮从属关系预测模型，基于所述测试图像集验证训练好的车辆与车轮从属关系预测模型。在该实施例中，训练图像集约8000张，测试图像集约2000张。

32)获取所述目标检测模块获取的所述图像中车辆图像和车轮图像。

具体地，所述目标检测模块针对所述图像集中的每个图像检测其中车辆位置和车轮位置，并根据所述车辆位置和所述车轮位置获取所述图像中车辆图像和车轮图像。

33)基于所述车辆图像、所述车轮图像和所述从属关系训练所述图卷积神经网络模块，以使所述图卷积神经网络模型进行车辆与车轮的从属关系的预测。

将标注好的鱼眼图像集输入所述图卷积神经网络模块中，以所述车辆图像和所述车轮图像为输入，所述从属关系为标签，对所述图卷积神经网络模块进行预测，以生成训练好的图卷积神经网络模块。

具体地，所述图卷积神经网络模块根据所述车辆图像和所述车轮图像进行特征融合，从而预测车辆与车轮的从属关系。如图5所示，所述图卷积神经网络模块包括预处理模块51、卷积模块52、车辆矩阵模块53、车轮矩阵模块54、级联模块55和全连接激活模块56。

所述预处理模块(crop_resize)51用于对鱼眼图像中的车辆图像和车辆图像进行裁剪和双线性插值处理，以得到预设尺寸的车辆图像和车轮图像。优选地，所述预设尺寸为64x64。

所述卷积模块52与所述预处理模块51相连，用于对所述预设尺寸的车辆图像和车轮图像进行卷积(conv)、归一化(BN)和激活函数(relu)处理，得到所述预设尺寸的车辆图像和车轮图像的节点特征。优选地，所述卷积模块包括相连的三个子卷积模块(conv_block)，每个子卷积模块均进行卷积、归一化和激活函数处理。优选地，三个子卷积模块的卷积核都为3x3，卷积核个数依次为16、64和128，步长依次为1、2和2。

所述车辆矩阵模块53与所述卷积模块52相连，用于基于车辆矩阵从所述节点特征中检索车辆特征。所述车辆矩阵用于从所述节点特征中检索车辆特征。所述车辆矩阵的行数为所述鱼眼图像中的车辆个数，每行表示一个车辆；列数为所述鱼眼图像中车辆和车轮总数，每列表示一个车辆或一个车轮；所述鱼眼图像中第i行表示的车辆位于第j列表示的车辆或车轮时，所述车辆矩阵的第i行、第j列的元素值为1，否则为0。

所述车轮矩阵模块54与所述卷积模块52相连，用于基于车轮特征从所述节点特征中检索车轮特征。具体地，所述车轮矩阵用于从所述节点特征中检索车轮特征。所述车轮矩阵的行数为所述鱼眼图像中的车轮个数，每行表示一个车轮；列数为所述鱼眼图像中车辆和车轮总数，每列表示一个车辆或车轮；所述鱼眼图像中第i行表示的车轮位于第j列表示的车辆或车轮时，所述车轮矩阵的第i行、第j列的元素值为1，否则为0。

所述级联模块(concat)55与所述车辆矩阵模块53和所述车轮矩阵模块54相连，用于将所述车辆特征和所述车轮特征按通道级联，以使每个车辆与每个车轮级联。

所述全连接激活模块56与所述级联模块55相连，用于对级联后的所述车辆特征和所述车轮特征进行全连接激活处理，以得到车辆与车轮从属关系的预测结果。于本发明一实施例中，所述全连接激活模块包括相连的三个子全连接激活模块fc_block、fc_block和fc+softmax，输出神经元的个数分别为64、32和2。其中，fc_block表示全连接、relu的组合fc+softmax表示全连接后使用softmax激活函数。

为了提升本发明的车辆与车轮从属关系预测方法的算法实时性，优选地，所述车辆矩阵模块52和所述车轮矩阵模块54采用并行处理方式。

如图6所示，于一实施例中，本发明的车辆与车轮从属关系预测系统包括获取模块61、第一预测模块62和第二预测模块63。

所述获取模块61用于获取包含车辆和车轮的图像。

所述第一预测模块62与所述获取模块61相连，用于基于目标检测模块检测所述图像中车辆位置和车轮位置，并根据所述车辆位置和所述车轮位置获取所述图像中车辆图像和车轮图像。

所述第二预测模块63与所述第一预测模块62相连，用于根据所述车辆图像和所述车轮图像，基于图卷积神经网络模块预测所述车辆与所述车轮的从属关系。

其中，获取模块61、第一预测模块62和第二预测模块63的结构和原理与上述车辆与车轮从属关系预测方法中的步骤一一对应，故在此不再赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。

本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的车辆与车轮从属关系预测方法。优选地，所述存储介质包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

如图7所示，于一实施例中，本发明的车辆与车轮从属关系预测终端包括：处理器71和存储器72。

所述存储器72用于存储计算机程序。

所述存储器72包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

所述处理器71与所述存储器72相连，用于执行所述存储器72存储的计算机程序，以使所述车辆与车轮从属关系预测终端执行上述的车辆与车轮从属关系预测方法。

优选地，所述处理器71可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

综上所述，本发明的车辆与车轮从属关系预测方法、系统、存储介质及终端通过图卷积神经网络实现车辆与车轮的视觉和语义特征的关联，实现辆特征和车轮特征的融合，有效提升了特征的丰富性，进而提升了提升车辆与车轮从属关系的预测精度；将图卷积神经网络的节点融合过程进行矩阵化处理，进一步缩短算法执行过程的耗时，有效提升了算法的实时性，以满足嵌入式设备；在鱼眼场景下，车辆与车轮从属关系预测准确率为97.6％，满足近帧率为40FPS的应用需求；相比异步检测算法，准确率提升6.3％，帧率提升6FPS；相比于同步检测算法，准确率提升3.7％，帧率提升9FPS。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。