一种车牌分割模型训练方法、车牌分割方法及相关装置

摘要

本申请公开了一种车牌分割模型训练方法、车牌分割方法及相关装置，车牌分割模型训练方法包括：构建车牌分割网络；对获取的待训练车牌图像进行车牌初定位，并根据得到的定位结果对待训练车牌图像进行裁剪，得到第一初始车牌区域图像；对第一初始车牌区域图像中的车牌区域进行标注，得到训练样本；将训练样本输入到车牌分割网络进行训练，得到车牌分割模型。本申请解决了传统的车牌分割方法将车牌图像处理成二值图或灰度图，然后通过人工设计算法进行边缘检测和轮廓提取，存在的分割速度慢，且容易受到噪声、图像模糊等因素的干扰，影响车牌分割效果的技术问题。

说明书

技术领域

本申请涉及图像处理技术领域，尤其涉及一种车牌分割模型训练方法、车牌分割方法及相关装置。

背景技术

通过将车牌图像中的车牌区域与背景区域进行分割，有助于后续提高车牌识别精度，避免背景区域的干扰。传统的车牌分割方法将车牌图像处理成二值图或灰度图，然后通过人工设计算法进行边缘检测和轮廓提取，该方法分割速度慢，且容易受到噪声、图像模糊等因素的干扰，影响车牌分割效果。

发明内容

本申请提供了一种车牌分割模型训练方法、车牌分割方法及相关装置，用于解决传统的车牌分割方法将车牌图像处理成二值图或灰度图，然后通过人工设计算法进行边缘检测和轮廓提取，存在的分割速度慢，且容易受到噪声、图像模糊等因素的干扰，影响车牌分割效果的技术问题。

有鉴于此，本申请第一方面提供了一种车牌分割方法，包括：

构建车牌分割网络；

对获取的待训练车牌图像进行车牌初定位，并根据得到的定位结果对所述待训练车牌图像进行裁剪，得到第一初始车牌区域图像；

对所述第一初始车牌区域图像中的车牌区域进行标注，得到训练样本；

将所述训练样本输入到所述车牌分割网络进行训练，得到车牌分割模型。

可选的，所述车牌分割网络包括依次连接的卷积层、批量归一化层、池化层、残差模块和Softmax层；

其中，所述卷积层用于对所述车牌分割网络的输入数据进行卷积处理，得到卷积特征图；

所述批量归一化层用于对所述卷积特征图进行批量归一化操作，得到归一化后的所述卷积特征图；

所述池化层用于对归一化后的所述卷积特征图进行池化处理，得到池化特征图；

所述残差模块用于对所述池化特征图进行特征提取，并将提取得到的特征图与所述池化特征图案进行叠加，得到残差特征图；

所述Softmax层用于基于所述残差特征图预测所述训练样本中各像素点属于车牌或背景的概率。

可选的，所述残差模块的数量为多个；

多个所述残差模块之间连接有所述池化层。

可选的，多个所述残差模块之间连接有上采样层。

本申请第二方面提供了一种车牌分割方法，包括：

获取待分割车牌图像对应的第二初始车牌区域图像；

将所述第二初始车牌区域图像输入到车牌分割模型进行车牌分割，得到车牌区域图像，所述车牌分割模型通过第一方面任一种所述的车牌分割模型训练方法得到。

可选的，所述将所述第二初始车牌区域图像输入到车牌分割模型进行车牌分割，得到车牌区域图像，之后还包括：

对所述车牌区域图像进行矫正，并对矫正后的所述车牌区域图像进行车牌识别，得到所述车牌区域图像对应的车牌识别结果。

本申请第三方面提供了一种车牌分割模型训练装置，包括：

构建单元，用于构建车牌分割网络；

定位和裁剪单元，用于对获取的待训练车牌图像进行车牌初定位，并根据得到的定位结果对所述待训练车牌图像进行裁剪，得到第一初始车牌区域图像；

标注单元，用于对所述第一初始车牌区域图像中的车牌区域进行标注，得到训练样本；

训练单元，用于将所述训练样本输入到所述车牌分割网络进行训练，得到车牌分割模型。

本申请第四方面提供了一种车牌分割装置，包括：

获取单元，用于获取待分割车牌图像对应的第二初始车牌区域图像；

分割单元，用于将所述第二初始车牌区域图像输入到车牌分割模型进行车牌分割，得到车牌区域图像，所述车牌分割模型通过第一方面任一种所述的车牌分割模型训练方法得到。

本申请第五方面提供了一种电子设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的车牌分割模型训练方法。

本申请第六方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面任一种所述的车牌分割模型训练方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供了一种车牌分割模型训练方法，包括：构建车牌分割网络；对获取的待训练车牌图像进行车牌初定位，并根据得到的定位结果对待训练车牌图像进行裁剪，得到第一初始车牌区域图像；对第一初始车牌区域图像中的车牌区域进行标注，得到训练样本；将训练样本输入到车牌分割网络进行训练，得到车牌分割模型。

本申请中，对待训练车牌图像进行处理得到训练样本，通过训练样本对构建的车牌分割网络进行端到端的训练，得到车牌分割模型，该车牌分割模型可以对车牌图像实现像素级的分割，有助于提高车牌分割精度和速度；通过对获取的待训练车牌图像进行车牌初定位，并根据得到的定位结果对待训练车牌图像进行裁剪，使得车牌分割网络充分学习车牌区域特征，减少背景图像对车牌分割网络的干扰，有助于提高车牌分割效果，解决了传统的车牌分割方法将车牌图像处理成二值图或灰度图，然后通过人工设计算法进行边缘检测和轮廓提取，存在的分割速度慢，且容易受到噪声、图像模糊等因素的干扰，影响车牌分割效果的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种车牌分割模型训练方法的一个流程示意图；

图2为本申请实施例提供的一种车牌分割网络的一个结构示意图；

图3为本申请实施例提供的一种残差模块的一个结构示意图；

图4为本申请实施例提供的一种残差单元的一个结构示意图；

图5为本申请实施例提供的一种车牌分割方法的另一个流程示意图；

图6为本申请实施例提供的通过车牌分割后得到的车牌区域图像以及矫正后的车牌区域图像的示意图；

图7为本申请实施例提供的一种车牌分割模型训练装置的一个结构示意图；

图8为本申请实施例提供的一种车牌分割装置的一个结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请提供的一种车牌分割方法的一个实施例，包括：

步骤101、构建车牌分割网络。

本申请中的车牌分割网络包括依次连接的卷积层、批量归一化层、池化层、残差模块和Softmax层，车牌分割网络的损失函数可以为Softmax Loss；其中，卷积层用于对车牌分割网络的输入数据进行卷积处理，得到卷积特征图；批量归一化层用于对卷积特征图进行批量归一化操作，得到归一化后的卷积特征图；池化层用于对归一化后的卷积特征图进行池化处理，得到池化特征图；残差模块用于对池化特征图进行特征提取，并将提取得到的特征图与池化特征图案进行叠加，得到残差特征图；Softmax层用于基于残差特征图预测训练样本中各像素点属于车牌或背景的概率。

进一步，本申请实施例中的残差模块的数量为多个；多个残差模块之间连接有池化层。进一步，本申请实施例中的车牌分割网络中的多个残差模块之间连接有上采样层。本申请实施例优选采用图2提供的网络结构作为车牌分割网络，图2中的车牌分割网络包括两个卷积层Conv、2个批量归一化层BN、3个池化层Pool、3个上采样层Upsample、5个残差模块RB和一个Softmax层，Relu为线性修正单元，BN+Relu用于对输入特征图进行批量归一化处理和线性修正，且不改变输入特征图的大小。残差模块由若干个残差单元(Residual Unit，RU)串联构成，可以参考图3，其中残差单元的结构可以参考图4，“Eltwise”表示两个大小相同的特征图按元素相加的操作。

进一步，本申请实施例中的车牌分割网络的结构参数可以参考表1，其中，n为卷积核个数，k为卷积核尺寸，s为步长，p为zero-padding的个数，scale为上采样的尺度，残差单元中卷积层的配置依次为：[n＝12,k＝1,s＝1,p＝0]、[n＝12,k＝3,s＝1,p＝1]、[n＝24,k＝1,s＝1,p＝0]。

表1车牌分割网络的结构参数

步骤102、对获取的待训练车牌图像进行车牌初定位，并根据得到的定位结果对待训练车牌图像进行裁剪，得到第一初始车牌区域图像。

可以从网络上获取待训练车牌图像，也可以通过摄像头采集待训练车牌图像，考虑到获取的待训练车牌图像往往包含大量的背景区域，而车牌区域往往只占一小块区域，基于此，本申请实施例中通过车牌定位算法对获取的待训练车牌图像进行车牌初定位，得到包含车牌宽高比的定位结果，然后根据该定位结果中定位的车牌宽高比按照设定比例裁剪车牌区域，得到第一初始车牌区域图像。

步骤103、对第一初始车牌区域图像中的车牌区域进行标注，得到训练样本。

对裁剪得到的第一初始车牌区域图像中的车牌区域进行标注，得到训练样本。具体的标注过程属于现有技术，在此不再进行赘述。

步骤104、将训练样本输入到车牌分割网络进行训练，得到车牌分割模型。

设定训练策略，将训练样本输入到车牌分割网络进行迭代训练，直至迭代次数达到预置迭代次数或车牌分割网络的训练误差低于预置误差预置，则判定车牌分割网络收敛，停止训练，获得最终的车牌分割模型。本申请实施例中的车牌分割模型在升降机上的评估结果和速度如表2、表3所示。

表2

表3

本申请实施例提出了一种车牌分割模型训练方法，可以避免人工设计的车牌分割算法带来的不稳定性，将车牌分割问题转换为语义分割问题，实现了车牌端到端的像素级分割，本申请实施例中的车牌分割模型具有模型小，精度高、计算速度快等优点，能够广泛适用于车牌识别相机设备或车牌识别相关设备中，对于嵌入式设备同样适用。

本申请实施例中，对待训练车牌图像进行处理得到训练样本，通过训练样本对构建的车牌分割网络进行端到端的训练，得到车牌分割模型，该车牌分割模型可以对车牌图像实现像素级的分割，有助于提高车牌分割精度和速度；通过对获取的待训练车牌图像进行车牌初定位，并根据得到的定位结果对待训练车牌图像进行裁剪，使得车牌分割网络充分学习车牌区域特征，减少背景图像对车牌分割网络的干扰，有助于提高车牌分割效果，解决了传统的车牌分割方法将车牌图像处理成二值图或灰度图，然后通过人工设计算法进行边缘检测和轮廓提取，存在的分割速度慢，且容易受到噪声、图像模糊等因素的干扰，影响车牌分割效果的技术问题。

以上为本申请提供的一种车牌分割模型训练方法的一个实施例，以下为本申请提供的一种车牌分割方法的一个实施例。

请参考图5，本申请实施例提供的一种车牌分割方法，包括：

步骤201、获取待分割车牌图像对应的第二初始车牌区域图像。

可以通过摄像头获取待分割车牌图像。考虑到获取的待分割车牌图像往往包含大量的背景区域，而车牌区域往往只占一小块区域，因此，可以通过车牌定位算法对获取的待分割车牌图像进行车牌初定位，并根据得到的定位结果对待分割车牌图像进行裁剪，得到第二初始车牌区域图像。

步骤202、将第二初始车牌区域图像输入到车牌分割模型进行车牌分割，得到车牌区域图像。

本申请实施例中的车牌分割模型通过前述实施例中的车牌分割模型训练方法得到，将第二初始车牌区域图像作为测试样本输入到车牌分割模型进行端到端的车牌分割，得到车牌区域图像，可以参考图6。

进一步，将第二初始车牌区域图像输入到车牌分割模型进行车牌分割，得到车牌区域图像，之后还包括：对车牌区域图像进行矫正，矫正后的车牌区域图像可以参考图6。然后对矫正后的车牌区域图像进行车牌识别，得到车牌区域图像对应的车牌识别结果。

由于拍摄的待分割车牌图像的角度不一，获得的待分割车牌图像中车牌会出现各种倾斜的情况，为了提高车牌识别精度，可以对其进行矫正再进行车牌识别。

本申请实施例中，将待分割车牌图像对应的第二初始车牌区域图像输入到车牌分割模型进行端到端的车牌分割，可以对车牌图像实现像素级的分割，有助于提高车牌分割精度和速度；通过对获取的待训练车牌图像进行车牌初定位，并根据得到的定位结果对待训练车牌图像进行裁剪，使得车牌分割模型充分提取车牌区域特征，减少背景图像对车牌分割网络的干扰，有助于提高车牌分割效果，解决了传统的车牌分割方法将车牌图像处理成二值图或灰度图，然后通过人工设计算法进行边缘检测和轮廓提取，存在的分割速度慢，且容易受到噪声、图像模糊等因素的干扰，影响车牌分割效果的技术问题。

以上为本申请提供的一种车牌分割方法的一个实施例，以下为本申请提供的一种车牌分割模型训练装置的一个实施例。

请参考图7，本申请实施例提供的一种车牌分割模型训练装置，包括：

构建单元，用于构建车牌分割网络；

定位和裁剪单元，用于对获取的待训练车牌图像进行车牌初定位，并根据得到的定位结果对待训练车牌图像进行裁剪，得到第一初始车牌区域图像；

标注单元，用于对第一初始车牌区域图像中的车牌区域进行标注，得到训练样本；

训练单元，用于将训练样本输入到车牌分割网络进行训练，得到车牌分割模型。

本申请实施例中，对待训练车牌图像进行处理得到训练样本，通过训练样本对构建的车牌分割网络进行端到端的训练，得到车牌分割模型，该车牌分割模型可以对车牌图像实现像素级的分割，有助于提高车牌分割精度和速度；通过对获取的待训练车牌图像进行车牌初定位，并根据得到的定位结果对待训练车牌图像进行裁剪，使得车牌分割网络充分学习车牌区域特征，减少背景图像对车牌分割网络的干扰，有助于提高车牌分割效果，解决了传统的车牌分割方法将车牌图像处理成二值图或灰度图，然后通过人工设计算法进行边缘检测和轮廓提取，存在的分割速度慢，且容易受到噪声、图像模糊等因素的干扰，影响车牌分割效果的技术问题。

以上为本申请提供的一种车牌分割模型训练装置的一个实施例，以下为本申请提供的一种车牌分割装置的一个实施例。

请参考图8，本申请实施例提供的一种车牌分割装置，包括：

获取单元，用于获取待分割车牌图像对应的第二初始车牌区域图像；

分割单元，用于将第二初始车牌区域图像输入到车牌分割模型进行车牌分割，得到车牌区域图像，车牌分割模型通过前述方法实施例中的车牌分割模型训练方法得到。

最为进一步地改进，还包括：

矫正和识别单元，用于对车牌区域图像进行矫正，并对矫正后的车牌区域图像进行车牌识别，得到车牌区域图像对应的车牌识别结果。

本申请实施例中，将待分割车牌图像对应的第二初始车牌区域图像输入到车牌分割模型进行端到端的车牌分割，可以对车牌图像实现像素级的分割，有助于提高车牌分割精度和速度；通过对获取的待训练车牌图像进行车牌初定位，并根据得到的定位结果对待训练车牌图像进行裁剪，使得车牌分割模型充分提取车牌区域特征，减少背景图像对车牌分割网络的干扰，有助于提高车牌分割效果，解决了传统的车牌分割方法将车牌图像处理成二值图或灰度图，然后通过人工设计算法进行边缘检测和轮廓提取，存在的分割速度慢，且容易受到噪声、图像模糊等因素的干扰，影响车牌分割效果的技术问题。

本申请实施例还提供一种电子设备，设备包括处理器以及存储器；

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令执行前述方法实施例中的车牌分割模型训练方法。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行前述方法实施例中的车牌分割模型训练方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。