交通灯识别模型训练方法、装置及交通灯识别方法、装置

摘要

本申请公开了一种交通灯识别模型训练方法、装置及交通灯识别方法、装置，该方法包括：获取训练样本图像，具体包括交通灯图像和非交通灯图像；利用训练样本图像，对交通灯识别模型中用于提取包含多维信息的图像特征的特征提取网络和用于识别图像特征是否为交通灯特征的第一特征识别网络进行训练；基于训练后的特征提取网络，利用交通灯图像对用于识别交通灯颜色的第二特征识别网络和用于识别交通灯属性的第三特征识别网络进行训练；最后输出训练后的交通灯识别模型。本申请通过改进的网络结构，能够学习到交通灯全信息，且将特征识别网络拆分为三个分支网络分别训练，能够学习到数据的内在特点和内在联系，提高了交通灯识别模型的识别效果。

说明书

技术领域

本申请涉及深度学习技术领域，尤其涉及一种交通灯识别模型训练方法、装置及交通灯识别方法、装置。

背景技术

在自动驾驶视觉感知领域，交通灯的检测和识别对自动驾驶能力具有重要意义，交通灯作为小目标检测物体通常在原始图像中仅有几个到十几个像素的信息表达，且对于左转掉头等细致信息要正确识别并提供给自动驾驶的决策模块，仅凭现有的检测模型无法实现，往往需要后处理识别模块对交通灯进一步识别，从而提高交通灯识别精度。

现有的交通灯后处理识别方案主要有两种，一种是传统的交通灯后处理识别方案，通过HSV(Hue-Saturation-Value，色调-饱和度-亮度)色度空间和RGB(红-绿-蓝)信息，统计交通灯红色分量、黄色分量和绿色分量的占比，从而对交通灯进行分类识别。另一种是基于深度学习的交通灯后处理识别，即采用现有的深度学习训练识别模型对交通灯进行识别。

上述传统交通灯后处理识别方案仅对交通灯的颜色识别效果较好，但泛化性较差，如因天气因素导致颜色无法在指定颜色阈值内导致识别结果一定误差，且对于左转、右转、掉头等交通灯的具体属性信息无法识别。

基于深度学习的交通灯后处理识别方案既可以对交通灯进行颜色分类，又可以对属性，如左转、右转、掉头等进行分类，但现有的识别模型忽略了交通灯数据独特的内在数据特点和内在联系，仅具有普通的统计特性，因此对于训练得到的识别模型的识别精度仍有待提升。

发明内容

本申请实施例提供了一种交通灯识别模型训练方法、装置及交通灯识别方法、装置，以提高交通灯识别模型的识别精度。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种交通灯识别模型训练方法，其中，所述方法包括：

获取训练样本图像，所述训练样本图像包括交通灯图像和非交通灯图像；

利用所述训练样本图像，对交通灯识别模型的特征提取网络和第一特征识别网络进行训练，所述特征提取网络用于提取包含多维信息的图像特征，所述第一特征识别网络用于识别所述图像特征是否为交通灯特征；

基于训练后的特征提取网络，利用所述交通灯图像对所述交通灯识别模型的第二特征识别网络和第三特征识别网络进行训练，所述第二特征识别网络用于识别交通灯颜色，所述第三特征识别网络用于识别交通灯属性；

基于训练后的特征提取网络、训练后的第一特征识别网络、训练后的第二特征识别网络以及训练后的第三特征识别网络，输出训练后的交通灯识别模型。

可选地，所述特征提取网络包括特征提取基础网络和特征提取强化网络，所述利用所述训练样本图像，对交通灯识别模型的特征提取网络和第一特征识别网络进行训练包括：

利用所述特征提取基础网络，对所述训练样本图像进行卷积处理，得到第一卷积处理结果；

利用所述特征提取强化网络，对所述第一卷积处理结果进行强化处理，得到特征强化处理结果；

利用所述第一特征识别网络，对所述特征强化处理结果进行特征识别，得到特征识别结果；

根据所述特征识别结果和所述训练样本图像的样本标签，确定损失函数值；

根据所述损失函数值优化所述特征提取网络的参数以及所述第一特征识别网络的参数。

可选地，所述利用所述特征提取基础网络，对所述训练样本图像进行卷积处理，得到第一卷积处理结果包括：

对所述训练样本图像进行混合空洞卷积处理，得到混合空洞卷积处理结果；

对所述训练样本图像进行3x3卷积处理，得到3x3卷积处理结果；

将所述混合空洞卷积处理结果与所述3x3卷积处理结果按照通道维度进行拼接，得到拼接后的卷积处理结果；

将所述拼接后的卷积处理结果作为所述第一卷积处理结果。

可选地，所述特征提取强化网络包括第一强化网络分支、第二强化网络分支和第三强化网络分支，所述利用所述特征提取强化网络，对所述第一卷积处理结果进行强化处理，得到特征强化处理结果包括：

对所述第一卷积处理结果进行1x1卷积处理，得到第二卷积处理结果；

利用所述第一强化网络分支，对所述第二卷积处理结果进行强化处理，得到第一特征强化处理结果；

利用所述第二强化网络分支，对所述第二卷积处理结果进行强化处理，得到第二特征强化处理结果；

利用所述第三强化网络分支，对所述第一特征强化处理结果和所述第二特征强化处理结果进行融合处理，得到第三特征强化处理结果。

可选地，所述利用所述第一强化网络分支，对所述第二卷积处理结果进行强化处理，得到第一特征强化处理结果包括：

对所述第二卷积处理结果进行1x1卷积处理，得到第三卷积处理结果；

利用非线性激活函数对所述第三卷积处理结果进行处理，得到所述非线性激活函数的第一处理结果；

将所述非线性激活函数的第一处理结果与所述第二卷积处理结果按照通道维度进行矩阵点乘，得到所述第一特征强化处理结果，所述第一特征强化处理结果包括交通灯位置特征的强化处理结果。

可选地，所述利用所述第二强化网络分支，对所述第二卷积处理结果进行强化处理，得到第二特征强化处理结果包括：

对所述第二卷积处理结果进行全局平均池化处理，得到全局平均池化处理结果；

将所述全局平均池化处理结果输入全连接层，得到所述全连接层的输出结果；

利用非线性激活函数对所述全连接层的输出结果进行处理，得到所述非线性激活函数的第二处理结果；

将所述非线性激活函数的第二处理结果与所述第二卷积处理结果进行数乘，得到所述第二特征强化处理结果，所述第二特征强化处理结果包括通道重要性特征的强化处理结果。

可选地，所述利用所述第三强化网络分支，对所述第一特征强化处理结果和所述第二特征强化处理结果进行融合处理，得到第三特征强化处理结果包括：

基于残差网络，将所述第一特征强化处理结果和所述第二特征强化处理结果进行拼接，得到综合特征强化处理结果；

对所述综合特征强化处理结果进行1x1卷积处理，得到第四卷积处理结果；

通过所述残差网络的跳跃连接，将所述第四卷积处理结果与所述第二卷积处理结果按照通道维度相加，得到相加后的卷积处理结果；

将所述相加后的卷积处理结果进行3x3卷积处理，得到所述特征强化处理结果。

第二方面，本申请实施例还提供一种交通灯识别方法，其中，所述方法包括：

获取待识别图像；

利用交通灯识别模型对所述待识别图像进行识别，得到交通灯识别结果；

其中，所述交通灯识别模型基于前述任一项所述交通灯识别模型训练方法训练得到。

第三方面，本申请实施例还提供一种交通灯识别模型训练装置，其中，所述装置包括：

第一获取单元，用于获取训练样本图像，所述训练样本图像包括交通灯图像和非交通灯图像；

第一训练单元，用于利用所述训练样本图像，对交通灯识别模型的特征提取网络和第一特征识别网络进行训练，所述特征提取网络用于提取包含多维信息的图像特征，所述第一特征识别网络用于识别所述图像特征是否为交通灯特征；

第二训练单元，用于基于训练后的特征提取网络，利用所述交通灯图像对所述交通灯识别模型的第二特征识别网络和第三特征识别网络进行训练，所述第二特征识别网络用于识别交通灯颜色，所述第三特征识别网络用于识别交通灯属性；

输出单元，用于基于训练后的特征提取网络、训练后的第一特征识别网络、训练后的第二特征识别网络以及训练后的第三特征识别网络，输出训练后的交通灯识别模型。

第四方面，本申请实施例还提供一种交通灯识别装置，其中，所述装置包括：

第二获取单元，用于获取待识别图像；

识别单元，用于利用交通灯识别模型对所述待识别图像进行识别，得到交通灯识别结果；

其中，所述交通灯识别模型基于前述所述交通灯识别模型训练装置训练得到。

第五方面，本申请实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述交通灯识别模型训练方法或者交通灯识别方法。

第六方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述交通灯识别模型训练方法或者交通灯识别方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例的交通灯识别模型训练方法，先获取训练样本图像，训练样本图像包括交通灯图像和非交通灯图像；然后利用训练样本图像，对交通灯识别模型的特征提取网络和第一特征识别网络进行训练，特征提取网络用于提取包含多维信息的图像特征，第一特征识别网络用于识别图像特征是否为交通灯特征；之后基于训练后的特征提取网络，利用交通灯图像对交通灯识别模型的第二特征识别网络和第三特征识别网络进行训练，第二特征识别网络用于识别交通灯颜色，第三特征识别网络用于识别交通灯属性；最后基于训练后的特征提取网络、训练后的第一特征识别网络、训练后的第二特征识别网络以及训练后的第三特征识别网络，输出训练后的交通灯识别模型。本申请实施例的交通灯识别模型训练方法通过改进的特征提取网络结构，能够学习到全方位的交通灯信息，且基于交通灯识别特性将特征识别网络拆分为三个分支网络分别训练，从而能够学习到交通灯数据的内在特点和内在联系，提高了交通灯识别模型的识别精度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种交通灯识别模型训练方法的流程示意图；

图2为本申请实施例中一种交通灯识别模型的整体网络结构示意图；

图3为本申请实施例中一种特征提取强化网络的整体结构示意图；

图4为本申请实施例中一种交通灯识别方法的流程示意图；

图5为本申请实施例中一种交通灯识别模型训练装置的结构示意图；

图6为本申请实施例中一种交通灯识别装置的结构示意图；

图7为本申请实施例中一种电子设备的结构示意图

图8为本申请实施例中另一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

本申请实施例提供了一种交通灯识别模型训练方法，如图1所示，提供了本申请实施例中一种交通灯识别模型训练方法的流程示意图，所述方法至少包括如下的步骤S110至步骤S140：

步骤S110，获取训练样本图像，所述训练样本图像包括交通灯图像和非交通灯图像。

本申请实施例在训练交通灯识别模型时，需要先获取训练样本图像，具体包括交通灯图像，即图像中包含真实的交通灯信息的图像，以及非交通灯图像，即图像中不包含真实的交通灯信息的图像。

上述训练样本图像可以根据具体是否包含交通灯信息以及包含的交通灯信息的类型事先标注好，例如，设置一组标签为1是交通灯，0不是交通灯，用来区分交通灯图像和非交通灯图像。进一步地，对于交通灯图像，还可以标注具体的交通灯类型，包括颜色分类和属性分类等，例如，设置一组颜色标签为0代表红色、1代表黄色、2代表绿色、3代表其他颜色，设置一组属性标签为0代表左转、1代表直行、2代表右转、3代表掉头、4代表人行、5代表自行车、6代表倒计时牌，等等。将上述三组标记好的标签作为三种监督信号训练模型的识别能力。

步骤S120，利用所述训练样本图像，对交通灯识别模型的特征提取网络和第一特征识别网络进行训练，所述特征提取网络用于提取包含多维信息的图像特征，所述第一特征识别网络用于识别所述图像特征是否为交通灯特征。

考虑到交通灯检测模型可能会检测到假阳性的交通标志，如路边悬挂的红灯笼、红色十字结等，这些目标远距离观察和交通灯有相似之处，容易迷惑识别模型，因此本申请实施例在训练交通灯识别模型时，先训练特征提取网络和第一特征识别网络两部分。

特征提取网络可以看作是一个backbone主干网络，用于提取训练样本图像中包含多维信息的图像特征。第一特征识别网络Head_is主要用于检测输入的训练样本图像中是否包含交通灯信息。在训练这两个网络时，输入数据包括交通灯图像和非交通灯图像，监督信号为1是交通灯图像，0不是交通灯图像，当Head_is达到指定迭代次数且精度达到指定要求时，这两个网络的训练任务完成，此时可以认为backbone和Head_is都具备交通灯的认知能力。

步骤S130，基于训练后的特征提取网络，利用所述交通灯图像对所述交通灯识别模型的第二特征识别网络和第三特征识别网络进行训练，所述第二特征识别网络用于识别交通灯颜色，所述第三特征识别网络用于识别交通灯属性。

当backbone和Head_is两个网络训练完成后，此时可以冻结backbone和Head_is的网络参数，训练第二特征识别网络Head_color和第三特征识别网络Head_content两个网络的参数。第二特征识别网络Head_color主要用于识别交通灯图像中的交通灯颜色，第三特征识别网络Head_content主要用于识别交通灯图像中的交通灯属性。

在训练Head_color和Head_content时，输入数据为交通灯图像，监督信号包含两部分，Head_color的监督信号为0是红色、1是黄色、2是绿色、3是其他颜色，Head_content的监督信号为0是左转、1是直行、2是右转、3是掉头、4是人行、5是自行车、6是倒计时牌，当Head_color和Head_content达到指定迭代次数且精度达到指定要求时，这两个网络的训练任务完成，此时可以认为Head_color具备交通灯的颜色识别能力，Head_content具备交通灯的属性识别能力。

本申请实施例将特征识别网络拆分成了Head_is、Head_color和Head_content三个分支，Head_is的作用在于直接筛选出交通灯图像和非交通灯图像，对于非交通灯图像不需要再关注Head_color和Head_content的输出结果。Head_color和Head_content的设计在于学习交通灯特征的内在联系，如绿灯直行和绿灯左转的共有特征为绿色，红灯直行和绿灯直行的共有特征为直行，当拆分为两个分支时，模型可学习到数据之间的相关性，且无信息混淆，相比于仅采用一个特征识别网络直接分类得到组合属性颗粒度的识别结果如红灯直行的方式来说，变相的增加了本申请实施例的Head_color分支以及Head_content分支的学习样本，从而增强了学习力度。

步骤S140，基于训练后的特征提取网络、训练后的第一特征识别网络、训练后的第二特征识别网络以及训练后的第三特征识别网络，输出训练后的交通灯识别模型。

在完成上述特征提取网络、第一特征识别网络、第二特征识别网络和第三特征识别网络的训练后，即完成了本申请实施例的交通灯识别模型的训练过程，最终输出训练后的交通灯识别模型即可。

本申请实施例的交通灯识别模型训练方法通过改进的特征提取网络结构，能够学习到全方位的交通灯信息，且基于交通灯识别特性将特征识别网络拆分为三个分支网络分别训练，从而能够学习到交通灯数据的内在特点和内在联系，提高了交通灯识别模型的识别精度。

在本申请的一个实施例中，所述特征提取网络包括特征提取基础网络和特征提取强化网络，所述利用所述训练样本图像，对交通灯识别模型的特征提取网络和第一特征识别网络进行训练包括：利用所述特征提取基础网络，对所述训练样本图像进行卷积处理，得到第一卷积处理结果；利用所述特征提取强化网络，对所述第一卷积处理结果进行强化处理，得到特征强化处理结果；利用所述第一特征识别网络，对所述特征强化处理结果进行特征识别，得到特征识别结果；根据所述特征识别结果和所述训练样本图像的样本标签，确定损失函数值；根据所述损失函数值优化所述特征提取网络的参数以及所述第一特征识别网络的参数。

本申请实施例的特征提取网络backbone具体包括特征提取基础网络和特征提取强化网络两部分，特征提取基础网络可以看作backbone的前端，用于提取训练样本图像的基础特征信息，特征提取强化网络可以看作backbone的后端，用于对特征提取基础网络提取出的特征的内在特点和内在联系进行强化学习，进一步提高交通灯全信息的认知能力。

在训练特征提取网络backbone和第一特征识别网络Head_is时，先利用上述特征提取基础网络对训练样本图像进行卷积处理，得到第一卷积处理结果，然后再利用上述特征提取强化网络对第一卷积处理结果进行特征强化处理，加强特征内在特点和内在联系的学习，得到特征强化处理结果，之后再利用第一特征识别网络Head_is对特征强化处理结果进行特征识别，得到特征识别结果，具体包括训练样本图像中是否包含交通灯信息的识别结果。最后将上述特征识别结果与训练样本图像中事先标注好的标签(1是交通灯图像，0不是交通灯图像)进行比较，从而确定网络的损失函数值，进而基于损失函数值通过反向传播的方式更新网络参数，直至网络收敛。

在本申请的一个实施例中，所述利用所述特征提取基础网络，对所述训练样本图像进行卷积处理，得到第一卷积处理结果包括：对所述训练样本图像进行混合空洞卷积处理，得到混合空洞卷积处理结果；对所述训练样本图像进行3x3卷积处理，得到3x3卷积处理结果；将所述混合空洞卷积处理结果与所述3x3卷积处理结果按照通道维度进行拼接，得到拼接后的卷积处理结果；将所述拼接后的卷积处理结果作为所述第一卷积处理结果。

本申请实施例在利用特征提取基础网络对训练样本图像进行卷积处理时，主要采用了混合空洞卷积(Hybrid Dilated Convolution，简称HDC)和3x3卷积(conv3x3)两种卷积方式，两种卷积方式以步长为2进行第一步的下采样特征提取，HDC的作用为通过膨胀因子扩大视野，从而提高信息丰富性，3x3卷积的作用为增加理论感受野。例如，对于输入为(b,64,64,3)大小的训练图像，经过HDC和3x3卷积处理后可以分别得到两个(b,32,32,16)的图像特征。

在经过HDC和3x3卷积处理后，可以将混合空洞卷积处理提取的图像特征(b,32,32,16)与3x3卷积处理提取的图像特征(b,32,32,16)按通道维度进行拼接(concat)，从而得到拼接后的图像特征(b,32,32,32)，进一步提高了特征通道数，进而提高了图像信息的丰富性。

为了便于对上述实施例的理解，如图2所示，提供了本申请实施例中一种交通灯识别模型的整体网络结构示意图。本申请实施例的交通灯识别模型主要包括特征提取网络backbone和特征识别网络两大部分，特征提取网络backbone部分主要包括特征提取基础网络和特征提取强化网络signal_block两个分支，特征提取基础网络作为backbone的前端，主要通过HDC混合空洞卷积和3x3卷积以步长为2进行第一步下采样特征提取，然后将分别提取的特征(b,32,32,16)按通道维度进行concat拼接，得到拼接后的图像特征(b,32,32,32)送入signal_block。

本申请实施例为了提高模型的训练效果，采用了三个依次相连的signal_block，三个signal_block网络结构相同，参数不同。图像特征(b,32,32,32)经过第一个signal_block处理后，可以得到图像特征(b,16,16,64)，然后经过第二个signal_block处理后，可以得到图像特征(b,8,8,128)，经过第三个signal_block处理后，可以得到图像特征(b,4,4,512)，也即每经过一次signal_block处理，都会成倍降低图像分辨率，并成倍提高图像特征的通道数，从而实现更好的特征强化学习效果。当然，具体进行几次signal_block处理，本领域技术人员可以根据模型训练效果灵活调整，在此不作具体限定。

在经过signal_block处理后，可以进入特征识别阶段，特征识别网络具体包括Head_is、Head_color和Head_content三个分支，三个分支的网络结构相同，例如都可以采用conv1x1(1x1卷积)+GAP(Global Average Pool，全局平均池化)+conv1x1+H-swish(非线性激活函数)+FC(Fully Connected layers，全连接层)的网络结构，但是三个分支训练的网络参数不同，从而实现不同的特征识别能力。

具体地，将特征强化处理结果输入Head_is分支，可以得到训练样本图像是否是交通灯图像的识别结果(b,2)，将特征强化处理结果输入Head_color分支，可以得到交通灯图像中的交通灯颜色的识别结果(b,4)，将特征强化处理结果输入Head_content分支，可以得到交通灯图像中的交通灯属性的识别结果(b,7)。

在本申请的一个实施例中，所述特征提取强化网络包括第一强化网络分支、第二强化网络分支和第三强化网络分支，所述利用所述特征提取强化网络，对所述第一卷积处理结果进行强化处理，得到特征强化处理结果包括：对所述第一卷积处理结果进行1x1卷积处理，得到第二卷积处理结果；利用所述第一强化网络分支，对所述第二卷积处理结果进行强化处理，得到第一特征强化处理结果；利用所述第二强化网络分支，对所述第二卷积处理结果进行强化处理，得到第二特征强化处理结果；利用所述第三强化网络分支，对所述第一特征强化处理结果和所述第二特征强化处理结果进行融合处理，得到第三特征强化处理结果。

本申请实施例的特征提取强化网络具体包括第一强化网络分支、第二强化网络分支和第三强化网络分支，三个分支分别侧重学习不同的特征认知能力。具体地，在进行特征强化处理时，先对前述实施例得到的第一卷积处理结果如(b,h,w,c)进行一次1x1卷积处理(conv1x1)，得到第二卷积处理结果，并以此作为后续三个分支强化处理的基础。

首先，对于第一强化网络分支，其主要作用是加强图像中交通灯相对位置信息的学习，因此通过第一强化网络分支对第二卷积处理结果进行交通灯相对位置信息的强化学习，可以得到第一特征强化处理结果。其次，对于第二强化网络分支，其主要作用在于识别重要特征并加强重要特征的学习，因此通过第二强化网络分支对第二卷积处理结果进行重要特征的强化学习，可以得到第二特征强化处理结果。最后，对于第三强化网络分支，其主要作用在于对第一强化网络分支和第二强化网络分支的强化处理结果进行整合，提高信息流通，避免梯度消失和退化问题。

在本申请的一个实施例中，所述利用所述第一强化网络分支，对所述第二卷积处理结果进行强化处理，得到第一特征强化处理结果包括：对所述第二卷积处理结果进行1x1卷积处理，得到第三卷积处理结果；利用非线性激活函数对所述第三卷积处理结果进行处理，得到所述非线性激活函数的第一处理结果；将所述非线性激活函数的第一处理结果与所述第二卷积处理结果按照通道维度进行矩阵点乘，得到所述第一特征强化处理结果，所述第一特征强化处理结果包括交通灯位置特征的强化处理结果。

如图3所示，提供了本申请实施例中一种特征提取强化网络的整体结构示意图。图3中的左上半部分代表的是本申请实施例的第一强化网络分支，主要包括conv1x1+H-swish的处理。

考虑到交通灯的特征信息除了色度信息以外，还与相对位置信息强相关，如三灯的交通灯，上方一般为红灯，中间一般为黄灯，下方一般为绿灯，且它们共有的背景灯板一般为黑色，因此第一强化网络分支的设计主要在于加强交通灯相对位置信息的学习。

具体地，先对前述实施例得到的第二卷积处理结果进行一次1x1卷积，得到第三卷积处理结果(b,h,w,1)，然后利用非线性激活函数H-swish对第三卷积处理结果(b,h,w,1)进行处理，得到非线性激活函数的第一处理结果，这里的H-swish可以根据实际训练需求灵活替换为其他类型的非线性激活函数，在此不作具体限定。最后，将上述conv1x1+H-swish的输出结果与第二卷积处理结果按照各通道的每个特征点分别进行矩阵点乘，提高通道信息交互能力，从而强化位置信息的学习和认知能力。

在本申请的一个实施例中，所述利用所述第二强化网络分支，对所述第二卷积处理结果进行强化处理，得到第二特征强化处理结果包括：对所述第二卷积处理结果进行全局平均池化处理，得到全局平均池化处理结果；将所述全局平均池化处理结果输入全连接层，得到所述全连接层的输出结果；利用非线性激活函数对所述全连接层的输出结果进行处理，得到所述非线性激活函数的第二处理结果；将所述非线性激活函数的第二处理结果与所述第二卷积处理结果进行数乘，得到所述第二特征强化处理结果，所述第二特征强化处理结果包括通道重要性特征的强化处理结果。

如图3所示，图3中的左下半部分代表的是本申请实施例的第二强化网络分支，主要包括GAP+FC+H-swish的处理，从而得到第二特征强化处理结果(b,1,1,c)。

考虑到各特征通道卷积核的学习能力不同，得到的特征重要性也各不相同，因此，本申请实施例通过GAP+FC+H-swish的处理，能够学习到各特征通道的重要性系数，然后将各特征通道的重要性系数与第二卷积处理结果按照各特征通道的维度分别进行数乘，即每个特征乘以一个对应的重要性系数，提高通道信息交互能力，从而强化重要特征的学习和认知能力。

在本申请的一个实施例中，所述利用所述第三强化网络分支，对所述第一特征强化处理结果和所述第二特征强化处理结果进行融合处理，得到第三特征强化处理结果包括：基于残差网络，将所述第一特征强化处理结果和所述第二特征强化处理结果进行拼接，得到综合特征强化处理结果；对所述综合特征强化处理结果进行1x1卷积处理，得到第四卷积处理结果；通过所述残差网络的跳跃连接，将所述第四卷积处理结果与所述第二卷积处理结果按照通道维度相加，得到相加后的卷积处理结果；将所述相加后的卷积处理结果进行3x3卷积处理，得到所述特征强化处理结果。

如图3所示，图3中的右半部分代表的是本申请实施例的第三强化网络分支，第三强化网络分支采用残差的方式将第一强化网络分支和第二强化网络分支的输出结果进行拼接(concat)，得到图像特征(b,h,w,2c)，然后再进行一次1x1卷积(conv1x1)，将输出的特征(b,h,w,c)与前面的第二卷积处理结果按照各特征通道维度分别进行相加，最后再将相加后的卷积处理结果(b,h,w,c)进行一次3x3卷积(conv3x3)，得到图像特征(b,h/2,w/2,2c)，从而进一步降低了图像分辨率，提高了特征通道数。上述过程使用残差的跳跃连接，使上一个模块的特征信息没有阻碍的流入到下一个模块，提高信息流通，避免梯度消失和退化问题。

在本申请的一个实施例中，所述交通灯图像包括左转灯图像和右转灯图像，所述右转灯图像通过如下方式得到：获取所述左转灯图像；对所述左转灯图像进行水平镜像处理，得到所述右转灯图像；将所述左转灯图像对应的属性标签修改为所述右转灯图像对应的属性标签。

实际场景下，由于交通灯数据中的右转灯数据通常极其稀少，因此本申请实施例在Head_color和Head_content的训练过程中，对当前批次的交通灯数据中包含左转灯的数据先进行训练，然后二次动态复制该批次数据，将左转灯图像进行水平镜像处理，监督信号Head_color不变，Head_content由0代表左转调整为2代表右转，从而增强右转灯数据的训练。

本申请实施例还提供了一种交通灯识别方法，如图4所示，提供了本申请实施例中一种交通灯识别方法的流程示意图，所述方法至少包括如下的步骤S410至步骤S420：

步骤S410，获取待识别图像；

步骤S420，利用交通灯识别模型对所述待识别图像进行识别，得到交通灯识别结果；

其中，所述交通灯识别模型基于前述任一项所述交通灯识别模型训练方法训练得到。

交通灯识别模型的应用过程与上述训练过程基本相同，主要区别在于模型应用阶段没有监督信号，将待识别图像输入交通灯识别模型，即可直接输出交通灯识别结果，例如图像中是否包含交通灯以及交通灯的具体颜色和属性等信息。

本申请实施例还提供了一种交通灯识别模型训练装置500，如图5所示，提供了本申请实施例中一种交通灯识别模型训练装置的结构示意图，所述装置500包括：

第一获取单元510，用于获取训练样本图像，所述训练样本图像包括交通灯图像和非交通灯图像；

第一训练单元520，用于利用所述训练样本图像，对交通灯识别模型的特征提取网络和第一特征识别网络进行训练，所述特征提取网络用于提取包含多维信息的图像特征，所述第一特征识别网络用于识别所述图像特征是否为交通灯特征；

第二训练单元530，用于基于训练后的特征提取网络，利用所述交通灯图像对所述交通灯识别模型的第二特征识别网络和第三特征识别网络进行训练，所述第二特征识别网络用于识别交通灯颜色，所述第三特征识别网络用于识别交通灯属性；

输出单元540，用于基于训练后的特征提取网络、训练后的第一特征识别网络、训练后的第二特征识别网络以及训练后的第三特征识别网络，输出训练后的交通灯识别模型。

在本申请的一个实施例中，所述特征提取网络包括特征提取基础网络和特征提取强化网络，所述第一训练单元520具体用于：利用所述特征提取基础网络，对所述训练样本图像进行卷积处理，得到第一卷积处理结果；利用所述特征提取强化网络，对所述第一卷积处理结果进行强化处理，得到特征强化处理结果；利用所述第一特征识别网络，对所述特征强化处理结果进行特征识别，得到特征识别结果；根据所述特征识别结果和所述训练样本图像的样本标签，确定损失函数值；根据所述损失函数值优化所述特征提取网络的参数以及所述第一特征识别网络的参数。

在本申请的一个实施例中，所述第一训练单元520具体用于：对所述训练样本图像进行混合空洞卷积处理，得到混合空洞卷积处理结果；对所述训练样本图像进行3x3卷积处理，得到3x3卷积处理结果；将所述混合空洞卷积处理结果与所述3x3卷积处理结果按照通道维度进行拼接，得到拼接后的卷积处理结果；将所述拼接后的卷积处理结果作为所述第一卷积处理结果。

在本申请的一个实施例中，所述特征提取强化网络包括第一强化网络分支、第二强化网络分支和第三强化网络分支，所述第一训练单元520具体用于：对所述第一卷积处理结果进行1x1卷积处理，得到第二卷积处理结果；利用所述第一强化网络分支，对所述第二卷积处理结果进行强化处理，得到第一特征强化处理结果；利用所述第二强化网络分支，对所述第二卷积处理结果进行强化处理，得到第二特征强化处理结果；利用所述第三强化网络分支，对所述第一特征强化处理结果和所述第二特征强化处理结果进行融合处理，得到第三特征强化处理结果。

在本申请的一个实施例中，所述第一训练单元520具体用于：对所述第二卷积处理结果进行1x1卷积处理，得到第三卷积处理结果；利用非线性激活函数对所述第三卷积处理结果进行处理，得到所述非线性激活函数的第一处理结果；将所述非线性激活函数的第一处理结果与所述第二卷积处理结果按照通道维度进行矩阵点乘，得到所述第一特征强化处理结果，所述第一特征强化处理结果包括交通灯位置特征的强化处理结果。

在本申请的一个实施例中，所述第一训练单元520具体用于：对所述第二卷积处理结果进行全局平均池化处理，得到全局平均池化处理结果；将所述全局平均池化处理结果输入全连接层，得到所述全连接层的输出结果；利用非线性激活函数对所述全连接层的输出结果进行处理，得到所述非线性激活函数的第二处理结果；将所述非线性激活函数的第二处理结果与所述第二卷积处理结果进行数乘，得到所述第二特征强化处理结果，所述第二特征强化处理结果包括通道重要性特征的强化处理结果。

在本申请的一个实施例中，所述第一训练单元520具体用于：基于残差网络，将所述第一特征强化处理结果和所述第二特征强化处理结果进行拼接，得到综合特征强化处理结果；对所述综合特征强化处理结果进行1x1卷积处理，得到第四卷积处理结果；通过所述残差网络的跳跃连接，将所述第四卷积处理结果与所述第二卷积处理结果按照通道维度相加，得到相加后的卷积处理结果；将所述相加后的卷积处理结果进行3x3卷积处理，得到所述特征强化处理结果。

能够理解，上述交通灯识别模型训练装置，能够实现前述实施例中提供的交通灯识别模型训练方法的各个步骤，关于交通灯识别模型训练方法的相关阐释均适用于交通灯识别模型训练装置，此处不再赘述。

本申请实施例还提供了一种交通灯识别装置600，如图6所示，提供了本申请实施例中一种交通灯识别装置的结构示意图，所述装置600包括：

第二获取单元610，用于获取待识别图像；

识别单元620，用于利用交通灯识别模型对所述待识别图像进行识别，得到交通灯识别结果；

其中，所述交通灯识别模型基于前述所述交通灯识别模型训练装置训练得到。

能够理解，上述交通灯识别装置，能够实现前述实施例中提供的交通灯识别方法的各个步骤，关于交通灯识别方法的相关阐释均适用于交通灯识别装置，此处不再赘述。

图7和图8是本申请的一个实施例电子设备的结构示意图。请参考图7和图8，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7和图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成交通灯识别模型训练装置或者交通灯识别装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取训练样本图像，所述训练样本图像包括交通灯图像和非交通灯图像；

利用所述训练样本图像，对交通灯识别模型的特征提取网络和第一特征识别网络进行训练，所述特征提取网络用于提取包含多维信息的图像特征，所述第一特征识别网络用于识别所述图像特征是否为交通灯特征；

基于训练后的特征提取网络，利用所述交通灯图像对所述交通灯识别模型的第二特征识别网络和第三特征识别网络进行训练，所述第二特征识别网络用于识别交通灯颜色，所述第三特征识别网络用于识别交通灯属性；

基于训练后的特征提取网络、训练后的第一特征识别网络、训练后的第二特征识别网络以及训练后的第三特征识别网络，输出训练后的交通灯识别模型。

或者，用于执行以下操作：

获取待识别图像；

利用交通灯识别模型对所述待识别图像进行识别，得到交通灯识别结果；

其中，所述交通灯识别模型基于前述任一项所述交通灯识别模型训练方法训练得到。

上述如本申请图1所示实施例揭示的交通灯识别模型训练装置或者如本申请图4所示实施例揭示的交通灯识别装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1中交通灯识别模型训练装置或者执行图4所示实施例揭示的交通灯识别装置执行的方法，并实现交通灯识别模型训练装置在图1所示实施例的功能或者交通灯识别装置在图4所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中交通灯识别模型训练装置执行的方法，并具体用于执行：

获取训练样本图像，所述训练样本图像包括交通灯图像和非交通灯图像；

利用所述训练样本图像，对交通灯识别模型的特征提取网络和第一特征识别网络进行训练，所述特征提取网络用于提取包含多维信息的图像特征，所述第一特征识别网络用于识别所述图像特征是否为交通灯特征；

基于训练后的特征提取网络，利用所述交通灯图像对所述交通灯识别模型的第二特征识别网络和第三特征识别网络进行训练，所述第二特征识别网络用于识别交通灯颜色，所述第三特征识别网络用于识别交通灯属性；

基于训练后的特征提取网络、训练后的第一特征识别网络、训练后的第二特征识别网络以及训练后的第三特征识别网络，输出训练后的交通灯识别模型。

或者，使该电子设备执行图4所示实施例中交通灯识别装置执行的方法，并具体用于执行：

获取待识别图像；

利用交通灯识别模型对所述待识别图像进行识别，得到交通灯识别结果；

其中，所述交通灯识别模型基于前述任一项所述交通灯识别模型训练方法训练得到。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。