结合图像增强和深度卷积神经网络的道线检测方法

摘要

本发明公开了一种结合图像增强和深度卷积神经网络的道线检测方法，在假设道线在图像的局部区域具有相近的宽度，并且沿着道线伸展方向能分割成若干个道线块的基础上，提供了一种基于深度卷积神经网络的方法检测图像中的道线块，该模型的输入不仅包括摄像机采集的道路图像，而且包括多个经对比度受限的自适应直方图均衡化处理的增强图像。本发明方法能有效地克服复杂成像条件下采集的道路图像干扰因素多、图像质量差、道线目标小等困难，从而达到较好的鲁棒性。

说明书

技术领域

本发明涉及计算机视觉领域，尤其涉及一种结合图像增强和深度卷积神经网络的道线检测方法。

背景技术

雨雾天、沙尘等恶劣天气，逆光、眩光、低照度等恶劣成像条件无疑将对驾驶辅助系统(ADAS)和自动驾驶系统的摄像机成像产生影响，极大地降低所采集图像的质量。无论是传统的基于边缘检测的方法，还是基于深度学习的方法，输入到检测系统的图像质量都将极大地影响检测系统的性能。为了应对复杂成像条件下道线检测所面临的困难，本发明实施例在假设道线在图像的局部区域具有相近的宽度，并且沿着道线伸展方向能分割成若干个道线块的基础上，提供了一种基于深度卷积神经网络的方法检测图像中的道线块，该模型的输入不仅包括摄像机采集的道路图像，而且包括多个经对比度受限的自适应直方图均衡化处理的增强图像。

发明内容

本发明的目的在于解决现有技术在恶劣成像条件下面对的困难，提供一种结合图像增强和深度卷积神经网络的道线检测方法。

本发明具体采用的技术方案如下：一种结合图像增强和深度卷积神经网络的道线检测方法，该方法包括：

(1)获取待处理的含有道线的彩色图像I，包含三个通道I

(2)构建用于道线检测的深度卷积神经网络，包括输入模块、空间注意力模块、特征提取模块和检测模块四个部分，步骤(1)中彩色图像I的三个分量图像和步骤(1)中以限制对比度的自适应直方图均衡化算法对三个分量图像进行对比度增强处理所产生的K幅增强图像堆叠成包含K+3个通道的张量，作为深度卷积神经网络的输入；

(3)输入模块按数据前向传播时的数据流向，输入数据首先经过一个包含64个7×7卷积核、卷积步长为2的卷积层，接在其后的为批规范化操作和ReLU激活操作，输入模块的最后为采样核大小为3×3、进行最大池化操作、步长为2的池化层；

设输入模块的输出x为一个M

(4)空间注意力模块对输入特征图进行两次池化操作，其中一次为均值池化，另一次为最大值池化，两次池化操作的采样核大小为1×1×C，卷积步长为1；将上述两次池化操作形成的两个M

(5)以空间注意力图中的元素作为权值，输入模块的输出特征图x的每个通道所有位置的值与空间注意力图对应位置的权值作乘法运算，形成权值修正后的特征图，输入到特征提取模块；

(6)采用ResNet50的第2、3和4级卷积层组作为特征提取模块，其中，第3级卷积层组的输出除了输入到第4级卷积层组之外，另有一路输入到一个包含5n

(7)步骤(6)得到的特征图F中M

(8)由深度卷积神经网络检测所得的道线块的中心坐标，以Hough变换算法确定道线模型，即为检测出的道线。

进一步地，步骤(1)中，通过限制对比度的自适应直方图均衡化算法增强输入图像对比度的具体过程为：首先，以滑窗的形式处理图像I

T为所有幅值差值累加之和，设图像总的灰度级为L，将直方图H的所有元素加上T/L，形成修正后的直方图

进一步地，步骤(2)中所述的深度卷积神经网络的输入模块、空间注意力模块、特征提取模块和检测模块的各个层次的参数以学习的方式确定，包括：

步骤A、准备用于训练的图像：以人工的方式标注图像中的道线区域，沿道线的伸展方向设置包围框，每一个包围框对应一个道线块，包围框将以道线区域为中心，两侧包含部分背景区域，且相邻的包围框存在部分重叠；

步骤B、为训练图像准备预期的输出：每一个训练图像对应一个预期的特征图

步骤C、训练：每幅训练图像输入到深度卷积神经网络将在检测模块产生相应的输出特征图，由检测模块的输出特征图和该图像的预期特征图计算损失函数；批量加载训练图像，以最小化所有训练样本的损失函数累加和为目标，以随机梯度下降优化算法更新网络参数。

本发明的有益效果：本发明方法能有效地克服复杂成像条件下采集的道路图像干扰因素多、图像质量差、道线目标小等困难，从而达到较好的鲁棒性。

附图说明

图1为本发明结合图像增强和深度卷积神经网络的道线检测方法示意图；

图2为限制对比度的自适应直方图均衡化算法的图像增强结果示例；

图3为道线区域标注和道线块的包围框示意图；

图4为应用本发明实施例提供的方法进行道线检测的结果示例。

具体实施方式

以下结合附图对本发明具体实施方式作进一步详细说明。

下面结合附图和具体实施例对本发明做进一步阐述，以便本领域技术人员更好地理解本发明的实质。

如图1所示，本发明提供一种结合图像增强和深度卷积神经网络的道线检测方法，具体步骤如下；

(1)设I为待处理的彩色图像，包含三个通道I

设图像总的灰度级为L，将直方图H的所有元素加上T/L，形成修正后的直方图

参见图2，图2从左到右依次示出了一幅逆光环境下采集的图像和6幅按上述步骤产生的增强图像，不难看出增强图像的道线区域与背景区域之间具有更好的对比度；

(2)待处理图像的三个分量图像和上述步骤以限制对比度的自适应直方图均衡化算法对三个分量图像进行对比度增强处理所产生的K幅增强图像堆叠成包含K+3个通道的张量，形成本发明实施例的深度卷积神经网络的输入；

(3)用于道线检测的深度卷积神经网络包括输入模块、空间注意力模块、特征提取模块和检测模块四个部分，其中的输入模块，按数据前向传播时的数据流向，输入数据首先经过一个包含64个7×7卷积核、卷积步长为2的卷积层，接在其后的为批规范化操作和ReLU激活操作，输入模块的最后为采样核大小为3×3、进行最大池化操作、步长为2的池化层；

(4)设输入模块的输出x为一个M

(5)以空间注意力图中的元素作为权值，输入模块的输出特征图x的所有通道依次与注意力图进行对应元素的乘法运算，形成按权值修正后的特征图输入到本发明实施例的特征提取模块；

(6)本发明实施例采用ResNet50的第2、3和4级卷积层组作为特征提取模块，其中，第3级卷积层组的输出除了输入到第4级卷积层组之外，另有一路输入到一个包含5n

(7)上述特征图F的高度和宽度方向的尺寸分别为M

(8)检测模块的输出为道线块集合，由集合中所有道线块的中心坐标，以Hough变换算法确定道线模型，具体地，设道线块的中心坐标为(u,v)，将道线写成如下的极坐标形式表示的直线：

ρ＝ucosθ+vsinθ (2)

其中ρ为直角坐标系中原点到直线的距离，θ为直角坐标系中原点到直线的垂线和横坐标之间的夹角；对某个确定的(u,v)，令θ为自变量，在0°≤θ＜180°的取值范围内，按预设的步长依次将自变量代入上式计算ρ的值，从而在ρ-θ平面上形成一条曲线；每个道线块的中心对应ρ-θ平面的一条曲线，在ρ-θ平面的点上累加曲线经过的次数，查找具有较多累加次数的点，由查找所得的点的坐标(ρ',θ')根据公式(2)确定图像平面的一条直线。

本发明技术方案步骤(3)中所述的深度卷积神经网络，其输入模块、空间注意力模块、特征提取模块和检测模块的各个层次的参数以学习的方式确定，包括：

步骤A、准备用于训练的图像：参见图3，以人工的方式标注图像中的道线区域，沿道线的伸展方向设置包围框，每一个包围框对应一个道线块，包围框将以道线区域为中心，两侧包含部分背景区域，且相邻的包围框存在部分重叠；

步骤B、为训练图像准备预期的输出：每一个训练图像对应一个预期的特征图

步骤C、训练：每幅训练图像输入到深度卷积神经将在检测模块产生相应的输出特征图，由检测模块产生的特征图和该图像的预期特征图计算损失函数，批量加载训练图像，以最小化所有训练样本的损失函数累加和为目标，以随机梯度下降优化算法更新网络参数。

本发明技术方案步骤(6)中所述的采用ResNet50的第2、3和4级卷积层组作为特征提取模块，第2级卷积层组包含3个残差块，记作ResBlock2_i，第3级卷积层组包含4个残差块，记作ResBlock3_i，第4级卷积层组包含6个残差块，记作ResBlock4_i，其中i＝1,2,…,n

如图4所示为本发明实施例提供的方法对包括逆光、雨雾天、夜晚等多个场景的视频图像进行道线检测所得的结果，图中第一列显示了输入图像，第二列以矩形框显示了深度卷积神经网络模型检测所得的道线块，以直线显示了道线。

以上所述仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，凡在本发明的精神和原则之内，所做的任何修改或替换等，都应涵盖在本发明的保护范围内。