法律状态公告日
法律状态信息
法律状态
2022-08-12
未缴年费专利权终止 IPC(主分类):G06K 9/00 专利号:ZL2016107861301 申请日:20160831 授权公告日:20190913
专利权的终止
2019-09-13
授权
授权
2017-08-18
专利申请权的转移 IPC(主分类):G06K9/00 登记生效日:20170801 变更前: 变更后: 申请日:20160831
专利申请权、专利权的转移
2017-03-01
实质审查的生效 IPC(主分类):G06K9/00 申请日:20160831
实质审查的生效
2017-02-01
公开
公开
技术领域
本发明涉及一种能够实时应用的基于自适应上下文信息的CNN交通检测技术。
背景技术:
为了解决这些日益严重的交通问题,智能交通系统应运而生(IntelligentTransportation Systems,简称ITS),其中车辆和行人识别是智能交通系统的重要组成成分,关于车辆和行人的一些现有的相关技术也得到了广泛应用。
现在的交通检测系统主要通过目标(行人和车辆)自身外观信息的刻画来实现不同目标的识别和检测。当前,该类系统主要是利用人工设计的特征(如HOG,LBP,SIFT等)或通过深度学习直接从图像本身获得的深层特征来刻画目标外观,利用目标外观,实现目标检测。但在日常交通的实际检测中,多为非约束的开放性环境,复杂多变,存在光照变化,视角变换,目标遮挡等干扰,如果单纯只从目标自身的外观信息出发,当图像或视频中交通目标本身提供的信息太少时,只根据目标本身无法准确判断出目标类别。而且,不同的交通场景存在一定的差异性,忽略不同交通场景的差异性的普适交通目标检测系统会降低交通目标检测的准确性。
发明内容:
本发明针对在交通视频中,借助不同交通场景下的差异性上下文信息能够进一步丰富交通目标的描述,从而提高交通目标检测的准确性,提出了基于自适应上下文信息的CNN交通检测方法。
实现该发明目的所采用的技术方案:一种基于自适应上下文信息的CNN交通检测方法,包括训练阶段和检测阶段,其特征在于,
训练阶段包含两步:
第一步,在特定交通场景下,训练获取自适应的上下文特征选择模型;首先,在特定的交通场景下,提取交通目标图像及其上下文图像的两组CNN特征图;然后,在同一尺度下,计算两组特征图间的差异,记录并统计所有样本差异度小于设定阈值的特征图位置索引;接着,选取K个有效的上下文CNN特征图的位置索引,得到自适应的上下文选择模型,K>0,整数;
第二步,在获取自适应的上下文特征选择模型的基础上,训练基于自适应上下文信息的CNN交通检测系统;在前向阶段,首先,提取交通目标图像及其上下文图像的两组CNN特征图,利用上下文特征选择模型保留的K个特征图位置索引,从获取的上下文CNN特征图中,保留相应的有效特征图;然后,对获得的两组特征图分别利用目标核与上下文核做卷积计算获得目标分值与上下文分值;接着,通过混合系数融合目标分值与上下文分值,获得检测分值;
在后向阶段,计算检测分值与标签的误差,用BP(Back ropagation)算法,更新目标核、上下文核和混合系数等参数;
检测阶段:在特定交通场景下,首先,输入检测的交通图像,利用CNN提取256张特征图,一方面,利用训练好的目标核卷积256张特征图获得目标掩码图;另一方面,用上下文特征选择模型保留的K个特征图位置索引,从256张特征图中选择K个特征图,利用训练好的上下文核做卷积获得上下文掩码图;然后,利用训练好的混合系数,融合获得的目标掩码图与上下文掩码图,联合预测目标位置;最后,通过后处理,准确框定交通目标,K>0,整数。
该方案通过这种差异度量,能根据不同场景,自适应的融入上下文特征,增强了交通目标的表征,有效地提高了交通目标刻画的准确性。
1.图像特征的CNN提取方法,基于自适应上下文信息的CNN交通检测系统均采用Alexnet的前五层结构提取交通图像的特征图;步骤是:(Alexnet是2012年提出的八层结构的卷积神经网络模型。该神经网络有6000万个参数和650,000个神经元,由五个卷积层,以及某些卷积层后跟着的max-pooling层,和三个全连接层,还有排在最后的1000-way的softmax层组成。该模型使用了非饱和的神经元和一个非常高效的GPU关于卷积运算的工具。同时该模型为了减少全连接层的过拟合,采用了最新开发的正则化方法,称为“dropout”。)
1.1假设输入图像为x0,将其表示为
>
其中,Wl表示相邻卷积层特征图的连接关系;
1.2
>
其中,g(g)表示进行局部响应归一化处理,f(g)表示激活函数,采用不饱和非线性函数:
>
因此,CNN对输入图像x0在第五个卷积层获取了256张特征图
2.自适应的上下文选择模型,首先,对读取的交通图像集I进行统一表示,具体形式为:
2.1对输入大小为80×48的目标图像
2.2为了能够在同一尺度比较目标特征图
2.3采用余弦相似度的方法度量两个特征图
Scos(x,y)≤ε>
如果
3.训练获取交通检测系统相关参数,训练阶段采用前向过程获取上下文掩码和目标掩码:
3.1分别对目标图像
3.2根据上述第2步获取的自适应的上下文特征选择模型,利用余弦相似度量目标特征图
3.3分别对目标特征图和上下文特征图利用不同的目标核和上下文核进行卷积,则得到的相应目标掩码
>
>
其中,
3.4融入上下文信息的检测分值scoren表示为:
>
其中,γ表示目标和上下文的混合系数,γ∈[0,1]。针对不同场景,需要获得不同的γ。通过该变量反映在不同场景中,不同上下文信息对目标检测的不同作用,如γ=0,则上下文对目标检测没有作用,相当于该模型无须融入上下文,则该模型就是不考虑上下文的CNN目标检测模型。
3.5该系统采用最小均方误差的方法来建立目标函数,利用BP算法逐步减小scoren与标签yn间的误差。该模型的目标函数为:
>
其中,2N表示正负样本的总数量。为了解决上式中相关参数的优化问题,本系统采用随机梯度下降的方法来训练该模型中的参数,所有参数w利用下式进行更新,直到收敛:
>
其中,i代表迭代的索引,α表示梯度下降算法的学习率。更新相关参数,需要反复计算目标函数L(g)的梯度。
4.交通目标检测:通过目标掩码图和上下文掩码图联合预测目标位置,然后通过非最大抑制获取交通目标的检测结果。
4.1首先,该系统输入交通场景的图像In,通过上述第1步方法提取特征图,生成256张特征图。
4.2接着,根据获得的上下文特征图选择模型,从256张特征图中,选择K张有效的上下文特征图,对已有的目标特征图进行上下文信息的补充。
4.3然后,对上下文特征图和目标特征图分别卷积对应的卷积核,获得相应的目标掩码图
>
>
4.4在检测阶段,采用的是same卷积(该卷积无边界损失),因此
>
4.5通过非最大值抑制的后处理,得到相应交通目标的检测结果。
本发明的有益效果:在本发明上述方案中针对交通目标本身信息不足等问题,借助于图片或视频中来自于目标外的相关信息,比如目标周围的上下文信息直接或间接的为目标检测提供辅助信息从而提高交通目标检测的准确性。本方案提出了基于自适应上下文信息的CNN交通检测系统。主要包含基于CNN的自适应的上下文选择模型和融合该模型的交通检测系统。相较于现有系统,因为融合了目标周围的上下文信息和不同交通场景的差异性,从而进一步提高了车辆和行人检测的准确性。
附图说明:
图1是自适应上下文信息的CNN交通检测系统的整体框架图;
图2是自适应的上下文选择模型图;
图3是自适应上下文信息的CNN交通检测系统的参数学习图;
图4是自适应上下文信息的CNN交通检测系统检测过程图;
图5是交通目标检测部分结果图。
具体实施方式:
由于在交通视频中,借助不同交通场景下的差异性上下文信息能够进一步丰富交通目标的描述,从而提高交通目标检测的准确性,所以,本发明基于此思路,提出了基于自适应上下文信息的CNN交通检测系统。整体框架如图1所示,主要包含训练阶段和检测阶段。
训练阶段主要包含两步。第一步,在特定交通场景下,训练自适应的上下文特征选择模型。首先,在特定的交通场景下,提取交通目标图像及其上下文图像的两组CNN特征图;然后,在同一尺度下,计算两组特征图间的差异,记录并统计所有样本差异度小于设定阈值的特征图位置索引;接着,选取K个有效的上下文CNN特征图的位置索引,得到自适应的上下文选择模型。第二步,在获取自适应的上下文特征选择模型的基础上,训练基于自适应上下文信息的CNN交通检测系统。在前向阶段,首先,提取交通目标图像及其上下文图像的两组CNN特征图,利用上下文特征选择模型保留的K个特征图位置索引,从获取的上下文CNN特征图中,保留相应的特征图;然后,对获得的两组特征图分别利用目标核与上下文核做卷积计算获得目标分值与上下文分值;接着,通过混合系数融合目标分值与上下文分值,获得检测分值。在后向阶段,计算检测分值与标签的误差,用BP(Back Propagation)算法,更新目标核、上下文核和混合系数等参数。
检测阶段,在特定交通场景下,首先,输入检测的交通图像,利用CNN提取256张特征图,一方面,利用训练好的目标核卷积256张特征图获得目标掩码图;另一方面,用上下文特征选择模型保留的K个特征图位置索引,从256张特征图中选择K个特征图,利用训练好的上下文核做卷积获得上下文掩码图。然后,利用训练好的混合系数,融合获得的目标掩码图与上下文掩码图,联合预测目标位置。最后,通过后处理,准确框定交通目标。
该方案通过这种差异度量,能根据不同场景,自适应的融入上下文特征,增强了交通目标的表征,有效地提高了交通目标刻画的准确性。
一CNN特征提取
1)基于自适应上下文信息的CNN交通检测系统均采用Alexnet的前五层结构提取交通图像的特征图。详细步骤是:
(1.1)假设输入图像为x0,将其表示为
>
其中,Wl表示相邻卷积层特征图的连接关系。
(1.2)
>
其中,g(g)表示进行局部响应归一化处理,f(g)表示激活函数,采用不饱和非线性函数:
>
因此,CNN对输入图像x0在第五个卷积层获取了256张特征图
二自适应的上下文选择模型
2)首先,对读取的交通图像集I进行统一表示,具体形式为:
(2.1)对输入大小为80×48的目标图像
(2.2)为了能够在同一尺度比较目标特征图
(2.3)采用余弦相似度的方法度量两个特征图
Scos(x,y)≤ε(4)
如果
三训练获取交通检测系统相关参数
3)训练阶段采用前向过程获取上下文掩码和目标掩码,相关参数学习的整体框架如图3所示。
(3.1)分别对目标图像
(3.2)根据2)获取的自适应的上下文特征选择模型,利用余弦相似度量目标特征图
(3.3)分别对目标特征图和上下文特征图利用不同的目标核和上下文核进行卷积,则得到的相应目标掩码
>
>
其中,
(3.4)融入上下文信息的检测分值scoren表示为:
>
其中,γ表示目标和上下文的混合系数,γ∈[0,1]。针对不同场景,需要获得不同的γ。通过该变量反映在不同场景中,不同上下文信息对目标检测的不同作用,如γ=0,则上下文对目标检测没有作用,相当于该模型无须融入上下文,则该模型就是不考虑上下文的CNN目标检测模型。
(3.5)该系统采用最小均方误差的方法来建立目标函数,利用BP算法逐步减小scoren与标签yn间的误差。该模型的目标函数为:
>
其中,2N表示正负样本的总数量。为了解决上式中相关参数的优化问题,本系统采用随机梯度下降的方法来训练该模型中的参数,所有参数w利用下式进行更新,直到收敛:
>
其中,i代表迭代的索引,α表示梯度下降算法的学习率。更新相关参数,需要反复计算目标函数L(g)的梯度。
四基于交通检测系统的交通目标检测
4)通过目标掩码图和上下文掩码图联合预测目标位置,然后通过非最大抑制获取交通目标的检测结果,检测过程如图4所示。
(4.1)首先,该系统输入交通场景的图像In,通过1)方法提取特征图,生成256张特征图。
(4.2)接着,根据获得的上下文特征图选择模型,从256张特征图中,选择K张有效的上下文特征图,对已有的目标特征图进行上下文信息的补充。
(4.3)然后,对上下文特征图和目标特征图分别卷积对应的卷积核,获得相应的目标掩码图
>
>
(4.4)在检测阶段,采用的是same卷积(该卷积无边界损失),因此
>
(4.5)通过非最大值抑制的后处理,得到相应交通目标的检测结果。
本方案建立了一种高效,快速的交通检测系统。如图5所示本系统取得了令人满意的交通目标检测结果。
机译: 基于R-CNN的R-CNN学习方法和用于检测的对象检测方法
机译: CNN -3D检测方法,基于能够根据对象的位置进行模式转换的CNN,并使用相同的装置进行伪3D边界框检测
机译: 基于交通监控视频的交通信息检测方法,获取方法和获取装置