基于方向梯度二值模式和软级联SVM的实时目标检测方法

摘要

本发明提供一种基于方向梯度二值模式(ORBP)和软级联SVM的实时目标检测方法，主要解决现有技术中目标检测实时性差和鲁棒性低问题。方法步骤为：1)方向梯度二值模式特征描述；2)软级联分类器SVM的构建；3)软级联分类器的特征训练；4)目标窗口追踪更新。本发明提出的ORBP特征具有旋转、尺度、平移及亮度不变性等多种优点，软级联SVM提高复杂场景下目标检测的鲁棒性，目标窗口追踪提高目标检测的实时性。本发明提出的方法可应用于人机交互和智能交通监控领域，目标检测性能优异。

说明书

技术领域

本发明涉及数字图像处理技术领域，涉及计算机视觉中目标检测和跟踪方法，可应用于人机交互和智能交通等领域，具体而言涉及一种基于方向梯度二值模式和软级联SVM的实时目标检测方法。

背景技术

目标检测是通过计算机信息处理技术自动分析图像从中检测出感兴趣的目标。目标检测作为图像理解的重要课题，在军事与民用场景中都有广泛应用。在现实场景中，由于场景背景中含有其他干扰运动物体、光照外部环境变化及目标形态各异且变化较快，给目标检测带来诸多难题，如何实现高效稳定的目标检测，具有重要的现实研究意义。

张天宇在专利“时空多尺度运动目标检测方法”中提出了一种多尺度目标检测方法，将图像进行分块利用运动区域内最优差分间隔实现目标检测与跟踪，该方法在复杂场景下鲁棒性低，显著性差异判定准则难以适应多个场景。ZdenekKalal,KrystianMikolajczyk等人在“Tracking-Learning-Detection”中提出了一种对视频中单个目标检测与跟踪方法，利用帧间信息差异将检测与跟踪结合起来，实现对目标样本的在线学习，该方法提出的中值光流法需要进行目标初始化，跟踪修正固定很难保证与检测器同步。杨艳爽，蒲宝明在“基于改进SUSAN算法的移动车辆检测”中提出了自适应阈值的SUSAN检测到车辆目标边界方法，利用直方图变换与霍夫变换结合提取目标连通域，实现对车辆目标与背景的分离，该方法的实时性较差且在复杂场景中自适应阈值将很难有效完成目标分割。

发明内容

针对上述现有技术的不足，本发明为解决现有目标检测方法在复杂场景下的鲁棒性低和实时性差问题，提出一种基于方向梯度二值模式和软级联SVM的实时目标检测方法，目标检测性能优异且易于工程实现。

本发明的上述目的通过独立权利要求的技术特征实现，从属权利要求以另选或有利的方式发展独立权利要求的技术特征。

为了实现上述目的，本发明提供一种基于方向梯度二值模式和软级联SVM的实时目标检测方法，该方法以软级联支撑向量机SVM为基础，采用基于方向梯度二值模式特征用以目标特征描述，在进行特征训练时利用检测图像随机位置生成正负样本，最后采用shi-Tomasi角点检测提取特征点完成目标追踪更新。

在一些实施例中，该实时目标检测方法包括以下步骤：

(1)ORBP特征提取。对图像源样本进行预处理操作，利用Sobel边缘与局部方向梯度生成ORBP特征。

(2)软级联分类器SVM的构建。利用互相关特征相似度判定该样本特征选取是否有效，根据h_k(x)计算所有样本的响应，找到正样本边界分类对应的阈值，该级对应的阈值和特征将会加入到k+1级计算响应h_k+1(x)；然后将待检测窗口集依次送入软级联分类器，通过判断当前窗口响应来判断是否属于目标。

(3)软级联分类器的训练。对标定正样本目标图像进行正样本负样本生成，对样本进行ORBP特征描述；然后通过SVM训练起始分类器h₀(x)，根据起始分类器对样本图像进行目标检测验证，将负样本重新更新到下一级SVM级联分类器训练中，直至完成最终级联分类器训练。

(4)目标窗口追踪更新。根据软级联SVM训练出来的分类器，对待检测图像序列进行目标窗口检测，利用shi-Tomasi角点检测方法提取目标窗口的特征点，根据Median-Flow追踪器判定当前特征点是否为最佳追踪点；然后通过最佳跟踪点计算下一帧目标窗口预测位置，利用级联分类器的起始分类器进行目标判定，最终输出目标检测窗口。

其中，步骤(1)中所述ORBP特征生成包括以下步骤：

(1)对图像源样本对比度变换预处理，消除环境光照影响，预处理操作包含Gaussian平滑滤波和Gamma标准化变换。

(2)将梯度方向等分为K份，分别计算Sobel竖直方向边缘各个梯度方向下的梯度幅值，将K个方向区间对应的梯度模长放入M个子块矩阵中，生成相应的边缘方向梯度图。

(3)对于每个边缘方向梯度图进行水平与垂直方向边缘划分，分别统计水平与垂直方向累计响应。对于水平方向，上侧累计响应为m₁，下侧累计响应为m₂；对于垂直方向，左侧累计响应为m₃，右侧累计响应为m₄，如附图2所示。

(4)根据水平方向上下累计响应与垂直方向左右累计响应大小比较生成ORBP特征，如附图2所示，生成的ORBP特征含有4种二值形式，在进行特征描述时方向梯度直方图将转化为对应ORBP形式的一种。

其中，步骤(2)中所述互相关特征相似度判定方法详细过程如下：

对图像源样本进行ORBP特征提取，任选取一维特征作为初始特征f₀，添加其他一维特征作为第二特征f₁，计算特征f₀与f₁的归一化互相关系数η，归一化互相关系数η的计算方法如下式：

$>\eta =\frac{\mathrm{cov}(f_i,f_j)}{\sqrt{\mathrm{var}\left(f_i\right)\mathrm{var}\left(f_j\right)}}$>

其中f_i表示第i维特征向量，cov(f_i,f_j)表示特征向量f_i与f_j的协方差，var(f_i)表示特征向量f_i的方差。根据计算出来互相关系数η，若η<0.6则判定当前添加特征为有效，否则判定当前特征为无效，需重新选取任一维特征。若再继续添加任一维特征f_i+1，需判断与当前特征向量集{f₀,f₁...f_i}的互相关系数是否满足条件。

进一步地，为减少特征描述的时间复杂度，该方法在步骤(1)ORBP特征描述中Sobel边缘只提取竖直方向边缘。

进一步地，为了提高样本选取的完备性，该方法在步骤(3)正负样本生成过程中位置窗口的选取需要满足：从目标邻域附近选取10个与它距离最近的包围框，每种尺度下最多选取4个位置窗口作为正负样本。

有益效果：本发明提出基于方向梯度二值模式和软级联SVM的实时目标检测方法以解决目标检测的鲁棒性低和实时性差问题，采用方向梯度二值模式为特征描述子，提高特征描述对复杂场景背景与光照变化的鲁棒性；同时以自适应特征选择构建软级联SVM多级分类阈值，利用随机正负样本训练分类器并对目标窗口进行追踪，软级联减少目标窗口筛选，窗口追踪提高多帧序列检测的稳定性与实时性。与其他同类目标检测算法相比，本发明提出的方法鲁棒性强和实时性好，目标检测性能优异。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是根据本发明某些实施例的基于方向梯度二值模式和软级联SVM的实时目标检测方法的流程图。

图2是根据本发明某些实施例的ORBP特征生成示意图。

图3是根据本发明某些实施例的多目标检测示意图。

图4是根据本发明某些实施例的复杂场景下目标检测示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

结合图1所示，根据本发明的实施例，基于方向梯度二值模式和软级联SVM的实时目标检测方法包括以下步骤：

1.方向梯度二值模式(ORBP)特征描述

1.1对图像源f(x,y)样本对比度变换预处理，预处理操作包含Gaussian平滑滤波和归一化处理，这里图像归一化操作采用的是Gamma标准化变换：

f(x,y)＝ln(f(x,y)+1)

1.2将梯度方向[-π/2,π/2]等分为9个区间，分别计算Sobel竖直边缘下各个梯度方向下的梯度幅值|▽f|，生成相应的边缘方向梯度图。所述梯度幅值|▽f|与方向角θ计算如下式：

$>|▿f|=\sqrt{{G_x}^2+{G_y}^2}$>

θ＝arctan(G_y/G_x)

其中G_x，G_y分别为图像f(x,y)沿x与y方向的梯度。

1.3将图像进行划分成100个正方形块，每个单元块由6×6方格单元组成，分别将每个正方形块边缘方向梯度进行水平与垂直方向划分，统计水平与垂直方向累计响应。对于水平方向，上侧累计响应为m₁，下侧累计响应为m₂；对于垂直方向，左侧累计响应为m₃，右侧累计响应为m₄，如附图2所示。

1.4根据水平方向上下累计响应与垂直方向左右累计响应大小比较生成局部二值特征，如附图2所示，生成的ORBP特征含有4种二值形式，在进行特征描述时将转化为对应ORBP形式的一种。

2.软级联分类器SVM的构建

2.1互相关特征相似度判定，根据步骤1得到方向梯度二值模式特征，任选取一维特征作为初始特征f₀，添加其他一维特征作为第二特征f₁，计算特征f₀与f₁的归一化互相关系数η，归一化互相关系数η的计算方法如下式：

$>\eta =\frac{\mathrm{cov}(f_i,f_j)}{\sqrt{\mathrm{var}\left(f_i\right)\mathrm{var}\left(f_j\right)}}$>

其中f_i表示第i维特征向量，cov(f_i,f_j)表示特征向量f_i与f_j的协方差，var(f_i)表示特征向量f_i的方差。根据计算出来互相关系数η，若η<0.6则判定当前添加特征为有效，否则判定当前特征为无效，需重新选取任一维特征。若再继续添加任一维特征f_i+1，需判断与当前特征向量集{f₀,f₁...f_i}的互相关系数是否满足条件。

2.2级联阈值的生成，构造n维的线性SVM的软级联分类器h_k(x)：

$>h_k\left(x\right)=\underset{i=1}{\overset{n}{\Sigma }}{w}_i{x}_i$>

其中w_i为分类决策平面i的支撑向量，x_i为对应的i维特征。级联分类器在每一级特征选取时根据最近邻特征判定其是否有效，然后根据h_k(x)计算所有样本的响应，找到正样本边界分类对应的阈值，该级对应的阈值和特征将会加入到k+1级计算响应h_k+1(x)。

2.3级联分类的判定。将待检测窗口集依次送入软级联分类器，根据上步骤得到的阈值和特征对待检测窗进行窗筛选，当前窗口的响应小于决策阈值时将会认为是非目标，然后将剩余的窗口进行下一级级联分类判定。若当前窗口响应高于当前级分类器决策阈值时，则认为当前窗口为目标。

3.软级联分类器特征训练

3.1正样本生成，对标定的正样本目标图像用不同尺度的窗口进行扫描，从目标邻域附近选取10个与它距离最近的包围框，根据窗口相交面积比的大小判定当前选取的正样本是否符合条件。需要说明的是，每种尺度下最多选取4个位置窗口作为正样本，以保证训练样本的完备性。

3.2负样本生成，正样本选取的同时，正样本窗口位置进行上下左右平移，当窗口相交面积低于一定阈值时认为当前窗口产生的样本为负样本，每种尺度同样产生最多4个位置窗口作为负样本。

3.3初始特征训练，根据正负样本生成得到训练样本集，随机选取正负样本各200个，将不同尺度的下样本统一归一化到60×60，对样本进行方向梯度二值模式特征描述，训练出初始分类器h₀(x)。

3.4级联特征训练，根据初始软级联对所有图像进行目标检测，根据正样本窗口位置将误检窗口加入下一级分类器特征训练，完成图像目标检测后，对新得到正负样本集重新训练下一级分类h_k(x),k∈[2,+∞)，直至满足更新终止条件。

4.目标窗口追踪更新

4.1级联目标窗口检测。根据训练的软级联SVM分类器的阈值与对应特征向量，对图像序列进行逐级分类器判定，最终级联决策判定输出窗口即为当前帧目标窗口。

4.2提取目标窗口特征点。上步骤得到级联分类器输出窗口，利用shi-Tomasi角点检测方法提取目标窗口的特征点。需要说明的是为了后续追踪的实时性及准确性，角点检测最差质量保证为优，控制窗口内角点检测数目不大于20。

4.3目标窗口追踪点筛选，根据当前第n帧窗口的追踪点利用Median-Flow追踪器正向追踪到第n+1帧，再反向追踪到第n帧，计算窗口内角点数量变化及回溯点与原角点之间的欧氏距离，设定判定阈值筛选最佳追踪点。

4.4目标窗口更新策略，利用最佳跟踪点计算下一帧目标窗口预测位置，利用级联分类器的初始分类器进行目标判定。若当前窗口被判定为目标，认为当前追踪有效，否则需要根据级联分类器进行滑窗搜索，重新进行目标检测。

下面结合具体场景对本发明提出的基于方向梯度二值模式和软级联SVM的实时目标检测方法做进一步详细的实例测试。在硬件平台Interi5+4GDDR3RAM，软件平台OpenCV/C++上实施本例方法，附图3中场景多目标检测进行测试，本实施例对目标检测率达到96％，单帧运行时间为27ms；附图4中复杂场景下车辆目标检测进行测试，本实施例对目标检测率达到95.3％，单帧运行时间25ms。

由以上的技术方案可知，本发明提供的基于方向梯度二值模式和软级联SVM的实时目标检测方法，该方法以软级联支撑向量机SVM为基础，采用基于方向梯度二值模式特征用以目标特征描述，提高特征描述对复杂场景背景与光照变化的鲁棒性；在进行特征训练时利用检测图像随机位置生成正负样本，最后采用shi-Tomasi角点检测提取特征点完成目标追踪更新，软级联减少目标窗口筛选，窗口追踪提高多帧序列检测的稳定性与实时性。本发明提出的方法鲁棒性强和实时性高，目标检测性能优异。

根据本公开，还提出一种基于方向梯度二值模式和软级联SVM的实时目标检测装置，该装置包括：

用于ORBP特征提取的第一模块，该第一模块被设置用于对图像源样本进行预处理操作，利用Sobel边缘与局部方向梯度生成ORBP特征；

用于构建软级联分类器SVM的第二模块，该第二模块被设置成利用互相关特征相似度判定该样本特征选取是否有效，根据h_k(x)计算所有样本的响应，找到正样本边界分类对应的阈值，该级对应的阈值和特征将会加入到k+1级计算响应h_k+1(x)；然后将待检测窗口集依次送入软级联分类器，通过判断当前窗口响应来判断是否属于目标。；

用于训练软级联分类器的第三模块，该第三模块被设置成用于对标定正样本目标图像进行正样本负样本生成，对样本进行ORBP特征描述；然后通过SVM训练起始分类器h₀(x)，根据起始分类器对样本图像进行目标检测验证，将负样本重新更新到下一级SVM级联分类器训练中，直至完成最终级联分类器训练；

用于目标窗口追踪更新的第四模块，该第四模块被设置成根据软级联SVM训练出来的分类器，对待检测图像序列进行目标窗口检测，利用shi-Tomasi角点检测方法提取目标窗口的特征点，根据Median-Flow追踪器判定当前特征点是否为最佳追踪点；然后通过最佳跟踪点计算下一帧目标窗口预测位置，利用级联分类器的起始分类器进行目标判定，最终输出目标检测窗口。

应当理解，本实施例所提出的第一模块、第二模块、第三模块以及第四模块，其功能、作用以及效果已经在以上基于方向梯度二值模式和软级联SVM的实时目标检测方法的描述中进行了说明，其实现方式并且在前述关于实时目标检测方法的实施例中做了示例性说明，在此不再赘述。

根据本发明的前述实施方式，例如基于方向梯度二值模式和软级联SVM的实时目标检测方法以及基于方向梯度二值模式和软级联SVM的实时目标检测装置，本发明还提出一种用于实现基于方向梯度二值模式和软级联SVM的实时目标检测的计算机系统，该计算机系统包括：

存储器；

一个或多个处理器；

一个或多个模块，该一个或多个模块被存储在所述存储器中并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括下述处理模块：

用于ORBP特征提取的第一模块，该第一模块被设置用于对图像源样本进行预处理操作，利用Sobel边缘与局部方向梯度生成ORBP特征；

用于构建软级联分类器SVM的第二模块，该第二模块被设置成利用互相关特征相似度判定该样本特征选取是否有效，根据h_k(x)计算所有样本的响应，找到正样本边界分类对应的阈值，该级对应的阈值和特征将会加入到k+1级计算响应h_k+1(x)；然后将待检测窗口集依次送入软级联分类器，通过判断当前窗口响应来判断是否属于目标。；

用于训练软级联分类器的第三模块，该第三模块被设置成用于对标定正样本目标图像进行正样本负样本生成，对样本进行ORBP特征描述；然后通过SVM训练起始分类器h₀(x)，根据起始分类器对样本图像进行目标检测验证，将负样本重新更新到下一级SVM级联分类器训练中，直至完成最终级联分类器训练；

用于目标窗口追踪更新的第四模块，该第四模块被设置成根据软级联SVM训练出来的分类器，对待检测图像序列进行目标窗口检测，利用shi-Tomasi角点检测方法提取目标窗口的特征点，根据Median-Flow追踪器判定当前特征点是否为最佳追踪点；然后通过最佳跟踪点计算下一帧目标窗口预测位置，利用级联分类器的起始分类器进行目标判定，最终输出目标检测窗口。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。