一种基于红外行人亮度统计特征的夜间行人检测方法

摘要

本发明公开了一种基于红外行人亮度统计特征的夜间行人检测方法。本发明首先对样本库中行人各部件和负样本统计灰度均值信息，利用该信息确定映射区间边界，构造一个区分投票区间划分的亮度直方图特征；然后计算梯度方向直方图特征，并将这两个特征进行联合构成最终的特征描述符；其次利用Adaboost结合决策树的方法进行模型训练，并通过滑窗扫描法进行行人判定及定位，最后当分类器对某个检测框分类判断得到较低置信度时，采用亮度区间模板进行再次判定，从而实现夜间的行人检测。本发明有效地实现了夜晚环境下的行人检测，具有检测率高、适应性强的特点。

说明书

技术领域

本发明涉及车载视频图像的行人检测方法，特别一种基于红外行人亮 度统计特征的夜间行人检测方法。

背景技术

行人检测技术是计算机视觉的一个重要应用，在日常的生活和生产中 有很高的实用价值。基于视觉的行人检测就是根据一定图像处理技术从输 入的图片或者视频帧序列判断行人出现的具体位置。智能车辆辅助驾驶系 统可以提高车辆驾驶的安全性，从而减少交通事故的发生，行人检测技术 则是智能辅助驾驶系统中的核心技术之一。

基于视觉的夜间行人检测技术主要采用的是可见光图像、红外图像等 技术。在夜晚情况下，由于光照等条件不理想，可见光摄像机的成像效果 较差，影响行人检测的效果。红外摄像机通过被动红外技术捕获红外线信 息感知物体，不同温度的物体在图像中呈现出不同亮度。在道路场景红外 图像中，行人一般比背景辐射更多的热量，红外图像中的行人一般比背景 更为明亮，且不受夜晚光线阴暗、雾天视线不清等影响，具有良好的夜视 能力，对不同的光照环境都有较强的适应能力。因此红外图像的行人检测 技术是实现夜间行人检测的有效解决方法。

目前多数红外行人检测技术采用基于机器学习的方法，如发明专利《基 于特征组合的行人检测方法及装置》(CN103632170A)利用HOG特征与LBP 特征构成一个联合特征，利用支持向量机(SVM)作为学习算法进行分类器训 练实现行人检测。上述方法涉及的LBP特征对图像纹理有较强描述能力， 而红外图像的纹理特征并不明显，因此LBP特征应用于红外行人检测中的 效果一般。发明专利《一种基于红外图像的行人检测方法》(CN103902976A) 在HOG特征基础上融合与亮度直方图特征描述行人，利用SVM进行分类器 训练实现夜间行人检测。该方法除了利用行人的轮廓信息外，也对红外行 人的亮度信息进行了提取，因此，有更好的红外行人检测效果。

上述方法并没有考虑红外行人的亮度分布统计特征。本发明在HOG特 征基础上，融合红外行人的亮度分布统计特征，构建一种描述能力更强的 红外行人特征，利用Adaboost作为学习算法，设计行人检测分类器以及亮 度区间模板再判定的行人行人框架。本发明的方法在红外行人检测中有更 好的行人特征描述能力和检测效果。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于红外行人亮度统计特 征的夜间行人检测方法。本发明利用红外行人的轮廓信息和亮度信息，首 先通过对样本库中的行人部件(包括头部、上半身、下半身)和负样本图 像统计灰度均值信息，根据灰度均值信息的分布特征确定行人描述特征的 各投票映射区间，构造一个区分投票区间划分的亮度直方图特征(DBHOI)； 然后计算梯度方向直方图(HOG)特征，并将这两个特征进行联合构成最终 的行人特征描述符；其次，利用Adaboost结合决策树的方法进行模型训练， 通过滑窗扫描法进行行人判定及定位；最后，当分类器对某个行人框分类 判断得到较低置信度时，采用亮度区间模板进行再次判定，从而实现夜间 红外行人检测。该方法具有检测率高、适应性强的特点。

本发明解决其技术问题采用的技术方案步骤如下：

步骤1、构建红外图像的正负样本数据集；

步骤2、基于亮度统计特征的红外图像DBHOI特征构造；

步骤3、基于轮廓信息的红外图像HOG特征构造；

步骤4、利用Adaboost进行分类器训练；

步骤5、检测窗口判定及定位；

步骤6、行人框重判定。

步骤1所述的构建红外图像的正负样本数据集具体如下：

正样本数据集构建方法如下：采用最小矩形窗口，提取红外图像中的 行人样本；假设行人的高为h，宽为w，使得w/h＝0.41；共提取行人正样本 N₁张；

负样本数据集构建方法如下：随机在N₀张不包含行人的红外图像中共 抽取N₀×10张负样本，即在每张红外图像中随机抽取10张负样本；

将所有正负样本缩放至宽为64像素，高为128像素的样本图像。

步骤2所述的基于亮度统计特征的红外图像DBHOI特征构造具体如下：

2-1.设样本图像尺寸为w′×h′,则将样本图像划分成多份大小相同的局 部图像；每一个局部图像的大小为8×8，即将样本图像划分成相等的 (w′/8)×(h′/8)个局部图像，并将这些局部图像记为cell；

2-2.根据行人部件确定映射规则；

2-2-1.首先根据N₁个正样本截取行人各部件，行人各部件包括头部、 上半身、下半身；

2-2-2.在负样本中随机截取N₁个背景图像；

2-2-3.分别计算头部图像、上半身图像、下半身图像和背景图像的灰 度均值；

2-2-4.设四种图像的灰度均值为G₁、G₂、G₃、G₄，且大小依次增大；， 根据四个灰度均值确定三个映射边界，分别为t₁＝(G₁+G₂)/2、t₂＝(G₂+G₃)/2、 t₃＝(G₃+G₄)/2，根据映射边界将灰度值范围划分为四个灰度区间，分别为 [0,t₁),[t₁,t₂),[t₂,t₃),[t₃,255]；

2-2-5.根据该映射规则并以红外图像中像素的灰度值为权值，在每个 cell内构建亮度直方图，得到一个四维的特征向量；

2-3.相邻的2×2个cell进行块内归一化；

以一个cell为步长，将(w′/8)×(h′/8)个cell在样本图像中以从上到下、 从左到右的顺序将相邻的四个cell通过L1-Sqrt方法进行块内归一化；

其中L1-Sqrt方法如下：v为亮度直方图向量，ε为一 个很小值，取值为0.001；

2-4.将所有块的特征进行串联得到DBHOI特征；

所述的DBHOI为不同区间大小的亮度直方图。

步骤3所述的于轮廓信息的红外图像HOG特征构造具体如下：

利用经典sobel算子计算每个像素水平和垂直方向的梯度分量G_x(i,j)、 G_y(i,j)，然后计算对应的梯度大小G(i,j)和方向D(i,j)如下：

$G(i,j)=\sqrt{G_x{(i,j)}^2+G_y{(i,j)}^2}$

$D(i,j)=\arctan \left(\frac{G_y(i,j)}{G_x(i,j)}\right).$

步骤4所述的利用Adaboost进行分类器训练具体如下：

4-1.将所有正负样本缩放至相同的尺度，然后针对每一个样本图像， 提取DBHOI特征向量和HOG特征向量，并且标记正样本的标签为1，负样本 的标签为-1；

4-2.将N₁个正样本和N₀×10个负样本对应的DBHOI-HOG特征向量以及 样本标签输入到Adaboost学习算法进行训练，得到一个具有一系列弱分类 器构成的分类器。

步骤5所述的检测窗口判定及定位如下：

5-1.根据待检测红外图像的尺度和检测窗口的大小确定缩放因子，确 定待检测红外图像的缩放层数；然后用步骤4得到的分类器按步长为4个 像素大小进行逐层扫描；设待检测红外图像的原始大小为W_i×H_i，其中W_i表 示待检测红外图像的宽度，H_i表示待检测红外图像高度，检测窗口大小为 W_d×H_d，其中W_d表示检测窗口的宽度，H_d表示检测窗口高度，用s_s表示缩 放因子；则初始缩放因子为s_s＝1，终止缩放因子为s_s＝min{W_i/W_d,H_i/H_d}； 对每一个尺度下的待检测红外图像进行滑窗扫描，利用训练得到的行人分 类器进行检测窗口判定；如果该检测窗口是行人框，则记录该检测窗口的 位置以及置信度，将该记录表示为{posX,posY,width,height,score}，其中posX， posY为行人框的左上角点，width,height为行人框的宽度和高度，score为置 信度；

所述的置信度为所有二层决策树叶子结点记录的错误率；

5-2.通过对待检测红外图像进行多尺度的滑窗扫描检测后，同一个行 人在不同尺度的待检测红外图像中被检测出来，采用非极大值抑制法对多 个不同尺度的行人框结果进行融合；

所述的极大值抑制的标准是每个行人框的置信度score；

5-3.将所有行人框按置信度从低到高进行排列成数组A[n]，然后从该 数组A[n]中取出当前置信度最大的检测窗口信息A[n]；

5-4.判断该行人框A[n]与后续行人框A[n-1]的关系，如果两个行人框的 重合度α大于0.5，则认为是同一个行人框，否则将行人框A[n-1]作为当前 置信度最大的行人框；

所述的重合度其中area(B_n)为第n个行人框的面积， area(B_n∩B_n-1)为第n个行人框面积与第n-1个行人框面积的交集；

5-5.重复步骤5-4，直至判定完所有的行人框。

步骤6所述的行人框重判定如下：

6-1.通过步骤5之后，每一个被判定为行人的检测窗口都会有一个置 信度值score；采用了亮度区间模板对行人框进行再判定；当score_i≤τ时， 则进行行人框再判定，其中阈值τ的取值由统计方式确定；如果score_i＞τ， 则仅用分类器进行行人检测，假设得到N个行人框的置信度，那么τ满足式 $\tau \le \left(\underset{1}{\overset{N}{\Sigma }}{\mathrm{csore}}_i\right)/(3\times N);$

所述的score_i为步骤5-3定义的数组A[n]中第i个的置信度值；

6-2.根据步骤2以及红外行人成像特点，[0,t₁),[t₁,t₂),[t₂,t₃),[t₃,255]这4 个区间分别对应背景、上半身、下半身、头部；设行人宽高为w×h，如果 行人框正确判定行人位置，那么将已经被判定为行人的行人框的高度h从 上到下划分成4等分，则在第一个1/4等分处必定存在属于[t₃,255]范围的 亮度信息，并记灰度值在此区间的像素总个数为Σp₁，第二个1/4等分处必 定存在[t₁,t₂)范围的亮度信息，并记灰度值在此区间的像素总个数为Σp₂， 以及后两个1/4等分处必定存在[t₂,t₃)范围内的亮度信息，并记灰度值在此 区间的像素总个数为Σp₃；设置如下验证规则：Σp₁/(w×h)≥1/16， Σp₂/(w×h)≥1/8，Σp₃/(w×h)≥1/16；如果Σp₁、Σp₂、Σp₃同时满足这三个 条件，那么该行人框再次被判定为行人框，否则该行人框判定为非行人框。 本发明的有益效果：

本发明针对红外图像中行人的特点，构建了一个更具表达能力的亮度特征 描述符——DBHOI，并将它与HOG特征相结合。DBHOI描述符通过统计训练 样本中行人各部件及背景的亮度分布，并在构造特征时对该分布信息进行 编码，使得该特征描述符更能够刻画出行人与背景在亮度信息上的区别。 该特征描述符的构造方式提高了特征的描述能力，从而使得最终的分类器 具有更强的分类能力。

当使用分类器对行人框进行判定后得到较低置信度时，则根据亮度区 间模板进行行人框再判定。该方法大大地降低了因分类器误判而引起的错 误率，提高了检测精度。

附图说明

图1为本发明的整体流程图。

图2为DBHOI特征描述符提取流程图。

图3为本发明行人检测模型的检测效果展示。

具体实施方式

下面结合附图，对本发明的具体实施方案作进一步详细描述。

如图1、图2和图3所示，一种基于红外行人亮度统计特征的夜间行人 检测方法，其具体包括如下步骤：

步骤1、构建红外图像的正负样本数据集。

本发明主要针对车载情况下的行人检测，所以采集图像的场景主要是 道路场景下的红外图像。

正样本数据集构建方法如下：采用最小矩形窗口,也就是说用一个能够 刚好包围行人的矩形框，提取红外图像中的行人样本；假设行人的高为h, 宽为w，使得w/h＝0.41；一共提取行人正样本N₁张；

负样本数据集构建方法如下：随机在N₀张不包含行人的红外图像中共 抽取N₀×10张负样本，即在每张红外图像中随机抽取10张负样本；

将所有正负样本缩放至宽为64像素，高为128像素的样本图像。

所述的最小矩形窗口的定义如作者P.Dollár在文献《Pedestrian  Detection:An Evaluation of the State of the Art》所述。

步骤2：基于亮度统计特征的红外图像DBHOI特征构造。

所述的DBHOI为不同区间大小的亮度直方图，全称为Different Bins  Histogram of Intensity。

如图2所示，本发明通过对红外图像中的亮度信息进行编码，使得亮 度信息成为一个具有较强分辨能力的描述符，其具体构造方式如下。

2-1.假设样本图像尺寸为w′×h′,则将样本图像划分成多份大小相同的 局部图像；每一个局部图像的大小为8×8，即将样本图像划分成相等的 (w′/8)×(h′/8)个局部图像，并将这些局部图像记为cell。

2-2.根据行人部件确定映射规则。首先根据N₁个正样本截取行人各部 件，行人各部件包括头部、上半身、下半身；再在负样本中随机截取N₁个 背景图像，然后分别计算头部图像、上半身图像、下半身图像和背景图像 的灰度均值。设四种图像的灰度均值为G₁、G₂、G₃、G₄，且大小依次增大；， 根据四个灰度均值确定三个映射边界，分别为t₁＝(G₁+G₂)/2、t₂＝(G₂+G₃)/2、 t₃＝(G₃+G₄)/2，根据映射边界将灰度值范围划分为四个灰度区间，分别为 [0,t₁),[t₁,t₂),[t₂,t₃),[t₃,255]。根据该映射规则，并以灰度值为权值，在每个cell 内构建亮度直方图，得到一个四维的特征向量。

2-3.相邻的2×2个cell进行块内归一化。

个cell，以一个cell为步长，将(w′/8)×(h′/8)个cell在样本图像中以 从上到下、从左到右的顺序将相邻的四个cell进行块内归一化。归一化方 法为L1-Sqrt：其中v为亮度直方图向量，ε为一个很小值， 本发明中取值为0.001。

2-4.将所有块的特征进行串联得到DBHOI特征。通过这样的方式构建 的DBHOI描述符具有较强的描述能力。

步骤3、基于轮廓信息的红外图像HOG特征构造。

利用经典sobel算子计算每个像素水平和垂直方向的梯度分量G_x(i,j)、 G_y(i,j)，然后计算对应的梯度大小G(i,j)和方向D(i,j)如下：

$G(i,j)=\sqrt{G_x{(i,j)}^2+G_y{(i,j)}^2}$

$D(i,j)=\arctan \left(\frac{G_y(i,j)}{G_x(i,j)}\right)$

HOG特征的构造采用金典的构造方法，比如将64×128大小的样本图像划 分成若干个cell，每个cell的尺寸大小为8×8。针对每一个cell区域将 梯度方向划分成均等的9等分，并将梯度大小作为权值构建梯度方向直方 图。将相邻的4个cell组合成块，并L1-sqrt方法进行归一化，最后串联 不同块之间的梯度直方图，构成最终的HOG描述符。

步骤4：利用Adaboost进行分类器训练。

将所有正负样本缩放至相同的尺度，如64×128。然后针对每一个样本 图像，提取DBHOI特征向量和HOG特征向量，并且标记正样本的标签为1， 负样本的标签为-1。

将N₁个正样本和N₀×10个负样本对应的DBHOI-HOG特征向量以及样本 标签输入到Adaboost学习算法进行训练，得到一个具有一系列弱分类器构 成的分类器。其中，弱分类器为二层决策树模型。

步骤5：行人框判定及定位。

如图3所示，由于行人分类器的大小是确定的，但是行人在红外图像中的 尺寸却不同。比如当行人距离摄像机很近时，它的尺寸将比分类器的尺寸 大。因此为了检测不同尺度下的行人，需要对图像进行缩放，然后针对每 一个尺度下的图像进行划窗扫描。同一个行人在不同的图像尺度下都有可 能被分类器判定为行人，因此需要进行行人框的融合。

5-1.根据待检测红外图像的尺度和检测窗口的大小确定缩放因子，确 定待检测红外图像的缩放层数；然后用步骤4得到的分类器按步长为4个 像素大小进行逐层扫描。设待检测红外图像的原始大小为W_i×H_i，其中W_i表 示待检测红外图像的宽度，H_i表示待检测红外图像高度，检测窗口大小为 W_d×H_d，其中W_d表示检测窗口的宽度，H_d表示检测窗口高度，用s_s表示缩 放因子。则初始缩放因子为s_s＝1，终止缩放因子为s_s＝min{W_i/W_d,H_i/H_d}。 对每一个尺度下的待检测红外图像进行滑窗扫描，利用训练得到的行人分 类器进行窗口判定。如果该检测窗口是行人框，则记录该检测窗口的位置 以及置信度，将该记录表示为{posX,posY,width,height,score}，其中posX，posY 为行人框的左上角点，width,height为行人框的宽度和高度，score为置信度。

所述的置信度为所有二层决策树叶子结点记录的错误率。

5-2.通过对待检测红外图像进行多尺度的滑窗扫描检测后，同一个行 人在不同尺度的待检测红外图像中被检测出来，为了使系统输出一个最可 能对应实际行人位置的行人框，采用非极大值抑制法对多个不同尺度的行 人框结果进行融合。所述的极大值抑制的标准是每个行人框的置信度 score。

5-3.将所有行人框按置信度从低到高进行排列成数组A[n]，然后从该 数组A[n]中取出当前置信度最大的检测窗口信息A[n]；

5-4.判断该行人框A[n]与后续行人框A[n-1]的关系，如果两个行人框的 重合度α大于0.5，则认为是同一个行人框，否则将行人框A[n-1]作为当前 置信度最大的行人框。

所述的重合度其中area(B_n)为第n个行人框的面积， area(B_n∩B_n-1)为第n个行人框面积与第n-1个行人框面积的交集。

5-5.重复步骤5-4，直至判定完所有的行人框。

步骤6、行人框重判定。

6-1.通过步骤5之后，每一个被判定为行人的检测窗口都会有一个置 信度值score。如果分类器对一个检测窗口的判定越明确，则相应的score 值也越大；相反，如果分类器对检测窗口的判定越不明确，则会得到一个 很低的score值。因此当一个区域被错误的判定为行人框时，该行人框所 得到的置信度score都比较低。为了降低这种因分类器在置信度不够时， 做出的错误判定，本发明采用了亮度区间模板再判定技术。当score_i≤τ时， 则进行行人框再判定，其中阈值τ的取值由统计方式确定。如果score_i＞τ， 则仅用分类器进行行人检测，假设得到N个行人框的置信度(默认值N为 1000)，那么τ满足式$\tau \le \left(\underset{1}{\overset{N}{\Sigma }}{\mathrm{score}}_i\right)/(3\times N).$

所述的score_i为步骤5-3定义的数组A[n]中第i个的置信度值。

6-2.根据步骤2以及红外行人成像特点，[0,t₁),[t₁,t₂),[t₂,t₃),[t₃,255]这4 个区间分别对应背景、上半身、下半身、头部。设行人宽高为w×h，如果 行人框正确判定行人位置，那么将已经被判定为行人的行人框的高度h从 上到下划分成4等分，则在第一个1/4等分处必定存在属于[t₃,255]范围的 亮度信息，并记灰度值在此区间的像素总个数为Σp₁，第二个1/4等分处必 定存在[t₁,t₂)范围的亮度信息，并记灰度值在此区间的像素总个数为Σp₂， 以及后两个1/4等分处必定存在[t₂,t₃)范围内的亮度信息，并记灰度值在此 区间的像素总个数为Σp₃。设置如下验证规则：Σp₁/(w×h)≥1/16， Σp₂/(w×h)≥1/8，Σp₃/(w×h)≥1/16。如果Σp₁、Σp₂、Σp₃同时满足这三个 条件，那么该行人框被判定为行人框，否则该行人框判定为非行人框。