基于毫米波雷达和视觉融合的道路行人快速检测方法

摘要

本发明涉及一种基于毫米波雷达和视觉融合的道路行人快速检测方法，利用毫米波雷达对感兴趣区域进行扫描，提取接收到的信号，对同一帧内的接收信号进行凝聚处理；建立两个缓冲区，分别用于存储有效目标信号和异常信号；将有效目标中心从雷达坐标系转化到图像坐标系，以获取有效目标信号在图像上的投影点；进行似物检测训练，采用INRIA行人数据训练集作为正样本，通过在不含有行人的图像中随机采样窗口作为负样本参加训练；选定窗口对目标区域进行扫描，利用似物性训练结果检测行人目标，如果发现行人目标，则停止扫描；否则移动窗口，直至发现行人目标。本发明避免传统滑动窗算法因盲目搜索所造成的检测效率低下，达到了加速行人检测的目的。

说明书

技术领域

本发明涉及雷达技术与计算机视觉领域，具体地说是一种基于毫米波雷达和视觉融合的道路行人快速检测方法。

背景技术

行人检测是一种根据图像或者视频序列信息来检测其中是否存在行人，如果存在则标出其具体位置的技术。行人检测是视觉目标识别领域中非常重要的课题。除重要的研究价值外，该技术在机器人与无人系统、智能交通、先进辅助驾驶与自动驾驶等领域也有广泛的应用前景。

二值化规范梯度特征是一种新的基于统计学习的似物检测模式，在高检测率的前提下其检测速度快，并且算法简单。通过在检测前期引入似物检测机制，快速确定感兴趣区域，然后利用HOG-SVM算法对局部有效区域进一步行人检测，实现对图像进行有针对性的检测，有效的解决了行人检测的问题。

发明内容

针对现有技术的不足，本发明提供一种基于毫米波雷达和视觉融合的道路行人快速检测方法，避免传统滑动窗算法因盲目搜索所造成的检测效率低下，达到了加速行人检测的目的。

本发明为实现上述目的所采用的技术方案是：

一种基于毫米波雷达和视觉融合的道路行人快速检测方法，包括以下步骤：

步骤1：利用毫米波雷达对感兴趣区域进行扫描并进行有效目标信号提取，对同一帧内的探测信号进行凝聚处理，认为每一帧内满足相应指标的信号属于同一目标，取其各指标均值作为聚类中心，代表该目标；

步骤2：建立两个缓冲区，targetBuffer和noise Buffer，每个缓冲区长度为三帧，分别用来存储过去t-3，t-2，t-1数据帧中的有效目标中心和“异常中心”，如果该数据点存在于target Buffer中记录的过去三帧中任意一个有效目标中心的半径覆盖域之内时，则将其当作有效信号数据，反之将其视为“异常点”；

步骤3：在步骤2基础上进行下一帧扫描，同样建立两个缓冲区，一个用以记录过去的有效目标，一个用以记录过去连续几帧数据中出现的“噪声点”，根据该噪声点在近几帧数据中出现的情况，来决定是将其提升为有效目标，还是当做噪声剔除，即建立目标观察/生长周期机制；

步骤4：进行坐标系转换，将上述步骤中确定的目标信号从雷达坐标系转化到图像坐标系，以获取目标信号在图像上的投影点；

步骤5：进行BING似物检测训练，采取用INRIA行人数据训练集进行训练，同时防止负样本可能覆盖作为物体重要特征的正例的边界部分，在训练的第一阶段和第二阶段中均引入单纯负样本采样机制，即通过在不含有行人的图像中随机采样一定尺寸大小的窗口作为负样本参加训练；

步骤6：首先对雷达找到的目标区域内进行扫描，利用步骤5中的似物性训练结果检测行人目标，如果没有发现行人，则向左向右移动，渐进的扫描图像；

步骤7：将各个矩形窗口按照其响应值大小排序，同时设定邻域半径为r像素，遍历处理所有窗口。对于当前选中的窗口，将处于其r×r范围内的其它窗口及其评分直接剔除，然后在剩余响应中选择下一个窗口，继续上述处理；

步骤8：为了防止窗口部分覆盖和交叉覆盖目标和由于划定区域过于紧凑而不能到检测行人，采用对粗提取结果先进行尺度矫正以解决覆盖紧凑和缓解部分覆盖的问题，再通过矩形聚类融合算法解决交叉覆盖问题；

步骤9：利用INRIA训练集训练SVM分类器，同时为了提高SVM分类性能，引入难例训练机制，SVM模型训练完毕后，对由似物检测阶段产生的各初选区域提取其HOG特征并利用SVM进行多尺度行人检测，判断该待检测目标为行人，则预警，否则不预警；

假设P₁(x₁,y₁,z₁,d₁)和P₂(x₂,y₂,z₂,d₂)是同一帧内两个任意雷达数据探测点，x_i、y_i、z_i和d_i分别代表信号点i在雷达参考坐标系中的横向坐标、纵向坐标、垂直坐标、目标到雷达的直线距离。考虑到行人自身横截面积不大，以及手臂和腿部单次摆动幅度有限，经多次实验测定，当P₁和P₂满足下式所描述的空间关系时，可以将其视为来自同一目标的反射信号

对每一帧内属于同一目标的探测点，取其各指标均值作为聚类中心，代表该目标。

单帧数据内异常点和有效信号的判别。建立两个目标缓冲区targetBuffer和noise Buffer，每个缓冲区长度为三帧，分别用来存储过去t-3，t-2，t-1数据帧中的有效目标中心和“异常中心”，对于noise Buffer缓冲区还要进行动态计数，建立生命周期。当t时刻数据到来时，在凝聚处理之前，先判别该帧数据中哪些点为“异常点”，哪些点为有效信号。

关于有效目标中心和“异常中心”的判别方法为：如果该数据点存在于targetBuffer中记录的过去三帧中任意一个有效目标中心的半径覆盖域之内时，则将其当作有效信号数据，反之将其视为“异常点”。进一步地，如果该数据点被确认为“异常点”，则用同样的方法查看其是否处于noise Buffer中记录的过去某一异常中心覆盖半径内，如果符合条件，则继承该异常中心的计数器值并加1，同时用当前数据更新该异常中心的历史信息。对于target Buffer和noiseBuffer中记录的t-3帧、t-2帧、t-1帧目标中心而言，覆盖半径应该逐渐增大，结合经验中行人运动特点，覆盖半径依次设置为0.7m、0.8m、1.0m；

对权利要求1中步骤2的有效点集和“异常点”集分别用步骤1对其进行聚类处理。对于有效点集聚类后得到的各个聚类中心，作为有效目标信号输出到后续识别过程，同时更新targetBuffer缓冲区。对于“异常点”集聚类后的各个聚类中心，则进一步查看其连续发生次数是否超过一定阈值，如果达到阈值要求，将该聚类中心提升为有效目标信号并输出到后续识别过程，同时将其添加到target Buffer缓冲区，即脱离异常；否则将之用于更新异常目标缓冲区noise Buffer。

需要将目标在雷达坐标系位置投影到图像坐标系中，可以通过旋转和平移操作将毫米波雷达坐标系转换为相机坐标系：

其中(x_c,y_c,z_c)为雷达坐标系，(x_r,y_r,z_r)为图像坐标系，R为3×3转换矩阵，t＝[t₁t₂t₃]^T为平移向量。

在每个雷达投影点将存在三个潜在目标区域，依次对其进行检测，只要其中一个区域检测到行人，就终止对后续剩余潜在目标区域的检测。

所述引入单纯负样本采样机制的训练过程为：

步骤1：准备训练样本数据集用以产生训练样本。正例图像含有行人，负例图像不含行人，对于包含行人的正例图像，需标出行人位置，记为B_gt；

步骤2：采样产生正负样本特征向量。具体过程：对于含有行人的正例图像，将采样窗口左上顶点与B_gt左上角重合，然后从该位置向右下方划定16×16到256×256共25个矩形窗口，在此过程中，如果哪个采样窗口和该处行人目标的B_gt面积重合达到了下面公式的要求，则记为一个正样本，标签为+1，并将采样窗口对应的计数器累加1。然后把此矩形窗口下对应的图像部分归一化为8×8大小，求解缩放后图像中各个位置处的梯度，再将其拉伸为一个64维特征向量。

若面积重合少于0.4，则记作负样本。为了增强分类器的鲁棒性，额外在不含行人的负例图像上任意地采样一些图像区域，按同样的方法提取其特征向量后直接补作为负训练样本

步骤3：利用特征向量训练第一级SVM分类器，并进行二值化分解；

步骤4：筛选有效的采样窗口，在步骤2中一共采用了25种大小采样窗口，并且为每一种都设置了一个计数器，每产生一个特征向量则将采样窗口对应的计数器加1，本步骤则将那些计数器值超过一定大小的采样窗口选作为有效采样窗口；

步骤5：训练第二级各个子分类器SVM_i，以有效采样窗口S_i为例，首先按对所有训练集图像进行放缩处理，之后用8×8滑动窗口在处理后的图像上采样，结果作为训练第二级分类器使用的特征向量。确定向量标签的规则为：若原图像含有行人且采样窗口对应的未缩放前原图区域与某个行人的B_gt标注框重合面积达到上述公式要求，则标签设置为正，否则为负；对于不存在行人的图像，标签直接为负。

上式中S_org代表原图像的大小。

训练分为两个阶段：第一阶段利用正负样本集训练初级SVM分类器，然后用该分类器对训练集进行分类，将错分类的正负样本挑选出来构成“难例”，利用“难例”数据集再次训练以得到最终SVM分类器。然后利用该分类器对BING似物性检测产生的粗选窗口进行多尺度行人检测。

本发明具有以下有益效果及优点：

1.本发明通过雷达扫描到的点进行聚类，可快速锁定行人的可能位置，能快速提高检测效率；

2.本发明提出利用BING似物性进行行人检测，在对行人的快速检测同时保证准确率；

3.本发明提出粗提取技术，在粗提取阶段过滤掉柱状物体、建筑物轮廓、物体交界处等容易出错的区域，可以有效降低误检率。

附图说明

图1是本发明的方法流程图；

图2是本发明的目标在雷达坐标系和图像坐标系进行转换的示意图；

图3是本发明的动态ROI搜索策略图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

为使本发明的上述目的、特征和有点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

如图1所示，为本发明流程示意图。

步骤1：毫米波雷达的ROI区域提取，使用雷达对探测到的数据点进行聚类分析，找到确定的目标聚类，同时保留可能是异常点的目标聚类，如果一个异常点一直出现,那么就认为其是目标点；

步骤2：进行坐标系转换，将雷达坐标系中的目标点位置转化到图像坐标系；其中(Xc,Yc,Zc)为雷达坐标系,(Xr,Yr,Zr)为图像坐标系,我们可以通过下述方程转化

同时,考虑到雷达提取的坐标只有x,y轴,上述方程可简化为

U＝[u₁u₂…u_n]’,V＝[v₁v₂…v_n]’,I_nx1＝[11…1]’同时

n为雷达点的数量.则空间转换矩阵T为

其中矩阵P为

步骤3：在图像坐标系对应的ROI区域中找到行人目标,首先雷达找到的ROI区域内进行扫描,如果没有发现行人，则向左向右移动，渐进的扫描图像；

步骤4：进行BING似物检测模型和SVM行人检测模型训练，采取用INRIA行人数据训练集进行训练，同时防止负样本可能覆盖作为物体重要特征的正例的边界部分，在训练的第一阶段和第二阶段中均额外引入了单纯负样本采样机制，即通过在不含有行人的图像中随机采样一定尺寸大小的窗口作为负样本参加训练；

步骤5：加载BING检测和SVM判别模型；

步骤6：提取BING特征计算各区域似物性大小；

步骤7：非极大值抑制，对响应值图像做均值滤波，如果某一点均值滤波后响应值变小，则说明该点可能存在一个极大值点，保留，反之滤除，然后设置邻域抑制半径r，将所有响应值从大到小排序，然后开始遍历，将以当前窗口为中心的r*r范围内的其他窗口滤除，重复上述过程直至所有窗口被处理；

步骤8：为了防止窗口部分覆盖和交叉覆盖目标和由于划定区域过于紧凑而不能到检测行人，采用对粗提取结果先进行尺度矫正以解决覆盖紧凑和缓解部分覆盖的问题，再通过矩形聚类融合算法解决交叉覆盖问题；

8a.选择任意的两个矩形i，j；

8b.计算两个矩形的相似度F(i，j)，利用矩形重合面积和总面积之比考察相似性，式中α为相交系数，t为指定的阈值。

8c.如果相似度满足阈值要求，则将矩形i和j视为同一类并将i和j所在类中小的一类归并到大的一类中

8d.对同一类的窗口取平均作为最终该类的似物检测粗提取结果。

R_i表示第c_i类所有矩形窗口r_i最终融合后的区域。

步骤7：利用INRIA训练集训练SVM分类器，同时为了提高SVM分类性能，引入难例训练机制。SVM模型训练完毕后，对由似物检测阶段产生的各初选区域提取其HOG特征并利用SVM进行多尺度行人检测；

如图2所示，为目标在雷达坐标系和图像坐标系进行转换的示意图。本图展示了毫米波雷达和相机的相对位置，图中o-x_cy_cz_c表示近似以摄像机光圈中心所在位置为原点建立的相机坐标系。

o-x_ry_rz_r代表以毫米波雷达所处位置为原点的雷达坐标系。o-uv表示图像数组坐标系，原点为图像坐上角。相机坐标系和雷达坐标系以实际的距离度量单位米作为测量单位，而图像数组坐标系则以像素个数为基本单位。图2中点p代表现实空间里任何一点，p'为p对应的图像像素点，从图示可以看出，通过p在相机坐标系和雷达坐标系中的坐标，可以将两个坐标系统联系起来。

如图3所示，为动态ROI搜索策略。下图(b)表示正常情况下按照初始ROI生成规则所生成的第一潜在目标区域，将此区域作为视觉行人识别算法的输入检测是否存在行人，如果存在则确认该雷达目标为行人并返回其目标信息，终止对该雷达目标的检测。如果不存在行人目标，则将感兴趣区域向左平移半个矩形宽度，如下图(a)所示，然后对该区域进行检测，如果存在行人目标则确认该雷达目标为行人并返回其目标信息，终止对该区域的检测。如果仍然没有检测到行人目标，则将区域继续向右平移半个窗口宽度，如果仍没有检测到行人目标，则认定该目标为非行人或虚假目标，将结果反馈给雷达，并从跟踪缓冲区中剔除该目标。对上述过程进行概括：即在每个雷达投影点将存在三个潜在目标区域，依次对其进行检测，只要其中一个区域检测到行人，就终止对后续剩余潜在目标区域的检测。