使用近红外照相机对行人进行检测、分类并追踪的有成本效益的系统及方法

摘要

一种通过使用由设置在车辆上的近红外(IR)照相机捕捉的图像来对该车辆前出现的行人进行检测、分类和追踪的有成本效益的方法，所述方法包括用处理器实现的以下步骤：通过估算地平面，检测要关注的道路，以过滤在所述图像中的感兴趣区域(ROI)的物体；基于非地面物体到地面的距离，除去该非地面物体；通过为每个非ROI物体计算信噪比(SNR)，基于这种物体的形状过滤该非ROI物体；通过相对于非垂直物体的质心计算相对于x和y轴的惯性力矩，除去该非垂直的物体；基于行人的形状对所分析的图像画面中的行人进行分类；以及使用均值偏移算法来追踪所分类行人的移动。

说明书

发明领域

本发明总地涉及对行人进行检测、分类并追踪的系统和方法。更具体地， 本发明涉及一种通过使用由设置在车辆上的近红外(IR)照相机捕捉的实时图 像来对该车辆前方的行人进行检测、分类和追踪的有成本效益的系统和方法。

发明背景

牵涉到行人的道路事故在晚上发生的频率远远大于在白天发生的频率。在 全世界，每年在道路交通碰撞中丧生的人数预计最多达到120万，而受伤的人 数则高达5000万，这是世界最大的五个城市的总人口数。很多在这种事故中 丧生的人都是行人。最重要的因素是司机的视觉范围显著减小了。如果车辆装 备有与司机警告策略相结合的改进的行人检测系统，则丧生或严重受伤的行人 将较少。

我们所知的处理行人检测及追踪的一些发明如下：

Fujimura等人的US7139411示出了一种在低能见度条件或其他条件下用 于检测并追踪行人的系统和方法。夜视照相机定时地从单一的角度捕捉道路的 红外线图像。行人检测模块通过处理所捕捉的图像来确定行人在画面中的位 置。该行人检测模块包括支持向量机，用于将从所述夜视照相机获得的信息与 训练数据库进行比较。行人追踪模块通过应用滤波器来估算所检测到的行人在 接下来的画面中的移动。该追踪模块使用Kalman过滤以周期性地估算行人的 移动并进行均值偏移(mean-shifting)以调整该估算的结果。

Ibrahim Burak Ozer的US7526102示出了用于提供拥挤环境的实时视频 监视的方法和系统。该方法包括几个物体检测及追踪处理，可对这几个物体检 测及追踪处理进行自动地选择以根据输入视频的分辨率和遮挡水平来追踪各 个物体或一组物体。可能感兴趣的物体(OOI)可以是人、动物、汽车等。该 发明可用于追踪在拥挤环境中的人或在繁忙交通条件下的汽车。

Hiroshi Satoh的US7421091示出了，在具有两维设置的多个像素的图像 捕捉单元的给定像素周围的像素的输出被添加至该给定像素的输出。

Min-Sub Lee的US5694487示出了这样一种方法，其基于与每个块中的 每个像素相对应的梯度大小和变化来确定每个块的特征点。

这些已知设备、系统和方法中的大部分为了检测并追踪行人都使用了复杂 的方法，且成本较高。这些方法的精确度却不足以检测并追踪行人。

因此，考虑到上述背景技术，明显地需要一种系统和方法，用于对在车辆 前出现的行人进行检测、分类和追踪以防止碰撞，该系统和方法是简单的、容 易安装的，且以较低的成本提供较高的精确度。

发明目的

本发明的主要目的是提供一种系统和方法，用于对在车辆前出现的行人进 行检测、分类和追踪以防止碰撞，该系统和方法是简单的、容易安装的，且以 较低的成本提供较高的精确度。

本发明的另一个目的是提供一种系统性的方法，用于通过使用近IR照相 机对地平面进行估算，从而检测道路区域。

本发明的又一个目的是提供一种系统性的方法，用于通过使用近I R照相 机基于非地面物体到地面的距离来除去该非地面物体。

本发明的还有一个目的是提供一种系统性的方法，用于使用近IR照相机 通过为每个非ROI物体计算信噪比(SNR)，从而基于这些物体的形状来过滤 这种非ROI物体。

本发明的还有一个目的是提供一种系统性的方法，用于通过相对于非垂直 物体的质心计算相对于x和y轴的惯性力矩，来从IR图像除去这种非垂直的 物体。

本发明的又一个目的是提供一种系统化的方法，用于通过使用近I R照相 机，基于行人的形状对所分析的图像画面中的行人进行分类。

本发明的另一个目的是提供一种系统化的方法，用于通过使用均值偏移算 法来追踪被分类的行人的移动。

本发明的又一目的是提供一种用于对行人进行检测和追踪的系统和方法， 该系统和方法是简单且有成本效益的。

发明内容

在对本发明的方法、系统和硬件实现进行描述前，应该理解到本发明不局 限于所描述的特定系统和方法，本发明可有多个没有在本公开中明确说明的可 能的实施例。还应理解到，本说明书中所使用的术语仅是为了描述特定版本或 实施例的目的，不旨在限制仅由所附权利要求书限定的本发明的范围。

本发明提供一种系统和方法，用于在驾驶的同时对在车辆前出现的行人进 行检测、分类和追踪，以防止碰撞，该系统和方法是简单的、容易安装的，且 以较低的成本提供较高的精确度。

本发明具体实现为一种通过使用由设置在车辆上的近红外(IR)照相机捕 捉的图像来对该车辆前出现的行人进行检测、分类和追踪的有成本效益的方 法，其中所述方法包括用处理器实现的以下步骤：检测要关注的道路并通过估 算地平面来过滤在所述图像中的感兴趣区域(ROI)的物体；基于非地面物体 到地面的距离，除去该非地面物体；通过为每个非ROI物体计算信噪比(SNR)， 基于这些物体的形状来过滤该非ROI物体；通过相对于非垂直物体的质心计算 相对于x和y轴的惯性力矩，除去该非垂直的物体；基于行人的形状对所分析 的图像画面中的行人进行分类；以及使用均值偏移算法来追踪被分类的行人的 移动。

在本发明的一个方面中，与行人有关的追踪数据还被处理器传递给输出装置。

在本发明的还有一个方面中，警报装置警告司机出现一个或多个行人，其中 该警报装置可以是发出警告的音频和音频视觉设备、基于语音的告诫装置、指示器 和显示器。

根据本发明的另一方面，近IR照相机可设置在车辆的仪表板上或者车辆的前 侧、内部或顶部。在本发明的一个典型实施例中，近IR照相机可设置在车辆之前。

附图简述

以上内容、以及优选实施例的以下详细描述将在结合附图阅读时被更好地 理解。为了示出本发明，在图中示出本发明的示例性构造；但本发明不局限于 在附图中所公开的特定方法和系统。

图1为流程图，其示出了根据本发明多个实施例的方法，该方法用于在驾 驶的同时检测、分类和追踪在车辆前出现的行人，以避免碰撞。

发明的详细描述

现在将详细讨论本发明的一些实施例，说明其特征。词语“包含”、“具 有”、“含有”和“包括”及其其他形式旨在含义相同并且是开放式的，在这 些词语中任意一个之后的一个或多个事项并不意味着这一个或多个事项的穷 举或意味着仅局限于所列举的一个或多个事项。还必需注意到，如本文以及所 附权利要求书中所使用地，单数形式的“一”、“一种”以及“该”包括复数引用， 除非上下文另外明确地指出相反情况。尽管在本发明的实施例的实践或测试中 可使用与本文所描述的系统和方法相类似或等效的任何系统和方法，但是现在 将描述优选的系统和方法。所公开的实施例仅仅是本发明的示例，其可由本领 域技术人员具体化为各种形式。

一种通过使用由设置在车辆上的近红外(IR)照相机捕捉的图像来对该车 辆前出现的行人进行检测、分类和追踪的有成本效益的方法，所述方法包括用 处理器实现的以下步骤：

a)通过估算地平面，检测要关注的道路以过滤在所述图像中的感兴趣 区域(ROI)的物体；

b)基于非地面物体到地面的距离，除去该非地面物体；

c)通过为每个非ROI物体计算信噪比(SNR)，基于这种物体的形状 过滤该非ROI物体；

d)通过相对于非垂直物体的质心计算相对于x和y轴的惯性力矩，除 去该非垂直的物体；

e)基于行人的形状对所分析的图像画面中的行人进行分类；和

f)使用均值偏移算法来追踪被分类的行人的移动。

本发明提供一种系统和方法，用于在驾驶的同时对在车辆前出现的行人进 行检测、分类和追踪，以防止碰撞，该系统和方法是简单的、容易安装的，且 以较低的成本提供较高的精确度。

根据本发明的一个典型实施例，一种有成本效益的系统包括：设置在车辆 上的近IR照相机，用于捕捉图像；以及处理器，用于实时分析所捕捉的图像， 用以对出现在车辆前的行人进行检测、分类和追踪。

图1为流程图，其示出了根据本发明多种实施例的方法100，该方法用于 在驾驶的同时检测、分类和追踪在车辆前出现的行人，以避免碰撞。

在本发明的一个实施例中，有成本效益的方法100通过使用由设置在车辆 上的近红外(IR)照相机捕捉的图像来对该车辆前出现的行人进行检测、分类 和追踪。根据本发明的另一方面，近IR照相机可设置在车辆的仪表板上或者 车辆的前侧、内部或顶部。在本发明的一个示例实施例中，近I R照相机可设 置在车辆之前。

根据本发明的一个方面，所述近IR照相机的分辨率可从640*480、 720*480等中选择。在本发明的一个典型实施例中，近IR照相机的分辨率为 720*480。根据本发明的一个方面，所述近IR照相机的IR范围可从(0.7-1) 到5微米的范围中选择，用以对行人进行检测和追踪。在本发明的一个典型实 施例中，所述近IR照相机的IR范围可从0.7到5微米的范围中选择。根据本 发明的一个方面，所述近IR照相机的温度范围可从740到3,000-5,200开氏 度的范围中选择，用以对行人进行检测和追踪。

根据本发明的一个方面，处理器可设置在所述近IR照相机的主体内或车辆的 仪表板上。在本发明的一个典型实施例中，处理器设置在近IR照相机的主体内。 根据本发明的另一个方面，处理器可从Davinci DM6446处理器、ADSP-BF533， 750MHz Blackfin处理器的组中选择。

上述有成本效益的方法包括多个用处理器实现的步骤。在用机载近IR照 相机进行物体检测的情况下，首先需要估算地面区域。在所提议方法的第一步 骤中，通过估算地平面，处理器检测要关注的道路以过滤在所述图像中的感兴 趣区域(ROI)的物体。为了检测地面区域，处理器执行以下步骤：

最开始，使用sobel算子来完成图像微分102，然后使用Otsu算法来确 定微分的图像104。根据本发明的一个方面，根据应用性可改变用于微分的图 像的阈值参数。在微分二进制图像的阈值中，在沿着所述图像的宽度的每个最 底部的像素向上穿越直到有0-1的转变。从最底部像素到0-1转变的区域 106表示用于指示道路的光滑区域。将该区域值标注为‘X’。通过所述处理器为 每个最底部的像素图像重复该工序。

为了检测完整的地面区域108，通过处理器将图像强度划分为16个面元。 从最底部的像素向上穿越到达图像的一半高度。这些被标注为‘X’的像素被当作 是籽像素(seed pixel)。选择籽像素，通过用处理器计算Eulidean距离(D) 来检查相邻的像素并当该相邻的像素与籽像素相似时将该相邻的像素添加至 地面区域。针对新添加像素中的每一个，重复该处理；如果没有更多的像素可 被添加就停止。通过处理器，新添加的像素现在也被标注为‘X’。该方法基于 这样的设想：道路具有相对恒定的温度，由此在边缘检测图像中不会产生边缘。

在所提议的方法的第二步骤中，所述处理器基于非地面物体到地面的距离来 除去该非地面物体。为了除去所述非地面物体，处理器执行以下步骤：

最开始，使用Otsu算法对原始的灰度水平图像110取阈值。在被取阈值 的二进制图像中，除去被标注为‘X’的像素。然后在二进制图像上执行连接分量 分析。将′Lr′，′Hr′，′Lc′，′Hc′当作是用于构成一分量的边界框的最下面的行、最上面 的行、最左面的栏和最右面的栏。接着计算所有分量的′Hr′上的平均值(μ)和标 准差(σ)。通过处理器删除任何其′Hr′小于(μ+σ)的分量112。

在完成上述步骤之后，将有很多非ROI，它们为亮条纹物体114，诸如金属 标记板、发光标记板、交通标记、前灯、电极和护栏的柱子。这些物体具有规则的 形状。

在所提议的方法的第三步骤中，处理器通过为每个非ROI物体计算信噪比 (SNR)，基于这种物体的形状过滤该非ROI物体。为了检测这些规则形状，处 理器执行以下步骤：

为每个分量，寻找外边界。边界像素是值为‘1’的像素，且为8个像素值为‘0’ 的相邻像素中的任何一个，然后处理器为斑点计算矩心(x_c，y_c)。接着计算从斑点 的矩心到形状轮廓的距离(r(t))。

然后计算在r(n)上的N点DFT R(f)。接着搜索频率成分的幅度的局部最大 值。如果局部最大值周期地出现，则对该周期进行计算。观察到，形状为规则 的物体将具有周期的局部最大值，而形状为不规则的物体则不具有周期的局部 最大值。然后，处理器计算R(f)的复制的版本

其中M是周期。

在下一个步骤中，计算上的N点IDFT并随后计算误差信号 接着处理器计算信噪比(SNR)，

SNR＝10log(S_y/S_e)

其中，且S_e(n)＝∑(e[n])²。

对于规则形状的物体SNR将非常得高，而对于不规则形状的物体SNR将 较小。以这种方式，容易地除去街灯、车头灯、柱子和灯柱。

在所提议的方法的第四步骤中，处理器通过相对于非垂直物体的质心计算 相对于x和y轴的惯性力矩，除去该非垂直的物体116。在灰度水平的被取阈值 的二进制图像中，仍有更水平地对准而非垂直地对准的分量。行人等物体通常 在本质上为垂直的。为了检测垂直伸长的物体118，通过处理器使用归一化的 中心力矩。

其中M_x是关于质心的相对于X轴的惯性力矩。

其中M_y是关于质心的相对于Y轴的惯性力矩。

其中M_xy是关于质心的同时相对于X和Y轴的惯性力矩。

由于行人在本质上更加垂直，M_y＞M_x。

如果则物体为垂直伸长的，否则其将为水平伸长的，这将被处理器 删除。在本发明的一个典型实施例中，估算的阈值为大约3.2。

在所提议的方法的第五步骤中，所述处理器基于行人的形状对所分析的图 像画面中的行人进行分类。一旦已经获得了关于行人的物体基本结构和定性提 示，那么更精确的控制就是必需的。为了分类，将行人的形状用作提示。

为了对所分析的图像画面中的行人进行分类，处理器执行以下步骤：为每 个ROI，处理器寻找外边界。边界像素是其值为‘1’的像素，且为8个像素值为‘0’ 的相邻像素中的任何一个。最开始，为斑点计算矩心(x_c，y_c)。将所述边界表 示为复坐标函数Z(n)＝[x(n)-x_c]+i[y(n)-y_c]。该转变使形状的表示对平移来说是 不变的。物体形状和模型形状可具有不同的尺寸。结果，物体表示和模型表示 的数据点的数量也将是不同的。为了避免该问题，物体和模型的形状边界必须 被采样成具有相同数量的数据点。

a)假设K是沿着形状边界要被取样的候选点的总数目。相等的角 度采样选择以相等角度θ＝2∏/K间隔的候选点。

b)通过计算在复坐标函数上的32点FFT， 获得傅里叶描述符(FD)。

c)通过忽略相位信息以及通过只取FD的幅度值，完成FD的非变化 旋转。

d)然后通过使FD第一半的幅度值除以DC分量来获得标度不变性。

$f=\frac{\left|\mathrm{FD}1\right|}{\left|\mathrm{FD}0\right|},\frac{\left|\mathrm{FD}2\right|}{\left|\mathrm{FD}0\right|},.....\frac{\left|{\mathrm{FD}}_{N/2}\right|}{\left|\mathrm{FD}0\right|}.$

e)现在对于由FD特征索引的模型形状和由FD特征 索引的数据形状，由于关于平移、旋转和比例缩放对该两组 特征进行归一化，所以在该两组特征向量之间的Euclidean距离可被用作 相似性测量。

$d={\left(\underset{i=0}{\overset{N}{\Sigma }}{|f_m^i-f_d^i|}^2\right)}^{1/2}$

其中，N_c是索引形状所需要的谐波的截取数量。

$\mathrm{Pedestrian}=\left(\begin{array}{cc}1& d<\mathrm{threshold}\\ 0& d>\mathrm{threshold}\end{array}\right).$

最后，基于上述图像中的比较将行人进行分类。

在所提议的方法的最后一个步骤中，通过使用均值偏移算法，处理器追踪被 分类的行人的移动120。为了追踪被分类的行人的移动，处理器执行以下步骤：

当在当前画面中定位行人之后，从下一个画面向前应用均值偏移追踪以追踪 行人。所述均值偏移追踪算法为基于外观的追踪方法，且其应用均值偏移迭代以寻 找候选目标，该候选目标与按照强度分布的给定模型最为相似，该两个分布的相似 度由基于Bhattacharyya系数的度量来表示。从采样数据获得Bhattacharyya系数 的过程包括对目标密度q和候选密度p的估算，在该估算中应用直方图公式。

首先，将行人斑点的矩心当作为中心x0，通过考虑特征空间来计算目标模 型直方图。

基于被取阈值的图像计算边缘上的32面元直方图

目标模型：u＝1，2，3，........32，

从下一个画面向前，对目标的中心在其先前的位置(y0)进行初始化，且通 过考虑相同的特征空间来计算目标候选直方图。

基于被取阈值的图像更新边缘上的32面元直方图

现在计算目标模型和目标候选直方图之间的距离。

其中ρ[.]是p和q之间的bhattacharya系数。现在通过 加权平均值对目标中心的偏移进行计算。

$y_1=\frac{\underset{i=1}{\overset{n}{\Sigma }}{x}_i{w}_i}{\underset{i=1}{\overset{n}{\Sigma }}{w}_i}$其中，$w_i=\underset{u=1}{\overset{m}{\Sigma }}\sqrt{\frac{q_u}{p_u\left(y_0\right)}}.$

一旦找到了目标的新位置，则处理器执行以下步骤：

a.在新位置用相同的特征空间计算目标候选直方图，该特征空间包 括直方图相等图像范围和低帽变换(bottom hat transform)的图像。

b.计算$\rho [\hat{p}\left(y_1\right),\hat{q}]$

c：当$\rho [\hat{p}\left(y_1\right),\hat{q}]<\rho [\hat{p}\left(y_0\right),\hat{q}]$时，

进行y₁＜-(y₀+y₁))/2

估算$\rho [\hat{p}\left(y_1\right),\hat{q}]$

d.如果‖y₁-y₀‖＜ε，停止。

e.否则，通过处理器设置y₀＜-y₁并得到权重，然后新位置，并且到 步骤1。

上述方法还包括通过使用行人的追踪数据来警告驾驶员以防止碰撞的步骤， 其中警报装置用于警告驾驶员，其中所述警报装置可以是音频和音频视觉装置，包 括但不局限于警报器、基于语音的告诫装置或指示器。

已参考本发明的多个实施例进行了上述描述。本发明所属的本领域技术人 员将理解，在不有意脱离本发明主旨、精神和范围的条件下，可对所描述的操 作的处理和方法作出变化和改变。

发明优点

在本发明中所提议的系统和方法具有如下优点：

1.本发明提供一种系统和方法，用于在驾驶的同时对在车辆前出现 的行人进行检测、分类和追踪，以防止碰撞，该系统和方法是容易安装和 执行的。

2.本发明的系统还提供一种方法，用于在驾驶的同时对在车辆前出 现的行人进行检测、分类和追踪，以防止碰撞，该系统与现有的传统系统 相比具有相当高的精确度。

3.本发明还提供一种系统和方法，用于在驾驶的同时对在车辆前出 现的行人进行检测、分类和追踪，以防止碰撞，该系统和方法与传统系统 相比具有成本效益。