一种基于车载红外图像的行人预警系统及其工作方法

摘要

本发明公开了一种基于车载红外图像的行人预警系统及其工作方法，所述的系统包括图像获取单元、图像处理单元、决策输出单元、驾驶员预警单元和驾驶员报警单元，所述的图像获取单元、图像处理单元和决策输出单元依次顺序串联，图像获取单元连接车载红外摄像机，获取红外图像信息，图像获取单元将信息传给图像处理单元处理，决策输出单元根据车辆当前的车速信息，向驾驶员预警单元或者驾驶员报警单元发送信号。本发明在行人分割技术上采用了K均值聚类分析算法，获取了较为准确的行人感兴趣区域，使得下一步的行人识别工作变得简单，避免了一部分的非行人干扰。本发明在行人识别过程中采用了串联组合方式的行人识别方法，提高了行人检测的准确率。

说明书

技术领域

本发明属于汽车主动安全技术领域，涉及到图像处理方法和行人安全保护知识，特别涉及到一种基于车载红外图像的行人预警系统及其工作方法。

背景技术

目前，车辆与行人发生碰撞而引发的交通事故频繁发生，给人民的生命财产安全带来很大的威胁。行人检测是车辆辅助驾驶系统中的关键技术也是必需技术，它能及时地告知驾驶员车辆前方行人的存在，并进行安全预警，减少或避免车辆与行人发生碰撞事故，具有潜在的经济价值和广泛的应用前景。基于可见光的普通摄像机，在可见光光源不足的情况下，特别是夜间条件下，得不到应有的视频输出图像，因而难以做到行人的准确检测。

由于红外图像是热成像，具有强大的“穿透”能力，可以透过黑暗和烟雾，看到在可见光波段无法看见的感兴趣目标，因此红外图像中行人的分割和识别倍受人们的关注。

在红外图像分割中，基于图像直方图目标和背景的分布呈明显双峰形状的基础上，常用的直方图聚类方法如类间最大方差法、一维Kapur熵、二维直方图熵法等，然而红外行人图像的直方图多数情况下并不呈明显双峰形状。在红外图像识别中利用方向梯度直方图(HOG)特征对远红外行人进行描述，结合支持向量机(SVM)实现行人检测，该方法检测效果较好，但计算开销稍大。因此上述方法在车载红外图像行人预警系统中不能够很好的应用，存在着一定的技术难题。

发明内容

为解决现有技术存在的上述问题，本发明要设计一种能够实现红外图像行人较为准确分割和在红外图像行人识别中减少运算和开销的车载红外图像行人预警系统及其工作方法。

为了实现上述目的，本发明的技术方案如下：

一种基于车载红外图像的行人预警系统，包括图像获取单元、图像处理单元、决策输出单元、驾驶员预警单元和驾驶员报警单元，所述的图像获取单元、图像处理单元和决策输出单元依次顺序串联，所述的决策输出单元的输出端分别连接驾驶员预警单元和驾驶员报警单元，图像获取单元连接车载红外摄像机，获取红外图像信息，图像获取单元将信息传给图像处理单元处理，图像处理单元包括获取行人感兴趣区域和串联组合方式的行人识别两个过程，图像处理单元将处理后的结果传给决策输出单元，决策输出单元根据车辆当前的车速信息，向驾驶员预警单元或者驾驶员报警单元发送信号，驾驶员预警单元向驾驶员发出闪烁行人图标的预警信息或者驾驶员报警单元向驾驶员发出方向盘震动的报警信息。

一种基于车载红外图像的行人预警系统的工作方法，包括以下步骤：

A、图像获取单元获取车载红外摄像机采集的红外图像信息；

B、图像处理单元的处理方法，包括以下步骤：

B1、获取行人感兴趣区域；采用中值滤波方法对采集到的红外图像进行滤波降噪，将滤波降噪后的红外图像进行图像增强处理，将增强后的红外图像采用k均值聚类分析算法进行二值化分割，将分割后的红外图像采用先膨胀后腐蚀的闭运算做形态学处理，将形态学处理后的图像根据目标行人的宽高比删选后即可获得行人感兴趣区域；

B2、串联组合式行人识别；

B21、获取行人感兴趣区域的类haar特征值；

B22、训练行人检测器和通过行人检测器进行感兴趣区域的初步行人识别；

B23、将行人检测器分类后的结果采用基于模板匹配的头部检测进一步识别行人；

C、决策输出单元将图像处理单元得到的行人信息和车速信息进行综合分析，向驾驶员预警单元或者驾驶员报警单元发送信号；如果车速大于或等于警示速度V₀，信号传给驾驶员报警单元，驾驶员报警单元向驾驶员发出方向盘震动的报警信息；如果车速小于警示速度V₀，信号传给驾驶员预警单元，驾驶员预警单元向驾驶员发出闪烁行人图标的预警信息；所述的警示速度V₀的范围为60-70km/h；

步骤B1中所述的k均值聚类分析算法的二值化分割，包括以下步骤：

B11、获取增强处理后红外图像的灰度直方图，求得红外图像的灰度均值T₀；

B12、提取高于图像灰度均值T₀的像素集x，采用k均值聚类分析算法分割图像；具体步骤如下：

对高于灰度均值T₀的像素集x采用图像的标准差初始化类间距离，划分聚类空间来确定分类数并进行k均值聚类，然后计算k_i聚类空间与其相邻的两个聚类空间k_i+1和k_i-1的关系；

k为分类数，max(x)、min(x)和std(x)分别代表高于灰度均值T₀的像素集x的最大值、最小值和方差，“”表示向上取整数；

设第i个聚类空间为k_i，聚类前k_i聚类空间的中心值为聚类后k_i聚类空间中心值为μ_i，聚类前k_i+1聚类空间的中心值为聚类后k_i+1聚类空间中心值为μ_i+1，聚类前k_i-1聚类空间的中心值为聚类后k_i-1聚类空间中心值为μ_i-1，聚类前的相对关系值为l⁰，聚类后μ_i-1、μ_i、μ_i+1的相对关系值为l,；

聚类前，由于呈线性关系，满足以下公式：

$>l^0=\frac{{\mu }_{i+1}^0-{\mu }_i^0}{{\mu }_i^0-{\mu }_{i-1}^0}=1---\left(2\right)$>

聚类后，μ_i、μ_i-1、μ_i+1的相对关系为：

$>l=\frac{{\mu }_{i+1}-{\mu }_i}{{\mu }_i-{\mu }_{i-1}}=\frac{({\mu }_{i+1}^0-{\mu }_i^0)+({\mathrm{\Delta \mu }}_{i+1}-{\mathrm{\Delta \mu }}_i)}{({\mu }_i^0-{\mu }_{i-1}^0)+({\mathrm{\Delta \mu }}_i-{\mathrm{\Delta \mu }}_{i-1})}---\left(3\right)$>

为了准确找到直方图聚类中心走势的转折点，采用聚类中心值的相对增量差分的绝对值作为测度函数CR；即：

$>\mathrm{CR}=|\frac{u_{i+1}-u_i}{u_{i+1}}-\frac{u_i-u_{i-1}}{u_i}|=\left|\frac{{u_i}^2-u_{i+1}{u}_{i-1}}{u_i{u}_{i+1}}\right|i=2,...k---\left(4\right)$>

通过寻找测度函数CR的极大值点对应的类别作为转折点，将转折点处两相邻聚类中心值的平均值作为阈值，大于等于所求阈值的被判定为目标，小于阈值的被判定为背景，达到了对整个红外图像进行二值化的目的；

步骤B22所述的训练行人检测器，包括以下步骤：

B221、选取样本库

选取800个红外正行人样本和3800个红外负行人样本，所述的负行人样本为不含行人图像的道路背景红外图像；

B222、获取类haar特征值

haar特征的定义是指白色矩形区域内的所有像素灰度值之和减去黑色矩形区域，通过局部的灰度变化描述了图像相邻区域的特征差异。

类haar特征值的计算公式如下：

$>{\mathrm{Feature}}_I=\underset{i\in I=\{1,...,n\}}{\Sigma }{\omega }_i*\mathrm{RecSum}\left(i\right)---\left(5\right)$>

式中：ω_i∈R为矩形的权重，RecSum(i)为矩形r_i所围区域的灰度积分，n是组成矩形的个数。

B223、基于adaboost算法的行人检测器的训练

行人检测器包括弱分类器和强分类器；

训练得到对应每个特征j的弱分类器：

每个弱分类器只针对一个特征f_j(x)，θ_j为阈值，参数p_j表示不等式的方向，j为有效特征个数；

在建立全部弱分类器之后，就要通过一定的筛选机制挑选出分类能力强的一些特征，也就是弱分类器，最后依次顺序地将这些弱分类器线性组合成最终的强分类器；

训练强分类器的adaboost算法的具体过程如下：

B2231、给定N对训练样本集(x₁,y₁),,(x_n,y_n)，其中x_i为表征样本的特征向量，y_i＝0,1分别表示红外正行人样本和红外负行人样本；

B2232、初始化样本权重：

红外正行人样本的权重为w_1,i＝1/2m，红外负行人样本的权重为w_1,i＝1/2n，m和n分别为红外正行人样本和红外负行人样本的数量；

B2233、训练最优的弱分类器

设训练总轮数为T，训练最优的弱分类器的方法包括以下步骤：

B22331、设训练轮数t=1

B22332、计算归一化样本权重

$>q_{t,i}=w_{t,i}/\underset{j=1}{\overset{N}{\Sigma }}{w}_{t,j}---\left(7\right)$>

B22333．对于每一个特征，在给定样本权重q_t,i条件下按照公式（6）训练一个弱分类器h_t,j，并计算每个弱分类器对样本集的分类错误率：

$>{ϵ}_t={\min }_{f,p,\theta }{\Sigma }_i{q}_{t,i}|h_j\left(x_i\right)-y_i|---\left(8\right)$>

B22334．选择具有最小分类错误率ε_t的弱分类器h_t；

B22335．更新样本权重：

若样本被正确分类，则e_i＝0，否则e_i＝1，β_t＝ε_t/(1-ε_t)

B22336、如果t<T，则令t=t+1,转步骤B22332；否则，转步骤B2234；

B2234、输出最终强分类器

$>h\left(x\right)=\left(\begin{array}{c}1,\underset{t=1}{\overset{T}{\Sigma }}{\alpha }_t{h}_t\left(x\right)\ge \frac{1}{2}\underset{t=1}{\overset{T}{\Sigma }}{\alpha }_t\\ 0,\underset{t=1}{\overset{T}{\Sigma }}{\alpha }_t{h}_t\left(x\right)<\frac{1}{2}\underset{t=1}{\overset{T}{\Sigma }}{\alpha }_t\end{array},{\alpha }_t,=,{-\log \beta }_t\right)---\left(9\right)$>

B23、采用基于模板匹配的头部检测进一步来识别行人，具体步骤如下：

B231、头部模板建立

针对红外正行人样本的头部轮廓构建了一个“Ω”形位图模板图像F；

B232、采用Canny算子对行人感兴趣区域图像进行边缘检测

B233、进行模板匹配，具体步骤如下：

B2331、距离转换：

设B表示一个二值图像中的目标点集合，则对于该图像中的每一个点p，距离转换公式如下：

$>\mathrm{DT}\left(p\right)=\underset{p\in B}{\min }d(p,q)---\left(10\right)$>

其中q为背景像素点，d(p,q)为p到q的欧几里得距离；进行距离转换后，图像中每个像素点的值就会变成与其最近的特征点的距离；

B2332、进行图像匹配，具体步骤如下：

将头部模板与DT图像做卷积，利用头部模板图像F中的特征点f所在的坐标相对应到DT图像中的距离值相加，再求其平均值，即所谓的Chamfer距离，其公式如下：

$>D(F,\mathrm{DT})=\frac{1}{F}\underset{f\in F}{\Sigma }\mathrm{DT}\left(f\right)---\left(11\right)$>

DT(f)表示f对应于DT图像的欧几里得距离，取平均值的目的是对模板的大小进行归一化；如果待匹配的图像中没有头部，则求得的Chamfer距离通常会远大于在图像中有头部的Chamfer距离，因此选取Chamfer距离最小的区域作为头部最优框的大小和位置；

当边缘图像的Chamfer距离值为检测区域R中最小值时，须再做一次特征点数量上的判断：

$>\underset{f\in F}{\Sigma }1\ge \mathrm{Threshold}---\left(12\right)$>

上式为边缘图像F的面积计算，主要目的在确保不会因为特征点数稀少才使得平均距离很小；因此当上述两个条件同时成立时，图像匹配成功。

与现有技术相比，本发明的效果和益处是：

1、本发明在行人分割技术上采用了K均值聚类分析算法，获取了较为准确的行人感兴趣区域，使得下一步的行人识别工作变得简单，避免了一部分的非行人干扰。

2、本发明在行人识别过程中采用了串联组合方式的行人识别方法，首先通过行人检测器进行行人感兴趣区域的初步行人识别，再将分类后的结果采用模板匹配的头部检测进一步识别行人，提高了行人检测的准确率。

3、本发明还可以根据车速的快慢给与驾驶员不同程度的预警或报警信息，将前期的检测结果更好的传递给了驾驶员，减轻了驾驶疲劳。

附图说明

本发明共有附图4幅，其中:

图1是本发明的总体设计框图。

图2是获取行人感兴趣区域的流程框图。

图3是行人识别流程框图。

图4是驾驶员预警和报警流程框图。

图中：1、图像获取单元，2、图像处理单元，3、决策输出单元，4、驾驶员预警单元，5、驾驶员报警单元。

具体实施方式

下面结合附图对本发明进行进一步地描述。

如图1所示，一种基于车载红外图像的行人预警系统，包括图像获取单元1、图像处理单元2、决策输出单元3、驾驶员预警单元4和驾驶员报警单元5，所述的图像获取单元1、图像处理单元2和决策输出单元3依次顺序串联，所述的决策输出单元3的输出端分别连接驾驶员预警单元4和驾驶员报警单元5，图像获取单元1连接车载红外摄像机，获取红外图像信息，图像获取单元1将信息传给图像处理单元2处理，图像处理单元2包括获取行人感兴趣区域和串联组合方式的行人识别两个过程，图像处理单元2将处理后的结果传给决策输出单元3，决策输出单元3根据车辆当前的车速信息，向驾驶员预警单元4或者驾驶员报警单元5发送信号，驾驶员预警单元4向驾驶员发出闪烁行人图标的预警信息或者驾驶员报警单元5向驾驶员发出方向盘震动的报警信息。

如图1-4所示，一种基于车载红外图像的行人预警系统的工作方法，包括以下步骤：

A、图像获取单元1获取车载红外摄像机采集的红外图像信息；

B、图像处理单元2的处理方法，包括以下步骤：

B1、获取行人感兴趣区域；采用中值滤波方法对采集到的红外图像进行滤波降噪，将滤波降噪后的红外图像进行图像增强处理，将增强后的红外图像采用k均值聚类分析算法进行二值化分割，将分割后的红外图像采用先膨胀后腐蚀的闭运算做形态学处理，将形态学处理后的图像根据目标行人的宽高比删选后即可获得行人感兴趣区域；

B2、串联组合式行人识别；

B21、获取行人感兴趣区域的类haar特征值；

B22、训练行人检测器和通过行人检测器进行感兴趣区域的初步行人识别；

B23、将行人检测器分类后的结果采用基于模板匹配的头部检测进一步识别行人；

C、决策输出单元3将图像处理单元2得到的行人信息和车速信息进行综合分析，向驾驶员预警单元4或者驾驶员报警单元5发送信号；如果车速大于或等于警示速度V₀，信号传给驾驶员报警单元5，驾驶员报警单元5向驾驶员发出方向盘震动的报警信息；如果车速小于警示速度V₀，信号传给驾驶员预警单元4，驾驶员预警单元4向驾驶员发出闪烁行人图标的预警信息；所述的警示速度V₀的范围为60-70km/h；

如果车速大于或等于某一值V₀，V₀的范围为60-70km/h，信号传给驾驶员报警单元5，驾驶员预警单元4向驾驶员发出闪烁行人图标的预警信息；如果车速小于V₀，信号传给驾驶员预警单元4，驾驶员报警单元5向驾驶员发出方向盘震动的报警信息；

步骤B1中所述的k均值聚类分析算法的二值化分割，包括以下步骤：

B11、获取增强处理后红外图像的灰度直方图，求得红外图像的灰度均值T₀；

B12、提取高于图像灰度均值T₀的像素集x，采用k均值聚类分析算法分割图像；具体步骤如下：

对高于灰度均值T₀的像素集x采用图像的标准差初始化类间距离，划分聚类空间来确定分类数并进行k均值聚类，然后计算k_i聚类空间与其相邻的两个聚类空间k_i+1和k_i-1的关系；

k为分类数，max(x)、min(x)和std(x)分别代表高于灰度均值T₀的像素集x的最大值、最小值和方差，“”表示向上取整数；

设第i个聚类空间为k_i，聚类前k_i聚类空间的中心值为，聚类后k_i聚类空间中心值为μ_i，聚类前k_i+1聚类空间的中心值为聚类后k_i+1聚类空间中心值为μ_i+1，聚类前k_i-1聚类空间的中心值为聚类后k_i-1聚类空间中心值为μ_i-1，聚类前的相对关系值为l⁰，聚类后μ_i-1、μ_i、μ_i+1的相对关系值为l,；

聚类前，由于呈线性关系，满足以下公式：

$>l^0=\frac{{\mu }_{i+1}^0-{\mu }_i^0}{{\mu }_i^0-{\mu }_{i-1}^0}=1---\left(2\right)$>

聚类后，μ_i、μ_i-1、μ_i+1的相对关系为：

$>l=\frac{{\mu }_{i+1}-{\mu }_i}{{\mu }_i-{\mu }_{i-1}}=\frac{({\mu }_{i+1}^0-{\mu }_i^0)+({\mathrm{\Delta \mu }}_{i+1}-{\mathrm{\Delta \mu }}_i)}{({\mu }_i^0-{\mu }_{i-1}^0)+({\mathrm{\Delta \mu }}_i-{\mathrm{\Delta \mu }}_{i-1})}---\left(3\right)$>

为了准确找到直方图聚类中心走势的转折点，采用聚类中心值的相对增量差分的绝对值作为测度函数CR；即：

$>\mathrm{CR}=|\frac{u_{i+1}-u_i}{u_{i+1}}-\frac{u_i-u_{i-1}}{u_i}|=\left|\frac{{u_i}^2-u_{i+1}{u}_{i-1}}{u_i{u}_{i+1}}\right|i=2,...k---\left(4\right)$>

通过寻找测度函数CR的极大值点对应的类别作为转折点，将转折点处两相邻聚类中心值的平均值作为阈值，大于等于所求阈值的被判定为目标，小于阈值的被判定为背景，达到了对整个红外图像进行二值化的目的；

步骤B22所述的训练行人检测器，包括以下步骤：

B221、选取样本库

选取800个红外正行人样本和3800个红外负行人样本，所述的负行人样本为不含行人图像的道路背景红外图像；

B222、获取类haar特征值

haar特征的定义是指白色矩形区域内的所有像素灰度值之和减去黑色矩形区域，通过局部的灰度变化描述了图像相邻区域的特征差异。

类haar特征值的计算公式如下：

$>{\mathrm{Feature}}_I=\underset{i\in I=\{1,...,n\}}{\Sigma }{\omega }_i*\mathrm{RecSum}\left(i\right)---\left(5\right)$>

式中：ω_i∈R为矩形的权重，RecSum(i)为矩形r_i所围区域的灰度积分，n是组成矩形的个数。

B223、基于adaboost算法的行人检测器的训练

行人检测器包括弱分类器和强分类器；

训练得到对应每个特征j的弱分类器：

每个弱分类器只针对一个特征f_j(x)，θ_j为阈值，参数p_j表示不等式的方向，j为有效特征个数；

在建立全部弱分类器之后，就要通过一定的筛选机制挑选出分类能力强的一些特征，也就是弱分类器，最后依次顺序地将这些弱分类器线性组合成最终的强分类器；

训练强分类器的adaboost算法的具体过程如下：

B2231、给定N对训练样本集(x₁,y₁),,(x_n,y_n)，其中x_i为表征样本的特征向量，y_i＝0,1分别表示红外正行人样本和红外负行人样本；

B2232、初始化样本权重：

红外正行人样本的权重为w_1,i＝1/2m，红外负行人样本的权重为w_1,i＝1/2n，m和n分别为红外正行人样本和红外负行人样本的数量；

B2233、训练最优的弱分类器

设训练总轮数为T，训练最优的弱分类器的方法包括以下步骤：

B22331、设训练轮数t=1

B22332、计算归一化样本权重

$>q_{t,i}=w_{t,i}/\underset{j=1}{\overset{N}{\Sigma }}{w}_{t,j}---\left(7\right)$>

B22333．对于每一个特征，在给定样本权重q_t,i条件下按照公式（6）训练一个弱分类器h_t,j并计算每个弱分类器对样本集的分类错误率：

$>{ϵ}_t={\min }_{f,p,\theta }{\Sigma }_i{q}_{t,i}|h_j\left(x_i\right)-y_i|---\left(8\right)$>

B22334．选择具有最小分类错误率ε_t的弱分类器h_t；

B22335．更新样本权重：

若样本被正确分类，则e_i＝0，否则e_i＝1，β_t＝ε_t/(1-ε_t)

B22336、如果t<T，则令t=t+1,转步骤B22332；否则，转步骤B2234；

B2234、输出最终强分类器

$>h\left(x\right)=\left(\begin{array}{c}1,\underset{t=1}{\overset{T}{\Sigma }}{\alpha }_t{h}_t\left(x\right)\ge \frac{1}{2}\underset{t=1}{\overset{T}{\Sigma }}{\alpha }_t\\ 0,\underset{t=1}{\overset{T}{\Sigma }}{\alpha }_t{h}_t\left(x\right)<\frac{1}{2}\underset{t=1}{\overset{T}{\Sigma }}{\alpha }_t\end{array},{\alpha }_t,=,{-\log \beta }_t\right)---\left(9\right)$>

B23、采用基于模板匹配的头部检测进一步来识别行人，具体步骤如下：

B231、头部模板建立

针对红外正行人样本的头部轮廓构建了一个“Ω”形位图模板图像F；

B232、采用Canny算子对行人感兴趣区域图像进行边缘检测

B233、进行模板匹配，具体步骤如下：

B2331、距离转换：

设B表示一个二值图像中的目标点集合，则对于该图像中的每一个点p，距离转换公式如下：

$>\mathrm{DT}\left(p\right)=\underset{p\in B}{\min }d(p,q)---\left(10\right)$>

其中q为背景像素点，d(p,q)为p到q的欧几里得距离；进行距离转换后，图像中每个像素点的值就会变成与其最近的特征点的距离；

B2332、进行图像匹配，具体步骤如下：

将头部模板与DT图像做卷积，利用头部模板图像F中的特征点f所在的坐标相对应到DT图像中的距离值相加，再求其平均值，即所谓的Chamfer距离，其公式如下：

$>D(F,\mathrm{DT})=\frac{1}{F}\underset{f\in F}{\Sigma }\mathrm{DT}\left(f\right)---\left(11\right)$>

DT(f)表示f对应于DT图像的欧几里得距离，取平均值的目的是对模板的大小进行归一化；如果待匹配的图像中没有头部，则求得的Chamfer距离通常会远大于在图像中有头部的Chamfer距离，因此选取Chamfer距离最小的区域作为头部最优框的大小和位置；

当边缘图像的Chamfer距离值为检测区域R中最小值时，须再做一次特征点数量上的判断：

$>\underset{f\in F}{\Sigma }1\ge \mathrm{Threshold}---\left(12\right)$>

上式为边缘图像F的面积计算，主要目的在确保不会因为特征点数稀少才使得平均距离很小；因此当上述两个条件同时成立时，图像匹配成功。