基于视频的交通事故自动识别处理方法和系统

摘要

本发明公开一种基于视频的交通事故自动识别处理方法和系统，包括：对不同车型分别建立其三维特征库；获取道路视频图像序列；基于背景建模的前景车辆分离；基于目标质心位移的静止目标判断；基于三维建模的车辆外轮廓识别算法，识别出车型，根据轮廓是否发生形变判断是否发生车祸；基于三维建模的车辆的改进SIFT特征识别算法：提取车辆的改进SIFT特征点，根据改进SIFT特征点比对结果判断是否发生车祸。本发明通过分析摄像头采集到的图像判断当前路面上的车辆是否安全行驶，并在车祸发生的第一时间采集下车祸场景的信息，传输至指挥监控中心；工作人员通过查看视频可以及时有效地开展工作，对于完善整个智能交通系统有很大的作用。

说明书

技术领域

本发明涉及智能交通视频图像监控和视频图像分析领域，特别涉及一种基于视频的交通事故自动识别处理方法和系统。

背景技术

近年来，随着国民经济的快速发展和社会的不断进步，道路已经四通八达，汽车的数量更是与日俱增，随之而来的交通问题也日益严峻，交通阻塞。如何实现交通场景的实时监控、调度和控制，建立行之有效的智能交通系统早已成为国内外关注的焦点和当前亟待解决的问题。在此背景之下，基于计算机视觉和数字图像处理的可视化智能处理技术对交通事故的处理提供了一种更为实时、准确和高效的方法，并对交通事故的救援、事故的责任认定等善后处理提供技术支持。

目前，国内基于视频针对交通事故自动识别的研究较少，对交通事故的研究主要包括以下几种现有技术：1、环形感应线圈法，该方法技术成熟，不受天气变法影响，但是该技术主要基于车辆运行状态进行车祸的估计；2、红外检测法，此方法获得参数较多，但红外易受干扰，无法区分通过物是否为车辆；3、超声波检测法，此方法定向性好、反射能力强，但是获得参数较少，受温度、气候影响大。而目前基于视频技术的交通事故识别，仅利用简单的车辆速度参数，并不能很好的识别交通事故，也不能做到实时报警。

发明内容

本发明的目的是提供一种基于视频的交通事故自动识别处理方法和系统，用于实现快速有效的检测到交通事故，并实时报警和对事故的有效管理。

为了实现上述目的，本发明采用如下技术方案：

基于视频的交通事故自动识别处理方法，其特征在于，具体包括以下步骤：

步骤S10：对不同车型分别建立其三维特征库；

步骤S11：获取道路视频图像序列；

步骤S12：基于背景建模的前景车辆分离；

步骤S13：基于目标质心位移的静止目标判断；

步骤S14：基于三维建模的车辆外轮廓识别算法，识别出车型，再根据轮廓是否发生形变判断是否发生车祸，如判断出发生车祸则进行报警，否则进入步骤S15，通过改进SIFT特征点进行判断；

步骤S15：基于三维建模的车辆的改进SIFT特征识别算法：提取车辆的改进SIFT特征点，与车辆三维特征库中的局部特征点匹配，并根据匹配结果综合判断是否发生车祸。

本发明进一步的改进在于：所述步骤S10中对不同车型分别建立其三维特征库步骤包括：

S101）获取不同车型在三维空间不同姿态角度的图像；

S102）提取出图像中车辆外轮廓的特征点；

S103）提取出图像中车辆外轮廓所围成封闭曲线内的改进SIFT特征点；

S104）使用提取出的上述两类特征点建立车辆三维特征库。

本发明进一步的改进在于：所述步骤S11中获取道路视频图像序列是通过以某一间隔在道路上架设单一固定摄像机获取道路视频图像。

本发明进一步的改进在于：所述步骤S12中前景车辆分离步骤包括：

S121）对于彩色摄像头，采用基于彩色空间聚类道路模型的背景建模法；对于黑白摄像头，采用基于混合高斯模型的背景建模法；

S122）基于图像差分法得到前景和背景图像；

S123）利用形态学对车辆分割结果进行改善。

本发明进一步的改进在于：所述步骤S13中基于图像差分的静止车辆识别步骤包括：

S131）利用8邻域连通法将运动目标分别进行标记；

S132）对标记出的运动目标分别计算其质心及连通区域的大小；

S133）与前一帧图像进行对比，判断是否有目标未发生偏移。

本发明进一步的改进在于：所述步骤S14中基于三维建模的车辆外轮廓识别算法步骤包括：

S141）使用canny算子得到前景车辆的外轮廓；

S142）对得到的外轮廓进行数学描述，得到其数学表达式；

S143）取轮廓曲线中的角点作为特征点，与事先建立的三维车辆轮廓库进行匹配；

S144）识别出车辆型号，并判断车辆外轮廓是否发生变化；

S145）如外轮廓发生变化，进行车祸报警，否则通过步骤S15进行改进SIFT特征判断。

本发明进一步的改进在于：所述步骤S15中基于三维建模的车辆改进SIFT特征识别算法步骤包括：

S151）得到车辆的改进SIFT特征；

S152）与事先建立的三维特征库进行匹配。

一种基于视频的交通事故自动识别处理系统，包括通讯子系统、信息存储子系统、事故识别子系统以及事故管理子系统；

其中，所述通讯子系统，1）用于把摄像机采集的视频序列传输到工作站；2）用于把经过工作站处理识别出含有事故视频图像传输到区指挥监控中心的服务器；3）完成区、市指挥监控中心和服务器之间的通讯；

所述信息存储子系统，存储车祸发生时段的原始视频、对应视频所反映车祸等级的识别信息、车祸相关地点信息以及相关善后处理信息；

所述事故识别子系统，1）识别车祸发生，并截取包含车祸发生过程的视频信息；2）按照有关规范或规定标识出程度等级；

所述事故管理子系统，用于，1）车祸报警；2）车祸等级排序；3）事故善后处理；4）历史信息查询、统计。

本发明进一步的改进在于：所述事故识别子系统包括：背景建模模块、前景车辆提取模块、车辆轮廓识别模块和车辆改进SIFT特征识别模块；

背景建模模块：利用道路视频图像信息，对于彩色和黑白摄像头分别采用基于彩色空间聚类的方法和基于高斯混合模型进行背景建模；

前景车辆提取模块：利用背景差分算法，将当前帧与背景做差分，得到前景车辆，利用八连通域算法将移动目标分开识别出来；

车辆轮廓识别模块：使用canny算子得到前景车辆的轮廓，并与事先建立的三维车辆轮廓库进行匹配，首先识别车型，然后若车辆轮廓形变明显，判定为车祸，否则使用局部SFIT特征进行判别；

车辆改进SIFT特征识别模块：提取出车辆改进SIFT特征，与事先建立的特征库进行匹配，判断是否为车祸。

与现有技术相比，本发明的有益效果是：通过分析摄像头采集到的图像判断当前路面上的车辆是否安全行驶，并在车祸发生的第一时间采集下车祸场景的信息，传输至指挥监控中心。指挥监控中心的工作人员通过查看视频可以及时有效地开展工作，这样既节约了人力，又能获得更多有效的结论，对于完善整个智能交通系统有很大的作用。

附图说明

图1是本发明基于视频的交通事故自动识别处理方法流程图；

图2是对不同车型分别建立其三维特征库的具体过程流程图；

图3所示为基于背景建模的前景车辆分离具体过程流程图；

图4所示为基于三维建模的车辆外轮廓识别算法具体流程图；

图5所示为基于三维建模的车辆的改进SIFT特征识别算法具体流程图；

图6所示为本发明基于视频的交通事故自动识别处理系统结构示意图。

图7为RGB坐标系下的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，结合以下附图及实施例，对本发明基于视频的交通事故自动识别处理方法和系统进行进一步详细说明。此处所述的具体实施仅用以解释本发明，并不用于限定本发明。

本发明的基于视频的交通事故自动识别处理方法和系统，通过对道路视频监控图像的分析，实现道路交通事故的自动识别，并及时将车祸信息传送到交通指挥中心，从而减少交通事故带来的损失。

下面详细描述本发明的基于视频的交通事故自动识别处理方法，如图1所示，包括对不同车型分别建立其三维特征库，获取道路视频图像序列，基于背景建模的前景车辆分离，基于三维建模的车辆外轮廓识别算法，基于三维建模的车辆的改进SIFT特征识别算法。其处理步骤具体如下：

S11，通过摄像机得到实时道路视频图像序列；

S12，基于背景建模，利用背景差分法将摄像头拍摄到的前景车辆与道路背景相分离，提取出前景车辆；

S13，采用基于图像差分的方法，即首先利用8邻域连通法将运动目标分别进行标记，然后对标记出的运动目标分别计算其质心及连通区域的大小，最后与前一帧图像进行对比，判断是否有目标未发生偏移，以此来识别出静止车辆；

S14，使用canny算子提取出步骤S13中所识别出静止车辆轮廓，求出轮廓曲线中的角点作为特征点，与三维轮廓特征库中的车辆轮廓特征点匹配，首先识别出车型，再根据轮廓是否发生形变判断是否发生车祸，如判断出发生车祸则进行报警，否则进入步骤S15，通过改进SIFT特征点进行判断；

S15，提取车辆的改进SIFT特征点，与车辆三维特征库中的局部特征点匹配，并根据上述匹配结果综合判断是否发生车祸。如发生交通事故，系统迅速将车祸信息及视频按等级发送至区、市指挥监控中心，并报警，使得车祸可以迅速得到处理，人员得到救助。

如图2所示，对不同车型分别建立其三维特征库的具体过程包括以下步骤：

首先要采集待建模车辆的三维图像序列，建立车辆三维特征库。这是由于每次发生的车祸，车辆的姿态是不可测的，因而需要建立车辆三维特征库。在空间坐标系中，车辆位于坐标系原点，首先车辆在Y轴和Z轴构成平面保持不变，沿X轴和Y轴构成的平面上顺时针或逆时针旋转一定角度θ，采集此时车辆的一帧照片，并将采集该帧照片上车辆的两个特征（该角度小的车辆轮廓特征和改进SIFT特征）集合后入库，然后再旋转θ后再采集一帧照片，采集该帧照片上车辆的两个特征集合并入库。这样旋转一周并建立对应的特征之后，在Y轴和Z轴构成平面上，绕X轴，旋转角度ε后，重复上述采集一帧照片提取特征并入库直至ε旋转360°。以此方式，则可获得车辆的多角度多姿态图像。需要说明，旋转角度θ和ε不能太大，以防止旋转过程中漏掉部分特征点，本专利的θ、ε旋转角度为采用11°。

获得车辆的多角度图像后，提取出车辆轮廓，取得轮廓曲线的角点作为车辆轮廓的特征点。同时得到轮廓曲线内车辆的改进SIFT特征。对获取的特征点进行描述，最的输出为特征向量。获得特征的同时，需要在其特征上加入特征的角度信息，以方便之后的特征信息的组合。

完成特征提取以后，将各个角度拍到的图像的特征进行筛选和整理组合，就可以建立起三维特征模型，将筛选和整理组合后的特征向量存入数据库中。

如图3所示，基于背景建模的前景车辆分离具体过程包括步骤：

首先，对于彩色摄像头，采用基于彩色空间聚类道路模型的背景建模法。

根据色彩畸变理论，对视频当前帧的像素逐个进行聚类，设c_k=(R_k,G_k,B_k)^T为一个像素点的代码字，I_k为c_k的亮度，定义其畸变区间为该点和原点连线为轴的圆柱体，其中，Δ_c为颜色畸变半径；

对采集到的连续两帧图像f_t，f_t+1进行差分，f_t+1‐f_t得到其中的不变区域v_t+1，对不变区域中的每个像素设置下列参数，聚类中心c，亮度畸变半径Δ_I和颜色畸变半径Δ_c，子类权重ω，最大子类数M，取视频图像序列第一帧作为初始背景模型，将该帧中每个像素位置的颜色向量v作为其第一个聚类中心c₁，同时设置该类的权重ω₁=1。计算当前像素向量和已存在所有聚类中心的畸变差异D，并选取其中的最小值D_min以及所对应的子类k；

如下图7所示，当前视频图像的某一像素x_i=(R,G,B)^T到c_k与RGB空间坐标原点的连线的距离ΔC小于颜色畸变半径Δ_C，可以认为该像素点满足颜色畸变规律，ΔC即为该像素点的颜色畸变值；

亮度畸变规律是将当前视频图像的某一像素的亮度值I_i与代码字c_k=(R_k,G_k,B_k)^T的亮度I_k差的绝对值ΔI=|I_i-I_k|作为亮度畸变值，当ΔI小于亮度畸变半径Δ_I时，则该像素点满足该类的亮度畸变规律；

如果D_min满足由颜色畸变规律和亮度畸变规律共同组成的聚类准则，表明当前像素属于子类k，那么对子类的参数按照下式进行更新；

c_k,t+1(x,y)=(1-α)c_k,t(x,y)+αv_t+1(x,y)

式中:c_k,t+1(x,y)——像素(x,y)处第k个子类更新后的聚类中心；c_k,t(x,y)——像素(x,y)处第k个子类更新前的聚类中心；α——学习速率,取值为0.03；

ω_k,t+1=(1-α)ω_k,t+α

其中，ω_k,t+1——第k个子类更新后的权重；ω_k,t——第k个子类更新前的权重；

如果D_min不满足聚类准则，表明当前像素不属于任何一个已存在的子类，如果当前子类个数小于设定的最大子类数，则添加新的子类，聚类中心设为当前像素特征向量，权重初始化ω₀=0.2；否则，用当前像素特征向量替换已存在聚类中心中权重最小一个，也将其权重初始化为ω₀=0.2。

ω_k,t+1=(1-ω₀)ω_k,t，对其他子类权重衰减。

对每个像素位置，根据权重ω对已存在的子类由大到小进行排序，并按照选择符合条件的前N个子类作为背景模型的合理描述。即如果当前像素属于前N个子类，则可以认为其为道路背景像素，否则为前景像素。

对于黑白摄像头，采用基于混合高斯模型的背景建模法。

混合高斯背景建模的基本思想是：在视频中对每一个像素点所处的位置都用多个高斯模型同时表示该像素点随着时间的变化而变化的状态。在混合高斯背景建模中通常会选用3到5个单高斯模型来共同描述某一像素点的特征。在这K个状态中每一个都用一个高斯函数来表示，并按照其成为背景的可能性从大到小排序存储。混合高斯模型描述如下：

$>P\left(f_t\right)=\underset{i=1}{\overset{K}{\Sigma }}{\omega }_{i,t}*\eta (f_t,{\mu }_{i,t},{\sigma }_{i,t}^2)$>

其中，f_t--第t帧图像；ω_i,t——第t帧第f₂个高斯分布的权重，且

η(f_t,μ_i,t,)——第t帧第i个高斯分布函数。

混合高斯模型的更新主要是对描述其分布的高斯参数进行更新，在更新过程中需要同时考虑参数以及参数在模型中的加权值，整个过程还比较复杂，最后还需要按照加权值的大小再次进行排序。在拍摄过程中，视频是不断更新的，新一帧图像会不断的加入到视频中，此时混合高斯模型也在不断的更新中，其基本思想是将新获得的图像中的像素点下式进行比较，如果符合混合高斯模型的分布则认为该点为背景点，反之如果不符合模型，则认定为运动的目标点。

D₁——阈值，实际应用中一般取值2.5；σ_i,t-1——第i个高斯函数在时刻t-1的标准差。

根据匹配结果，对混合高斯模型的各个参数进行更新，包括权重、期望以及方差。ω_i,t+1=(1-α₁)ω_i,t+α₁M_i,t+1，μ_i,t+1=(1-ρ)μ_i,t+ρ×T_t+1，其中α₁(0≤α₁≤1)为背景学习率，α₁决定着背景模型更新速度的快慢，α₁大则更新速度快，α₁小则更新速度慢。M_i,t+1表示在t+1时刻像素颜色值和第i个高斯模型的匹配程度，匹配时为1，不匹配则为0，对于不匹配的高斯模型，其期望和方差都保持不变，对于匹配的模型，对其进行更新。ρ=α₁η(x_t|u_h,σ_k)为高斯模型学习因子，表示高斯模型参数更新的快慢。如果没有高斯模型和当前像值相匹配，那么权值最小的高斯模型将被取代，新模型的期望为当前像素颜色值，方差预设为一个较大的初始值，而将权重预设为较小的初始值。

如图4所示，基于三维建模的车辆外轮廓识别算法具体步骤包括：

使用canny算子进行边缘提取首先计算梯度值和方向角。分别求取前景图像的在x方向和y方向的梯度M_x和M_y。

求取梯度可以通过3×3模板于图像进行卷积完成：

$>m_x=\left(\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right),$>$>m_y=\left(\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right)$>

梯度值为：$>\left|\mathrm{\Delta f}\right|=\sqrt{M_x^2+M_y^2}$>

梯度方向角：θ=arctan(M_y/M_x)

将0°～360°梯度方向角归并为四个方向；

非最大化抑制并且滞后阈值化，得到车辆轮廓曲线f(x)。

对轮廓曲线f(x)取其角点，作为轮廓曲线的特征点。

与三维模型库中的轮廓曲线特征点匹配。

首先识别出车型，识别准则如下：

匹配特征数目与总所有特征数目的比值大于等于κ（本发明κ取值为0.6）。

再判断轮廓曲线是否发生形变将实时轮廓曲线f(x)的特征点，与三维模型库中的轮廓曲线f(x)′的特征点点匹配，匹配特征数目与所有特征数目的比值小于λ（λ取值为0.9），则判定为车祸，并报警，否则进入下一步，通过改进SIFT特征点进行判断。

如图5所示，基于三维建模的车辆的改进SIFT特征识别算法具体步骤包括：

提取车辆特征，具体为：首先使用高斯差分算子(DoG)来描述图像的多尺度表示，也就是生成图像的DoG尺度空间。

DoG的定义如下所示：G(x,y,kσ)-G(x,y,σ)

其中：高斯函数G(x,y,σ)表示如下所示：

对于每一个点，确定其是否为极值点。通过将该点与其上下左右及对角线总共八个点，还有上下层的十八个邻接点进行比较来确定其是否为极值点。如果确定该点是极值点，那么该点就是特征点，而且可以根据其邻域的梯度计算该点的主方向；

描述特征点，在改进SIFT特征点描述方法中，取特征点周围一个大小为8×8的邻域，形成8个同心圆，在每个同心圆范围内统计其8个方向的梯度加权模值的累加值，由内至外按顺序分别选取环形区域的8维向量形成最终特征向量。因此，在改进SIFT算法中使用64维的向量来描述特征点。

与模型库中的特征进行匹配，提取完图像特征之后就要进行特征的匹配，提取出来的图像特征以向量的形式描述，如点P₁(x₁₁,x₁₂,…,x_1n)和P₂(x₂₁,x₂₂,…,x_2n),此时的特征识别具有唯一性，识别点与被识别点之间具有最高的相似性。

点P₁(x₁₁,x₁₂,…,x_1n)和P₂(x₂₁,x₂₂,…,x_2n)之间的欧式距离表示如下所示：

$>\mathrm{dis}(P_1,P_2)=\sqrt{\underset{1}{\overset{n}{\Sigma }}{(x_{1i}-x_{2i})}^2}$>

然后统计获得最小的距离并认为产生这个最小距离的两个特征向量之间的相似性最高，在进行特征的匹配后，通过匹配特征数目与总所有特征数目的比值判断车辆是否发生车祸。

本发明的系统如图6所示，包括通讯子系统、信息存储子系统、事故识别子系统以及事故管理子系统；

其中，所述通讯子系统，1）用于把摄像机采集的视频序列传输到工作站；2）用于把经过工作站处理识别出含有事故视频图像传输到区指挥监控中心的服务器；3）完成区、市指挥监控中心和服务器之间的通讯；

信息存储子系统，存储车祸发生时段的原始视频、对应视频所反映车祸等级的识别信息、车祸相关地点信息以及相关善后处理信息；

事故识别子系统，1）识别车祸发生，并截取包含车祸发生过程的视频信息；2）按照有关规范或规定标识出程度等级；

事故管理子系统，用于，1）车祸报警；2）车祸等级排序；3）事故善后处理；4）历史信息查询、统计。

上述事故识别子系统包括：背景建模模块、前景车辆提取模块、车辆轮廓识别模块和车辆改进SIFT特征识别模块；

背景建模模块：利用道路视频图像信息，对于彩色和黑白摄像头分别采用基于彩色空间聚类的方法和基于高斯混合模型进行背景建模；

前景车辆提取模块：利用背景差分算法，将当前帧与背景做差分，得到前景车辆，利用八连通域算法将移动目标分开识别出来；

车辆轮廓识别模块：使用canny算子得到前景车辆的轮廓，并与事先建立的三维车辆轮廓库进行匹配，首先识别车型，然后若车辆轮廓形变明显，判定为车祸，否则使用局部SFIT特征进行判别；

车辆改进SIFT特征识别模块：提取出车辆改进SIFT特征，与事先建立的特征库进行匹配，判断是否为车祸。

本发明系统，能够实现对交通事故的识别及处理、事故信息的传输和保存、车祸视频回放、辅助认定事故的责任等，为交通管理提供了便捷、有效的帮助，并对智能交通系统的深入探索有所贡献。

以上对本发明的具体实施例进行了描述及说明，这些实施例仅为示例性的，并不用于对本发明进行限制，本发明应根据所附的权利要求进行解释。