一种基于机器视觉的城市环境行驶车辆行为识别方法

摘要

本发明提供了一种基于机器视觉的城市环境行驶车辆行为识别方法，通过对运动车辆进行目标检测、目标跟踪、特征提取、行为识别，得出车辆行为分析的结果。首先使用背景差分法的车辆目标检测方法完成车辆目标检测；然后使用光流法对检测到的车辆目标进行跟踪；跟踪完成后，根据车辆运动轨迹的基本行为特征得出车辆的轨迹；最后采用训练好的SVM分类器对行使轨迹进行识别，从而判断该行为是左转弯、右转弯或者直行。本发明方法执行速度快，准确率高，可以实现车辆行为准确识别，用于智能交通监控系统的车辆实时监控。

说明书

技术领域

本发明属视觉导航技术领域，具体涉及一种基于机器视觉的城市环境行驶车辆行为识别方法。

背景技术

当前，机器视觉在人工智能领域中发展速度很快，且在理论科学与工程应用方面有着广泛应用前景，机器视觉系统的研究包括目标检测、图像特征提取和行为识别等几个关键问题，并在医学动态影像、图像检索、多媒体信息处理与通信、指纹和人脸识别、图像处理与预处理、自然界生物种类识别、交通安全等各个研究领域都得到广泛应用。

运动目标检测既是机器视觉系统中的一个核心技术，又是图像处理、多媒体信息处理、智能视频监控等各个领域中不可或缺的部分。在各种繁琐复杂的场景中存在着各种不同的信息，但是只有部分信息是人们感兴趣的即是有效的，把有效信息与复杂背景成功地分割开也就是从背景中只提取人们感兴趣的目标，这就是运动目标检测的基本任务。从检测结果中可以一目了然地观察到运动目标的轮廓边缘、内部信息等基本特征，有利于特征提取、行为识别工作的进行，研究意义重大。

运动目标的行为识别则包含了目标的及时检测与特征提取、行为描述、分析与识别等。在工厂、企业、商场、车站、机场、小区等公共场地安装监控设备，大都是以运动人体为研究对象，要实现对运动目标进行监控和行为分析，先检测出目标并根据提取出的行为动作特征来分析目标的走、跑、打架斗殴、集会、偷盗等行为。

目前，智能监控技术在目标检测、特征提取以及行为识别方法的鲁棒性方面存在不足，适用范围受到限制，没有达到较高的行为识别率，所以，对于运动目标的特征提取与行为识别研究一直是智能安全系统中的热点问题。道路交通的环境，尤其是交叉路口的交通环境非常复杂，然而大部分机动车交通事故都发生在这，若能够有效的监控交叉路口等道路，如果车辆的违章行为可以被自动检测，这样就可以降低交通道路中事故的发生。

发明内容

本发明提供一种基于机器视觉的城市环境行驶车辆行为识别方法，通过对运动车辆进行目标检测、目标跟踪、特征提取、行为识别，得出车辆行为分析的结果。首先使用背景差分法的车辆目标检测方法完成车辆目标检测；然后使用光流法对检测到的车辆目标进行跟踪；跟踪完成后，根据车辆运动轨迹的基本行为特征得出车辆的轨迹；最后采用训练好的SVM分类器对行使轨迹进行识别，从而判断该行为是左转弯、右转弯或者直行。

一种基于机器视觉的城市环境行驶车辆行为识别方法，其特征在于步骤如下：

步骤1：车辆目标检测与跟踪：利用背景差分法与混合高斯模型建模的方法进行运动车辆目标检测，然后利用光流的跟踪算法对检测出的运动车辆目标进行跟踪，具体为：

步骤a：分别按照和计算一段时间内视频序列图像的像素亮度的均值μ₀(x,y)及方差以μ₀(x,y)和分别为像素均值和方差组成具有高斯分布的图像B₀，B₀即为初始的背景估计图像；

其中，N为初始化背景图像选取时间段内序列图像的总帧数，150≤N≤200；f_i(x,y)为第i帧图像在第x行、y列的像素亮度值，(x,y)表示图像中的像素位置为x行、y列；

步骤b：分别按照μ_j(x,y)＝(1-α)·μ_j-1(x,y)+α·f_j(x,y)和更新背景估计图像的均值μ_j(x,y)和方差得到更新后的第j帧图像的背景估计图像B_j；

其中，δ是[0,1]之间的常数，K是混合高斯模型的个数，3≤K≤5；j≥1，f_j(x,y)表示第j帧图像在第x行、y列的像素亮度值；

步骤c：按照d_j(x,y)＝|f_j(x,y)-B_j(x,y)|计算得到当前帧图像和当前帧背景估计图像的差分图像，并按照对差分图像进行二值化处理，得到检测出的运动车辆区域，即二值化处理后图像M中像素值为1的区域，图像M中像素值为0的区域为背景区域；第j帧图像中M_j(x,y)＝1表示的运动区域；

其中，r为灰度阈值，50≤r≤60；

步骤d：对每一帧图像检测出的运动车辆区域进行角点特征提取，再应用金字塔Lucas-Kanade稀疏光流算法对所有帧视频图像中的角点进行跟踪，得到运动车辆运动轨迹；

步骤2：车辆轨迹特征提取：使用矩阵网格和双向直方图相结合的轨迹特征提取方法，构造车辆轨迹特征向量，为车辆行为分类提供特征依据，具体为：

步骤a：以步骤1得到的运动车辆轨迹坐标为基准，以轨迹横坐标为x轴、轨迹纵坐标为y轴构造车辆轨迹坐标系Oxy，分别求出所有点的x轴方向最大值x_max和最小值x_min、y轴方向最大值y_max和最小值y_min，在坐标系Oxy创建宽为高为的矩阵网格，对网格中每一个子网格赋予初始值0；

步骤b：对轨迹坐标所在的子网格进行赋值，先沿x轴正方向，再沿y轴正方向，按顺序赋予递增的权重值1、2、3、……，得到轨迹坐标矩阵；

步骤c：对轨迹坐标矩阵的行和列分别构造直方图，使用双向直方图估算车辆目标的基本行为趋势，即依据轨迹坐标矩阵行和列的直方图整体趋势走向，如果自左至右递减，则趋向于右转弯；如果自左至右递增，则趋向于左转弯；如果中间向两边递减，则轨迹线呈直行趋势，得到运动车辆行为趋势为左转弯、右转弯或直行；

其中，直方图横坐标表示轨迹坐标矩阵的行数或列数，直方图的纵坐标统计轨迹坐标矩阵中某一行或列中矩阵元素值不为0的个数；

步骤d：由步骤c得到的行为趋势和步骤b得到的轨迹坐标矩阵构成运动车辆的轨迹特征向量；

步骤3：车辆行为训练：利用SVM两层分类器结构对车辆轨迹样本进行行为训练，得到样本数据的识别结果，具体为：

步骤a：创建轨迹样本：用图片生成工具导入预先采集的视频的模拟背景，并创建包括直行、左转弯、右转弯三种类型的轨迹样本各100张；

步骤b：根据步骤2的轨迹特征提取方法对轨迹样本进行轨迹特征提取，得到各种类型轨迹样本的轨迹特征向量；

步骤c：利用SVM两层分类器对步骤b得到的样本的轨迹特征向量进行训练，得到样本数据的识别结果；

步骤4：车辆行为识别：根据步骤3训练得到的SVM分类器，对步骤2得到的运动车辆轨迹特征向量进行车辆行为识别，最终得到车辆行为为左转弯、右转弯或直行。

本发明的有益效果是：由于采用背景差分法进行车辆目标检测和光流法进行车辆跟踪，方法执行速度快，准确率高；由于采用矩阵网格和双向直方图相结合的轨迹特征提取方法，在一定程度上避免了冗余情况，有效的提取并扩充了车辆运动轨迹特征向量，还可以避免产生不可分区域问题。

附图说明

图1是本发明的基于机器视觉的城市环境行驶车辆行为识别方法的基本流程图

图2是本发明方法用背景差分法进行车辆目标检测的结果图

图3是本发明方法提取的车辆运动轨迹示意图

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明提供了一种基于机器视觉的城市环境行驶车辆行为识别方法，其基本流程图如图1所示，具体包括以下步骤：

步骤1：车辆目标检测与跟踪

车辆目标检测是指从视频序列图像中分离出车辆目标，车辆目标的检测结果直接影响后期车辆目标跟踪、行为特征提取以及行为分类等环节。车辆目标跟踪是为了获取车辆目标的运动参数(例如位置、速度等)以及运动轨迹，实现对车辆目标的行为理解。在交通监控视频中，天气、车辆目标相互干扰等因素，是影响车辆目标检测和跟踪精度的主要原因。

针对上述问题，首先，利用背景差分法与混合高斯模型建模的方法进行目标检测与提取，准确的从视频图像中区分出前景图像和背景模型，提取前景图像并检测出车辆目标。然后，利用光流的跟踪算法对运动车辆进行跟踪。

1、利用背景差分法与混合高斯模型建模的方法进行目标检测与提取：

背景差分法是一种最基本的目标识别方法，它采用根据某种背景模型更新参考图像，计算当前图像与参考图像的差分图像，然后阀值化分割出运动物体，这种方法计算简单，如果参考图像选取得当，这种方法的优点是可以准确地分割出运动物体。其实现步骤如下：

(1)确定背景模型，并建立背景图像。最简单的背景模型是时间平均图像，但随着时间的推移，外界的光线会变化，这会引起背景图像的变化，因而采用一幅固定背景图像的方法，只适合应用于外界条件较好的场合。为了实现长时间的视频监视，本发明采用基于高斯统计模型的背景图像估计算法，用高斯分布来描述每个像素颜色的概率密度分布。该算法由背景图像的估计和更新两部分组成。在背景图像的估计算法中，首先，计算一段时间内视频序列图像的像素亮度的均值μ₀(x,y)及方差以μ₀(x,y)和组成具有高斯分布的图像B₀，B₀即为初始的背景估计图像；

其中，N为初始化背景图像选取时间段内序列图像的总帧数，150≤N≤200；f_i(x,y)为第i帧图像在第x行、y列的像素亮度值，(x,y)表示图像中的像素位置为x行、y列。

当背景估计图像的初始化完成后，随着每一帧新图像的到来，分别按照μ_j(x,y)＝(1-α)·μ_j-1(x,y)+α·f_j(x,y)和更新背景估计图像的均值μ_j(x,y)和方差得到更新后的第j帧图像的背景估计图像B_j；

其中，δ是一给定的[0,1]之间的常数，K是混合高斯模型的个数，3≤K≤5；j≥1，f_j(x,y)表示第j帧图像在第x行、y列的像素亮度值。

(2)在像素模式下，用当前图像减去己知背景图像来得到差分图像，即按照d_j(x，y)＝|f_j(x，y)-B_j(x，y)|计算得到当前帧图像和当前帧背景估计图像的差分图像；然后，对差分图像里做二值化处理，得到检测出的运动车辆区域，即：

其中，M_j(x,y)为差分图像中任何一点，r为灰度阀值，50≤r≤60。

如果，M_j(x,y)＝1，则表示像素点(x,y)在第j帧属于运动区域，否则，像素点(x,y)在第j帧属于背景区域。

2、利用光流的跟踪算法对运动车辆进行跟踪：

光流场的方法是从实时采集的图像序列中抽取光流场，蹄选出光流较大的运动目标区域并计算出运动目标的速度矢量，从而实现运动目标的检测和跟踪。光流场是一个二维矢量场，它包含的信息即是各像素点的瞬时运动速度矢量信息。研究光流场的目的就是为了从图像序列中近似计算不能直接得到的运动场。任何估计算法都可以获得光流，如局部松她算法、多分辨率估计算法以及分层块匹配算法等。

经典的Horn-Schunck光流计算方法主要是基于空间平滑性假设和亮度恒常性假设。假设I(x,y,t)为图像坐标为(x,y)点在t时刻的灰度(亮度)值。当t+dt时刻该点运动到(x+dx,y+dy)点，根据亮度恒常性假设，可以认为在t+dt时刻在图像点(x+dx,y+dy)处的亮度与时刻t的(x,y)点的亮度是相同的，即光流约束方程为：

I(x,y,t)＝I(x+dx,y+dy,t+dt)(2)

如果认为图像灰度是位置和时间的连续变化函数，则将上式右边用泰勒级数展开并略去二次项和高阶项，得到光流场的基本方程：

Horn和Schunck根据同一运动物体引起的光流场应该是连续平滑的，提出了空间平滑性约束假设。该假设认为，在许多情况下物体的运动速度是局部光滑的,或随着点的改变而缓慢变化的，但在局部区域的变化非常小。特别是目标在作无形变刚体运动时，各相邻像素点应具有相同的运动速度，即相邻点速度的空间变化率为零，可以表示为：

其中u和v为时刻图像平面上坐标为(x,y)的像素点在方向以及在方向的瞬时速度分量，也就是光流。将式(3)和(4)结合起来求解，就形成了对两个约束条件进行加权求极值的问题。

光流携带了有关物体运动和景物三维结构的丰富信息，所以该方法不仅可以用于运动目标检测，甚至可以直接用于运动目标跟踪,而且在摄像头存在运动的前提下也能正确地检测出运动目标。但在实际应用中，由于多光源、遮挡性、噪声等原因,使得光流场基本方程的灰度守恒假设条件往往不能满足，不能求解出正确的光流场，同时大多数光流计算方法也相当复杂，计算量巨大，不能满足实时要求。

本发明首先对每一帧图像检测出的运动车辆区域进行角点特征提取，再应用金字塔Lucas-Kanade稀疏光流算法对所有帧视频图像中的角点进行跟踪，得到运动车辆运动轨迹。

步骤2：车辆轨迹特征提取

车辆轨迹的最基本的数据形式，即为位置坐标。根据位置坐标，通过计算可得到诸如目标车辆运动速度、方向等信息。以步骤1目标检测跟踪得到的运动车辆的运动轨迹为基础，使用矩阵网格和双向直方图相结合的轨迹特征提取方法，构造车辆轨迹特征向量，可以为车辆行为分类提供特征依据。具体为：

(1)以运动车辆轨迹坐标为基准，以轨迹横坐标为x轴、轨迹纵坐标为y轴构造车辆轨迹坐标系Oxy，分别求出所有点的x轴方向最大值x_max和最小值x_min、y轴方向最大值y_max和最小值y_min，在坐标系Oxy创建宽为高为的矩阵网格，对网格中每一个子网格赋予初始值0；

(2)对轨迹坐标所在的子网格进行赋值，先沿x轴正方向，再沿y轴正方向，按顺序赋予递增的权重值1、2、3、……，得到轨迹坐标矩阵；

(3)对轨迹坐标矩阵的行和列分别构造直方图，使用双向直方图估算车辆目标的基本行为趋势，即依据轨迹坐标矩阵行和列的直方图整体趋势走向，如果自左至右递减，则趋向于右转弯；如果自左至右递增，则趋向于左转弯；如果中间向两边递减，则轨迹线呈直行趋势，得到运动车辆行为趋势为左转弯、右转弯或直行；

其中，直方图横坐标表示轨迹坐标矩阵的行数或列数，直方图的纵坐标统计轨迹坐标矩阵中某一行或列中矩阵元素值不为0的个数；

(4)由运动车辆行为趋势和轨迹坐标矩阵则构成运动车辆的轨迹特征向量。

步骤3：车辆行为训练

支撑矢量机(support vector machines，SVM)是一种基于类类间隔最大的分类模型。SVM因其对小样本，高维的分类问题有较好的效果，且训练和测试阶段相对简单，因此在模式识别和机器学习的问题中得到了大量的应用。由于支持向量机分类器仅能将输入识别成两类，而需要区分的特征往往是两类以上的，本发明采用可以识别三类的两层分类器结构。

在利用SVM进行车辆行为识别之前，先利用SVM两层分类器结构对车辆轨迹样本进行行为训练，得到样本数据的识别结果，具体为：

(1)创建轨迹样本：用图片生成工具导入预先采集的视频的模拟背景，并创建包括直行、左转弯、右转弯三种类型的轨迹样本各100张；

(2)根据步骤2的轨迹特征提取方法对轨迹样本进行轨迹特征提取，得到各种类型轨迹样本的轨迹特征向量；

(3)利用SVM两层分类器对样本的轨迹特征向量进行训练，得到样本数据的识别结果和训练好的SVM分类器；

步骤4：车辆行为识别

根据步骤3训练得到的SVM分类器，对步骤2得到的运动车辆轨迹特征向量进行车辆行为识别，最终得到车辆行为为左转弯、右转弯或直行。

本实施例采用VS2010平台和OpenCV技术进行方法仿真，实现了对车辆检测、跟踪以及行为识别。测试结果表明，使用背景差分法的车辆目标检测方法和光流法算法可以完成对车辆目标的检测、跟踪(如图2所示)，使用矩阵网格和双向直方图相结合可以提取车辆轨迹特征(如图3所示)，使用基于SVM的分类算法可以完成对车辆行为的分类识别，且实验结果准确。