一种基于多帧统计的视频车道背景建模方法

摘要

本发明公开一种基于多帧统计的视频车道背景建模方法，通过对多帧视频帧自主统计分析首先建立无车的全背景图像，再次对多帧视频帧进行统计运动对象统计，最终在全背景图像上获取完整的车道背景图像；在全背景图像建立阶段，首先对视频帧上每一个像素按帧进行灰度值统计，通过排序确定该像素的背景灰度值范围，并运用加权平均的方法最后确定背景图像灰度值，进而生成全背景图像；在车道背景建立阶段，对于提取的视频帧运用帧间差分及设定阈值方法标记出车辆的运行位置，通过多次统计确定车辆的运行轨迹，通过车辆的运动轨迹进而最终获取完整的车道背景图像。具有计算量小、抗噪能力和自适应能力强等特点，方法简单且可靠。

说明书

 

技术领域

       本发明涉及计算机视频处理、图像分析及交通视频监控领域，尤其是视频车道背景的建模方法，以确定视频中车道的背景区域。

背景技术

近年来，随着城市人口、车辆的日益增加，城市的交通状况也备受关注，视频监控在交通领域得到了非常广泛的应用。准确地从视频流中区分出车道和运动目标，从而实现对运动目标的实时分析、跟踪、判别监控，就显得特别重要和有意义，因此准确的车道检测技术变得尤为重要。

在车道检测技术上，背景建模方法是最为常见的建模方法。常用的背景建模方法一般可分为基于像素的背景建模方法和基于块的背景建模方法。所谓基于像素的背景建模方法主要是根据每个像素在时间域上的分布信息构造其背景模型。 如采用混合髙斯背景建模方法对交通场景进行建模，该建模方法将图像中每个像素的混合高斯概率模型由三个髙斯成分组成，分别对应于道路、车辆及阴影。 此外Elgammal等人提出了一种非参数背景建模算法，该方法不用对背景的概率模型做任何假设，直接利用先前获得的像素值估计当前像素为背景的概率。现有的基于像素的背景建模方法大都仅利用了每个像素在时间域上的分布信息，并没有利用像素在空间域上的分布信息。此外模型学习速度较慢，建模过程较复杂，模型不能反映场景的突然变化，从而使得此类方法对场景的非平稳变化依然比较敏感。基于块的背景建模方法是将每帧图像分割为多个重叠或非重叠的小块，然后使用每个块的特征构造背景模型。与单个像素相比，块能够获得更多的空间分布信息，使得基于块的背景建模方法对场景的局部变化不敏感。如Seki等利用相邻块之间的图像变化在空间上的共同出现的规律，改善对前景目标的检测效果。 Matsuyama 等使用归一化向量距离度量块之间的相关性。基于块的背景减除方法最大缺点是获得的运动目标比较粗糙，不适于对运动目标分割要求较高的应用场合。

发明内容

本发明的目的是为克服上述现有技术的不足，提出了一种基于多帧统计的视频车道背景建模方法，建模过程简单可靠，模型对场景的非平稳变化不敏感，能反映场景的突然变化，适应各种光照条件及适应各种路况条件下的交通视频监控。

为实现上述目的，本发明的技术方案是依次采用如下步骤：（1）将交通道口的n帧连续图像帧转换成灰度图像矩阵，Y_i,j=0.299*R_i,j+0.587*G_i,j+0.114*B_i,j，Y_i,j是转换得到的像素上的灰度值，R_i,j、G_i,j、B_i,j是图像帧在第i行第j列上的RGB颜色值，0<x<n+1，M是图像帧的总行数，N是图像帧的总列数；（2）建立统计矩阵，                                               是图像第i行、第j列的像素上灰度值是k的图像帧统计次数，刚开始设置矩阵S为零矩阵；（3）连续取n帧灰度图像矩阵的灰度值Y_i,j，在所述统计矩阵S的相应位置上做加1处理，将所述的数值按从高到低顺序取出，将取出的构成一个新的集合_，直至为止；（4）按公式得到视频帧第i行j列上的背景像素值，并得到视频帧全背景灰度矩阵_；（5）再次读取同一个交通道口的相邻的两帧图像帧，将该相邻的两帧图像帧分别转换成灰度图像矩阵D_A、D_B，并对灰度图像矩阵D_A、D_B相减得到差分矩阵 D_C；（6）建立一个车道背景图像的统计矩阵D_D, 刚开始设置统计矩阵D_D为零矩阵；将所述差分矩阵D_C中所有灰度小于阈值40的值赋零，对差分矩阵D_C中灰度值大于0的位置保留，在统计矩阵D_D的相应位置上做加1操作；（7）取所述同一个交通道口的下两帧视频帧，将该下两帧视频帧转换成灰度图像矩阵，并得到一个差分矩阵，重复进行50-150次步骤（6）中的赋零操作和加1操作；得到一个记录连续50-150次帧间差分并标记车道背景矩阵；（8）取所述车道背景矩阵并在所述视频帧全背景矩阵的相应位置上做赋零操作，得到只包含车道背景的灰度矩阵。

本发明采用上述技术方案后具有的有益效果是：只采用简单的视频多帧统计方法，就能有效确定视频中的背景区域，特别是能明确车道背景区域，具有计算量小，抗噪能力和自适应能力强等特点。方法简单、可靠，能适应各种光照条件及适应各种路况条件下的交通视频监控。通过车道背景建模，为后续的车道检测、车辆的检测跟踪等提供帮助。

具体实施方式

 本发明应用多帧图像的灰度值统计和判断，通过对连续多个视频帧上每个像素按帧进行自主统计分析，进行基于视频的车道背景图像的生成。为了获得完整的车道背景图像，本发明首先建立无车的全背景图像，再次对多帧视频帧进行统计运动对象统计，最终在全背景图像上获取完整的车道背景图像；在全背景图像建立阶段，首先对视频帧上每一个像素按帧进行灰度值统计，通过排序确定该像素的背景灰度值范围，并运用加权平均的方法最后确定背景图像灰度值，进而生成全背景图像；在车道背景建立阶段，对于提取的视频帧运用帧间差分及设定阈值方法标记出车辆的运行位置，通过多次统计确定车辆的运行轨迹，通过车辆的运动轨迹进而最终获取完整的车道背景图像。整个建模过程包含全背景图像生成和车道背景图像生成两部分，这两部分的具体步骤如下：

第一部分：全背景图像生成

步骤一：从拍摄于某个交通道口的视频中读取n帧连续图像帧，本发明中读取80帧，并将之转换成灰度图像矩阵。将图像帧的某一像素转换成灰度所应用的公式为：Y_i,j=0.299*R_i,j+0.587*G_i,j+0.114*B_i,j。其中(R_i,j, G_i,j, B_i,j)为图像帧在第i行第j列上的RGB颜色值，Y_i,j是转换得到的该像素上的灰度值。假设得到的第x帧灰度图像矩阵为， M表示图像帧的总行数，N表示图像帧的总列数，x取值范围在1到n之间的数，即0<x<n+1。 

步骤二：建立一个用于统计的矩阵，，该矩阵的维数为M*N*256。表示图像第i行、第j列的像素上灰度值是k的图像帧统计次数。刚开始设置S矩阵为零矩阵，即矩阵所有元素均置零。 

步骤三：连续读取n帧灰度图像矩阵的灰度值。如读取第x帧灰度图像矩阵D_x的灰度值，对于D_x上的每一个像素灰度值，如读取第i行j列像素上的灰度值为Y_i,j=g（g的取值范围为0到255），在统计矩阵S的相应位置上做加一处理。即假设刚开始为0，当读取第i行j列像素上的灰度值为Y_i,j=g时，变为1。 

步骤四：经过步骤三得到一个记录连续n帧灰度图像帧的像素点灰度值分布的统计矩阵S，统计矩阵S反映了n帧视频的运动情况。

由于不管多少车，只要是运动的物体，就不可能长期呆在一个地方，该地方长期来看，也就是通过多个视频帧来看，大部分视频帧反映的都是背景，因此，本发明合理地假设大部分视频帧没有运动车辆等运动物体通过，对统计的n个视频帧的任何一个相同像素点来说，大部分视频帧上统计得到的像素值是背景像素值，只有少部分是运动车辆等运动物体的像素值；此外由于光照或风动也会造成背景像素值的变化。为此本发明对统计矩阵S的每一个像素位置进行帧数统计排序，如视频帧第i行j列上多帧统计结果为一个集合，，是的集合，也就是视频帧第i行j列上帧数统计结果，将上256个按照灰度值进行帧数统计的_，按照的数值大小排序，按照从高到低顺序将的值取出，直到，将以上经过取出的构成一个新的集合，即_，。说明在统计的n帧视频中有超过60%的视频帧参与了统计，而且这些被统计的视频帧在第i行j列像素上都是背景像素。按照下面公式得到视频帧第i行j列上的背景像素值为：； k反映的是图像帧第i行j列像素位置上的第k个灰度。如S_5,6,79反映的就是第5行6列像素上灰度79统计的视频帧数。以上公式反映了视频帧的第i行j列像素上在60%以上视频帧的背景像素点灰度值的加权平均变化。该像素点少量运动变化的像素值没有统计在内。

步骤五：经过步骤四最终得到一个视频帧全背景灰度矩阵，该矩阵将在下一阶段车道背景图像生成中被修改，以反映车道背景信息。 

第二部分：车道背景图像生成

步骤一：再次读取拍摄于同个交通口的视频帧，从中读取相邻的两帧图像帧并将这两帧图像转换成灰度图像矩阵D_A和D_B，对两帧相减即进行帧间差分运算，得到一个差分矩阵 D_C。接着建立一个用于表示车道背景图像的统计矩阵D_D, 刚开始设置D_D矩阵为零矩阵，即矩阵所有元素均置零。

步骤二：进行车道背景判断。本发明设定一个阈值40，将差分矩阵D_C中所有小于阈值的值进行赋零操作。采取以上操作的原因是，由于相邻两帧获取时间的不同而导致整个视频区域中的像素点的灰度值是有变化的。本发明中认为视频像素的变化只由光照变化等自然因素以及车辆等运动对象的移动这两种因素导致。而车道外的背景区域的灰度差值变化来自于自然因素，其导致的灰度差值较小；而车道内的背景区域内的灰度差值变化来自于自然因素和经过的运动对象这两种因素的叠加，这种灰度差值较大。通过将所有小于阈值的差分矩阵中的值进行赋零操作来达到忽略那些车道外的背景区域灰度变化，而保留那些由于经过的车辆导致的差值。阈值的不同会影响最后得到的车道背景图像中车道的精确程度，阈值越小精度越低，保留的车道越完整但背景保留也越多；相反阈值越高则精度越高，车道保留越少同时背景也保留较少。经过以上差分矩阵D_C进行阈值保留后，对保留下来差分矩阵D_C灰度值大于0的位置，在统计矩阵D_D的相应位置上做加一操作。如差分矩阵D_C上第i行j列的灰度值 ，在统计矩阵D_D的相应位置Y_i,j上做加一操作。灰度值与第一部分全背景图像生成中步骤一的灰度值转换方式相同。

步骤三：读取下两帧视频帧，并将之转换成灰度图像矩阵, 对两帧再次进行帧间差分运算并得到一个差分矩阵，转到步骤二中重复进行车道背景区域的判断。反复进行，直到进行了H次视频车道背景区域判断为止。H的取值范围在50-150之间，在本发明中H设定为60。

步骤四：经过步骤三得到一个记录了连续H次帧间差分并标记车道背景矩阵D_D，矩阵D_D反映了车辆经过留下的痕迹所组成的车道背景的情况。读取D_D 矩阵并对全背景矩阵AG进行处理，如D_D矩阵上第i行j列像素上的灰度值为，在全背景矩阵AG的相应位置上做置零操作。类似的，灰度值与第一部分全背景图像生成中步骤一的灰度值转换方式相同。 

步骤五：经过步骤四得到一个只包含车道背景的灰度矩阵AG。该矩阵就是最终所得车道背景矩阵。

以下提供本发明的一个实施例：

实施例1

 从拍摄于某个交通道口的视频中读取80帧连续图像帧作为生成无车全背景图像用视频帧。因为图像是以RGB形式存在的，首先将RGB图像转换成灰度图像，将图像帧的某一像素转换成灰度所应用的公式为：Y_i,j=0.299*R_i,j+0.587*G_i,j+0.114*B_i,j。其中(R_i,j, G_i,j, B_i,j)为图像帧在第i行第j列上的RGB颜色值，Y_i,j是转换得到的该像素的灰度值。转换得到80个灰度图像矩阵，其中假设第x帧灰度图像矩阵为，M为1024，N为768。

建立一个用于统计的矩阵，，该矩阵的维数为1024*768*256，矩阵所有元素均置零。

连续读取80帧灰度图像矩阵的灰度值。如读取第5帧灰度图像矩阵D₅的灰度值，对于D₅上的每一个像素灰度值，如读取第3行4列像素上的灰度值为Y_3,4=100，在统计矩阵S的相应位置上做加1操作，说明这个像素点在第5个图像帧中记录到灰度值为100一次。得到一个记录连续80帧灰度图像帧的像素点灰度值分布的统计矩阵S，矩阵S反映了80帧视频的运动情况。对统计矩阵S的每一个像素位置进行帧数统计排序，如视频帧第6行7列上。将上256个灰度值位置按照数值大小排序，按照从高到低顺序将的值取出，直到，如记录到在，及上数值为24，20，18，说明在统计的80帧视频中有超过48帧的视频帧参与了统计，而且这些被统计的视频帧在第6行7列像素上都是背景像素。将以上经过排序得到的集合按照下面公式得到视频帧第6行7列上的背景像素值为：

 

该公式反映了视频帧的第6行7列像素上在60%以上视频帧的背景像素点灰度值的加权平均变化。该像素点少量运动变化的像素值没有统计在内。可得到一个全背景灰度矩阵。

再次读取拍摄于同一个交通口的视频帧，如间隔60秒，从中读取相邻的两帧图像帧并将这两帧图像转换成灰度图像矩阵D_A和D_B。对两帧相减即进行帧间差分运算，得到一个差分矩阵 D_C。接着建立一个用于表示车道背景图像的统计矩阵D_D, 刚开始设置D_D矩阵为零矩阵，即矩阵所有元素均置零。然后进行车道背景判断，将差分矩阵D_C中所有小于阈值40的值进行赋零操作。经过以上差分矩阵D_C进行阈值保留后，对保留下来差分矩阵D_C灰度值大于0的位置，在统计矩阵D_D的相应位置上做加1操作。如差分矩阵D_C上第8行9列的灰度值，在统计矩阵D_D的相应位置上做加1操作。再读取下两帧视频帧，并将之转换成灰度图像矩阵, 对两帧再次进行帧间差分运算并得到一个差分矩阵，如此重复进行车道背景区域的判断。反复进行，直到进行了60次视频车道背景区域判断为止，得到一个记录了连续60次帧间差分并标记车道背景矩阵D_D，矩阵D_D反映了车辆经过留下的痕迹所组成的车道背景的情况。读取矩阵D_D并对全背景矩阵进行处理，如矩阵D_D上第9行10列像素上的灰度值为，在全背景矩阵AG的相应位置上做置零操作，最终得到一个只包含车道背景的灰度矩阵，该矩阵就是最终所得车道背景矩阵，将该结果最终转换成灰度图像即反映了所取得的车道背景图像。