交通视频监控中的背景更新方法和车辆目标提取方法

摘要

本发明公开了一种交通视频监控中的背景更新方法和车辆目标提取方法，本发明的背景更新方法包含进行背景更新判决的步骤，背景更新判决的步骤基于Canny边缘检测，解决了常见的市区路口车辆拥堵和红绿灯路口常见的等红灯时的背景实时更新差的问题；本发明的车辆目标提取方法包含本发明的背景更新方法以及消除阴影和粘连的方法，基于本发明的背景更新方法，在获得一个理想背景的前提下，提取车辆目标的前景图像，然后再进行消除阴影和粘连，消除阴影和粘连的方法是利用互相关函数进行阴影消除后再进行空洞填补和边缘裁剪，然后再依次进行去噪、“垂直投影”和“水平投影”，解决了阴影所造成的车辆目标粘连和轮廓不准确的问题，提取出理想的车辆目标。

说明书

技术领域

本发明属于智能交通视频监控技术领域，具体涉及一种基 于Canny边缘检测的背景更新方法，以及基于上述背景更新方 法的车辆目标提取方法。

背景技术

基于视频监控技术的车辆检测方法发展很快，由于检测区 域大、系统设置灵活等突出优点，已成为智能交通系统领域的 一个研究热点。视频监控技术为交通系统提供了直观、方便的 分析手段，因此以视频图像处理、分析、理解为基础的视频监 视技术越来越引起人们的重视。车辆检测是智能运输系统的重 要组成部分，由于视频设备和高性能计算机硬件的发展以及视 频处理技术的成熟，基于视频的车辆检测器成为交通运输领域 的研究热点并得到越来越广泛的应用。下述几个要点在车辆检 测当中至关重要。

一、背景建模：

常用的背景图像获取方法有：手动给出背景法、中值法、 混合高斯模型方法等。

1、手动给出背景法：需要人工实时干预，当人在观察到 没有车辆目标时启动摄像装置获得背景图像。

缺点：这种方法增加了人力和物力的需求，不能实现自动 背景更新，而且很多情况下很难在没有车辆目标的情况下获得 背景图像，如高速路的车辆检测系统。

2、中值法：在一段时间内对像素点的灰度值取中值，用 这个中值作为背景图像对应点的灰度值。

缺点：对每一个像素度点，当没有车辆目标通过或光线变 化时，该点的灰度值在一个很小的范围内保持稳定，然而当有 车辆目标通过或光线变化，该点的灰度值会发生剧烈变化。该 方法适合用于场景车辆目标较少的场合，当目标频繁出现时容 易将前景车辆目标混入背景图像当中，产生混合现象，从而导 致提取的目标不准确。

3、混合高斯模型方法：在读入一段视频后，对图像个点 的灰度进行统计。在没有车辆目标通过时，改点的灰度值保持 稳定，只有当车辆目标通过时，改点的灰度才会发生剧烈的变 化，并依此滤去变化的灰度从而建立背景模型。

缺点：混合模型计算量大，会出现车辆目标长期静止时算 法失效的状况。

4、中国专利《交通监控中背景更新方法》， CN200910019287.1，只适用于初始背景建模时理想的状态下， 比如高速路车流量不是很多，在获得理想背景下的根据车流量 判决背景更新方法。此专利的弊端是：(1)适用于初始背景建 模需要理想状态，不能适用市区道路口，尤其是红绿灯路口车 辆拥挤并时有停下等红灯，初始背景建模困难，除红绿灯路口 外的其他路段包括高速路车辆一直处在运动状态，很少像市区 的红绿灯路口，红绿灯路口车辆比较拥堵，而且存在等红灯现 象，因此其他路段获得一个满意的初始背景相对容易，而红绿 灯路口存在如下困难：①、背景提取后容易有下列糟糕情况： a.初始背景因为车辆一直在监控区域中缓慢运动，导致背景提 取出来局部模糊，背景提取的不准确影响后面的车辆检测准确 性；b.初始背景建立时，车辆正在等红灯，因此获得的背景中 有很多车辆，背景提取的相当不准确，严重影响车辆检测；② 背景更新带来的问题：对于其他的更新算法，在车辆运动离开 监控区域后会将背景更新至理想的情况下，但下一波车辆等红 灯时候，又会把车辆更新到背景中，这样就存在一个死循环： 背景由差到好，再到差，再到好，一直循环下去，对于有些算 法甚至一直获得不到好的背景，这样更谈不上检测的准确性。 (2)根据车流量判决背景更新，这需要一套很复杂的车流判断 方法。(3)此专利如果初始背景不理想，后续的一切工作都受 影响。

二、阴影消除及其必要性：

在车辆目标检测中，由于车辆阴影的特征与背景迥然不 同，而阴影和车辆目标有相同的运动特征，导致运动阴影很容 易被误判为车辆目标，给后续的车辆目标检测跟踪带来很大的 误差。而且阴影的存在会使多个目标粘连，误判为一个目标； 还会使车辆目标形状失真。因此实时有效阴影检测并去除是非 常有必要的。

常见的阴影消除方法：彩色空间下阴影检测、互相关阴影 检测等。

1、彩色空间下阴影检测算法

目前阴影算法多是在HIS空间下进行的，色调H和饱和 度S包含了颜色信息，而强度I则与彩色信息无关；当一个像 素点被阴影覆盖时，它的亮度变化较大，而色度信号变化不大。

缺点：车窗和某些局部车身信息同阴影相似，进行阴影消 除后，车窗和局部车身被当做阴影消除，车身会存在很大一块 区域空洞，这样影响车辆检测中车身信息以及位置信息。

2、互相关阴影检测算法

由于像素点在未被阴影覆盖和被阴影覆盖时的亮度值近 似呈线性关系，因此可以利用互相关函数系数的性质来进行阴 影检测。

缺点：同样车窗和局部车身被消除，而且车辆阴影边缘不 能消除，导致车辆检测不准确。

发明内容

为了克服上述缺陷，本发明提供了一种基于Canny边缘 检测的交通视频监控中的背景更新方法，以及基于本发明背景 更新方法的交通视频监控中的车辆目标提取方法，本发明的交 通视频监控中的背景更新方法解决了常见的市区路口车辆拥 堵和红绿灯路口常见的等红灯时的背景实时更新差的问题，本 发明的交通视频监控中的车辆目标提取方法还解决了阴影所 造成的车辆目标粘连和轮廓不准确的问题。

本发明为了解决其技术问题所采用的技术方案是：

本发明基于Canny边缘检测法，Canny边缘检测法首先在 X和y方向求一阶导数，然后组合为四个方向的导数。这些方 向导数达到局部最大值的点就是组成边缘的候选点。然而， Canny算法最重要的一个特点是其试图将独立像素变得候选 像素并拼装成轮廓，轮廓的形成是对这些像素运用了两个阈 值，上限阈值和下限阈值。如果一个像素的梯度大于上限阈值， 则被认为是边缘像素，如果低于下限阈值，则被抛弃，如果介 于二者之间，只有当其与高于上限阈值的像素连接时才会被接 受。Canny推荐的上下限阈值比为2∶1到3∶1之间。对前景灰 度图像进行Canny边缘检测会发现，车身的边缘信息非常丰 富，有车窗、车轮、车灯等，而阴影则是比较平滑的，只有最 边缘一条曲线，利用这一特征可较好地进行后续的消除阴影并 解决车辆粘连问题。

基于上述Canny边缘检测法，本发明的交通视频监控中 的背景更新方法，包括下述步骤：

步骤A、读取一帧图像，任取一种背景建模方法，获得初 始背景图像；

步骤B、进行背景更新判决；

步骤C、背景更新；

其中，步骤B中，进行背景更新判决的步骤如下：

B1、在获得背景图像的基础上，对当前帧的灰度图像做 Canny边缘检测，得到当前帧图像中包括背景和前景的轮廓信 息；

B2、用背景减法检测出前景目标；

B3、对前景灰度图像做Canny边缘检测，得到前景图像 的边缘轮廓；

B4、将当前帧的边缘检测图像与前景的边缘检测图像进 行“与”操作；

B5、对“与”操作之后的图像进行像素点的统计，若像 素点的累积总数小于等于某一预定值时，则执行步骤C；若像 素点的累积总数大于所述预定值时，则返回步骤A。

基于本发明的背景更新方法，本发明的交通视频监控中的 车辆目标提取方法，包括背景更新方法和消除阴影和粘连的方 法，

所述背景更新方法包括下述步骤A至C：

步骤A、读取一帧图像，任取一种背景建模方法，获得初 始背景图像；

步骤B、进行背景更新判决；

其中，步骤B中，进行背景更新判决的步骤如下：

B1、在获得背景图像的基础上，对当前帧的灰度图像做 Canny边缘检测，得到当前帧图像中包括背景和前景的轮廓信 息；

B2、用背景减法检测出前景目标；

B3、对前景灰度图像做Canny边缘检测，得到前景图像 的边缘轮廓；

B4、将当前帧的边缘检测图像与前景的边缘检测图像进 行“与”操作；

B5、对“与”操作之后的图像进行像素点的统计，若像 素点的累积总数小于等于某一预定值时，则执行步骤C；若像 素点的累积总数大于所述预定值时，则返回步骤A；

步骤C、背景更新；

基于所述背景更新方法，在获得一个理想背景的前提下， 进行步骤D、将当前帧图像减去背景帧图像并进行二值化，得 到车辆目标的前景图像；

然后对步骤D得到的前景图像进行消除阴影和粘连，所 述消除阴影和粘连的方法包括下述步骤E至I：

步骤E、利用互相关函数对步骤D得到的前景图像进行 初次去阴影；

步骤F、对步骤E得到的前景图像中的目标空洞进行填补 和边缘裁剪；

步骤G、对步骤F得到的前景图像进行区域增长，消除噪 声、小目标以及不规则目标的干扰；

步骤H、对步骤G得到的前景图像进行“垂直投影”以 消除车辆左右阴影和粘连；

步骤I、对步骤H得到的前景图像进行“水平投影”以消 除车辆前后阴影和粘连。

本发明所采用的进一步技术方案是，所述步骤E中，利 用互相关函数对步骤D得到的前景图像进行初次去阴影的步 骤如下：

利用公式$\mathrm{NCC}(x,y)=\frac{\mathrm{ER}(x,y)}{E_B(x,y)E_{T_{x,y}}}$计算当前像素点(x，y) 的互相关系数NCC(x，y)，其中：

$\mathrm{ER}(x,y)=\underset{m=-L}{\overset{L}{\Sigma }}\underset{n=-L}{\overset{L}{\Sigma }}B(x+m,y+n)T_{x,y}(m,n)$

$E_B(x,y)=\sqrt{\underset{m=-L}{\overset{L}{\Sigma }}\underset{n=-L}{\overset{L}{\Sigma }}B{(x+m,y+n)}^2}$

$E_{T_{x,y}}=\sqrt{\underset{m=-L}{\overset{L}{\Sigma }}\underset{n=-L}{\overset{L}{\Sigma }}{T}_{x,y}{(m,n)}^2}$

B(x，y)为背景图像，C(x，y)为当前帧图像，定义以 (x，y)为中心点、大小为(2L+1)×(2L+1)的模板 T_x，y(m，n)＝C(x+m，y+n)，其中-L≤m≤L，-L≤n≤L，L＝5； 如果NCC(x，y)大于设定阈值，则认为当前像素点为阴影区 域，并将相对应的前景图像中的像素点置为0，实现对前景图 像初次去阴影操作。

本发明所采用的进一步技术方案是，所述步骤F中，对步 骤E得到的前景图像中的目标空洞进行填补和边缘裁剪的步 骤如下：

使用5×5的结构因子对经过初次去阴影后的前景图像进 行膨胀，得到处理后的图像一(Image1)；使用9×9的结构因 子对未经初次去阴影后的前景图像进行膨胀，得到处理后的图 像二(Image2)；使用3×3的结构因子对图像二(Image2)进 行腐蚀，得到处理后的图像三(Image3)；最后将图像一 (Image1)和图像三(Image3)进行“与”操作，以实现对前 景图像中的目标空洞进行填补和边缘裁剪。

本发明所采用的进一步技术方案是，所述步骤G中，对 步骤F得到的前景图像进行区域增长，消除噪声、小目标以及 不规则目标的干扰的步骤如下：

在步骤F得到的前景图像中进行区域增长，获得N个目 标联通域，所述N个是指若干个，然后统计这N个联通域的 像素点个数以及该联通域所在外接框的宽高比和占空比，如果 相应联通域的像素点个数以及该联通域所在外接框的宽高比 和占空比小于设定阈值时，则将该联通域中所有像素点置为 0，实现对噪声、小目标以及不规则目标的消除。

本发明所采用的进一步技术方案是，所述步骤H中，“垂 直投影”以消除车辆左右阴影和粘连的步骤为：

对步骤G得到的前景图像再次进行区域增长，获得N₁个 目标联通域，N₁个是指若干个，对每个联通域进行检测区域 定位，判别其所在的区域位置，然后在每个联通域内的横坐标 点上对前景边缘图像和前景图像进行垂直扫描，分别统计出每 个横坐标点上对应的前景边缘图像的像素点数m₁和前景图像 的像素点数n₁，当m₁和n₁分别小于等于某一预设值时，则将 该联通区域内的此横坐标点垂直方向上的前景图像所对应的 每个像素点置为0，实现对车辆目标左右阴影和粘连的消除。

本发明所采用的进一步技术方案是，所述步骤I中，“水 平投影”以消除车辆前后阴影和粘连的步骤为：

将步骤H得到的前景图像再次进行噪声、小目标和不规 则目标的消除，然后使用5×5的结构因子对去噪后的前景图 像分别进行膨胀和腐蚀，此时对前景图像再次进行区域增长， 获得N₂个目标联通域，N₂个是指若干个，对每个联通域进行 检测区域定位，判别其所在的区域位置，然后在每个联通域内 的纵坐标点上对前景边缘图像和前景图像进行水平扫描，分别 统计出每个纵坐标点上对应的前景边缘图像的像素点数m₂和 前景图像的像素点数n₂，当m₂和n₂分别小于某一预设值时， 则将该联通区域内的此纵坐标点垂直方向上的前景图像所对 应的每个像素点置为0，实现对车辆目标前后阴影和粘连的消 除。

本发明中所述的预定值、阈值以及预设值等数值在本发明 中并无具体限定，该等数值需根据具体监控路段的实际情况以 及像素高低等条件做调整，而本领域技术人员在研读本发明后 并根据现有常识和经验能够给定适当的数值，例如步骤B5中 的预定值可以设置为300，步骤E中的阈值可以设定为0.985 等。本发明中所述的N个、N₁个、N₂个、m₁、n₁、m₂以及 n₂等数量也没有具体的数值和范围，该等数量是自动生成，会 根据实际情况不同而不同，而且该等“N个”、“N₁个”、“N₂个”都是指多个，为了便于区分，以免产生混淆，故分别以“N 个”、“N₁个”、“N₂个”加以表述。

本发明的有益效果是：本发明适用于任何监控路段，解决 了市区路口车辆拥堵和特别是车辆在等红灯时候背景实时更 新差的极端情况，同时本发明的车辆目标提取方法还解决了车 辆因阴影而造成的粘连和目标轮廓不准确的问题，能较准确地 提取出车辆目标，方法简单可靠，且准确性和鲁棒性高；

与现有技术相比，本发明的优点在于：

1、适应几乎所有背景建模方法，只要获得一个初始背景 即可，背景不理想也可以；

2、在背景更新判决并更新后可以很快获得一个理想的背 景并实时更新下去，一旦获得理想背景就会一直是实时的理想 背景；

3、本发明最大的优点：无论任何路段视频监控，都可以 很快获得一个满意初始背景，并实时更新，特别是市区道路和 红绿灯路口；

4、由于判决方法准确，可以采用简单的背景更新算法， 可以保证实时性；

5、不受光照变化、摄像头抖动、背景扰动及车辆目标干 扰影响；

6、本发明的阴影消除方法，可以较好地保存车身信息的 完整性，阴影消除相对比较干净，同时解决了因阴影导致的车 辆粘连和车辆轮廓不准确的问题。

附图说明

图1为本发明的背景更新判决的流程图；

图2为本发明的消除阴影和粘连的流程图。

具体实施方式

实施例：下面对本发明的较佳实施例进行详细阐述，以使 本发明的优点和特征能更易于被本领域技术人员理解，从而对 本发明的保护范围做出更为清楚明确的界定。

基于Canny边缘检测法，本发明提供了一种交通视频监 控中的背景更新方法，按下述步骤进行：

步骤A、读取一帧图像，任取一种背景建模方法，获得初 始背景图像；

步骤B、进行背景更新判决，其具体步骤如下：

B1、在获得背景图像的基础上，对当前帧的灰度图像做 Canny边缘检测，得到当前帧图像中包括背景和前景的轮廓信 息(edge1)，如当前帧图像中车的车窗、车轮胎、车灯等轮 廓以及背景图像中车道和斑马线等的轮廓边缘信息；

B2、用背景减法检测出前景目标，计算当前帧图像与背 景图像的差，得到前景灰度图像，即检测出车辆目标；

B3、对前景灰度图像做Canny边缘检测，得到前景图像 的边缘轮廓(edge)；

B4、将当前帧的边缘检测图像edge与前景的边缘检测图 像edge1进行“与”操作，得到图像edge_and，

${\mathrm{edge}\_\mathrm{and}}_k(x,y)=\left(\begin{array}{cc}255& {\mathrm{edge}}_k(x,y)\mathrm{and}{\mathrm{edgel}}_k(x,y)!=0\\ 0& \mathrm{others}\end{array}\right)$

B5、遍历edge_and图像求出不为0的像素点总数，若像 素点的累积总数小于等于某一预定值时，则执行步骤C，对背 景更新设置较大的更新权值，进行快速背景更新；若像素点的 累积总数大于所述预定值时，对应的情况可能是：a.当前帧 图像中有一辆及以上车辆目标；b.车辆发生拥堵；c.车辆在 等红灯等，这时就不应该对背景更新，返回步骤A，若更新的 话容易将车辆更新到背景中，影响后面的检测效果则。

C、背景更新：无论在背景获得是否理想的情况下，抓取 一段当前没有前景目标的图像，在较短地时间内便可以更新到 理想背景，持续稳定的实时更新背景，将不受拥堵和等红灯的 车辆影响。当由步骤B5判定当前帧中没有前景目标存在时， 此时快速更新将不影响背景更新的效果，所以采用复杂度很低 的算法进行快速背景更新，即：

B_k(x，y)＝(1-a)I_k(x，y)+aB_k-1(x，y)，

B_k(x，y)为更新后背景图像的像素点，I_k(x，y)为当前帧的 像素点，B_k-1(x，y)为更新前背景图像的像素点，a为更新权值， 可以调节。采用这种最简单的更新方法，主要是由于判决条件 准确，这样可以一直获得很好的背景，而且算法复杂度很低， 确保实时性。

本发明还提供了一种交通视频监控中的车辆目标提取方 法，包括本发明的背景更新方法和消除阴影和粘连的方法，基 于本发明的背景更新方法，在获得一个理想背景的前提下，进 行步骤D、将当前帧图像减去背景帧图像并进行二值化，得到 车辆目标的前景图像。

然后对步骤D得到的前景图像进行消除阴影和粘连，所 述消除阴影和粘连的方法包括下述步骤E至I：

步骤E、由于像素点在未被阴影覆盖和被阴影覆盖时的亮 度值近似呈线性关系，因此可以利用互相关函数系数的性质来 体现这种关系并进行初次去阴影操作：

利用公式$\mathrm{NCC}(x,y)=\frac{\mathrm{ER}(x,y)}{E_B(x,y)E_{T_{x,y}}}$计算当前像素点(x，y) 的互相关系数NCC(x，y)，其中：

$\mathrm{ER}(x,y)=\underset{m=-L}{\overset{L}{\Sigma }}\underset{n=-L}{\overset{L}{\Sigma }}B(x+m,y+n)T_{x,y}(m,n)$

$E_B(x,y)=\sqrt{\underset{m=-L}{\overset{L}{\Sigma }}\underset{n=-L}{\overset{L}{\Sigma }}B{(x+m,y+n)}^2}$

$E_{T_{x,y}}=\sqrt{\underset{m=-L}{\overset{L}{\Sigma }}\underset{n=-L}{\overset{L}{\Sigma }}{T}_{x,y}{(m,n)}^2}$

B(x，y)为背景图像，C(x，y)为当前帧图像，定义以 (x，y)为中心点、大小为(2L+1)×(2L+1)的模板 T_x，y(m，n)＝C(x+m，y+n)，其中-L≤m≤L，-L≤n≤L，L＝5； 如果NCC(x，y)大于0.985，则认为当前像素点为阴影区域， 并将相对应的前景图像中的像素点置为0，实现对前景图像初 次去阴影操作。由于使用互相关函数进行阴影消除，会造成车 窗和局部车身也被消除，车辆目标出现空洞，而且车辆阴影边 缘不能被消除，导致车辆检测不准确，所以还必须要后续进行 更细致地阴影消除。

步骤F、对步骤E得到的前景图像中的目标空洞进行填补 和边缘裁剪：使用5×5的结构因子对经过初次去阴影后的前 景图像进行膨胀，得到处理后的图像一(Image1)；使用9×9 的结构因子对未经初次去阴影后的前景图像进行膨胀，得到处 理后的图像二(Image2)；使用3×3的结构因子对图像二 (Image2)进行腐蚀，得到处理后的图像三(Image3)；最后 将图像一(Image1)和图像三(Image3)进行“与”操作，以 实现对前景图像中的目标空洞进行填补和边缘裁剪。

步骤G、对步骤F得到的前景图像进行区域增长，消除噪 声、小目标以及不规则目标的干扰：在前景图像中进行区域增 长，获得N个目标联通域，所述N个是指若干个，然后统计 这N个联通域的像素点个数以及该联通域所在外接框的宽高 比和占空比，如果相应联通域的像素点个数以及该联通域所在 外接框的宽高比和占空比小于设定阈值时，则将该联通域中所 有像素点置为0，实现对噪声、小目标以及不规则目标的消除。

步骤H、对步骤G得到的前景图像进行“垂直投影”以 消除车辆左右阴影和粘连：对步骤G得到的前景图像再次进 行区域增长，获得N₁个目标联通域，N₁个是指若干个，对每 个联通域进行检测区域定位，判别其所在的区域位置，然后在 每个联通域内的横坐标点上对前景边缘图像和前景图像进行 垂直扫描，分别统计出每个横坐标点上对应的前景边缘图像的 像素点数m₁和前景图像的像素点数n₁，当m₁＜6并且n₁＜2/3 车长(图像中车长的像素点数)时，则将该联通区域内的此横 坐标点垂直方向上的前景图像所对应的每个像素点置为0，实 现对车辆目标左右阴影和粘连的消除。

步骤I、对步骤H得到的前景图像进行“水平投影”以消 除车辆前后阴影和粘连：将步骤H得到的前景图像再次进行 噪声、小目标和不规则目标的消除，然后使用5×5的结构因 子对去噪后的前景图像分别进行膨胀和腐蚀，此时对前景图像 再次进行区域增长，获得N₂个目标联通域，N₂个是指若干个， 对每个联通域进行检测区域定位，判别其所在的区域位置，然 后在每个联通域内的纵坐标点上对前景边缘图像和前景图像 进行水平扫描，分别统计出每个纵坐标点上对应的前景边缘图 像的像素点数m₂和前景图像的像素点数n₂，当m₂＜6并且 n₂＜2/3车宽(图像中车宽的像素点数)，则将该联通区域内的 此纵坐标点垂直方向上的前景图像所对应的每个像素点置为 0，实现对车辆目标前后阴影和粘连的消除。

经过步骤H和I处理后，留下来的前景目标就是一个完整 的车型。在以上处理过程中，无论是否是阴影导致的车辆粘连 都能得到解决，因为图像的腐蚀膨胀处理，也极易导致前景目 标的粘连，所以该发明对不管是否是阴影造成的粘连都同样有 效。

以上所述仅为本发明的较佳可行实施例，非因此局限本发 明的专利范围，本发明还可以有其它实施方法，故凡运用本发 明说明书及图示内容所为的同等替换或等效变换形成的技术 方案，均包含于本发明要求保护的的范围内。