修复在拍摄时受到雨滴干扰的视频图像的方法

摘要

提供一种修复在拍摄时受到雨滴干扰的视频图像的方法。所述方法包括：(A)接收基于RGB色彩空间的视频的一帧图像；(B)将接收到的一帧图像转换成基于HSL色彩空间的图像；(C)基于色调分量和饱和度分量检测转换后的图像中的纯雨滴部分以及雨滴和运动物体重叠部分；(D)基于亮度分量分别对纯雨滴部分以及雨滴和运动物体重叠部分进行雨滴去除；(E)将去除雨滴后的图像转换成基于RGB色彩空间的图像并输出。根据所述方法，能够在高鲁棒性的前提下提高修复视频图像的精度和效率。

说明书

技术领域

本发明涉及图像处理技术领域，更具体地讲，涉及一种修复在拍摄时受到 雨滴干扰的视频图像的方法。

背景技术

雨对图像成像有很大的影响，会造成图像成像模糊、信息被覆盖，使得视 频图像的清晰度下降、视频图像的数字化处理性能下降。因此，对拍摄时受到 雨滴干扰的视频图像进行修复处理有利于图像的进一步处理，包括提高基于图 像的目标检测、识别、追踪、分割和监控等技术的性能。视频图像去雨技术在 现代军事、交通以及安全监控等领域有着广泛的应用前景。

现有的用于视频图像的去雨算法，应用在静态场景的视频图像上较为成熟， 但应用在动态场景的视频图像上无法达到理想的检测效果。

此外，实时对拍摄时受到雨滴干扰的视频图像进行修复处理在自动导航系 统、安全监控系统等场合中有很大的需求。这些应用场合中往往需要及时得到 处理结果，反馈给用户，视频处理的滞后有可能导致用户做出错误的判断。而 现有的用于视频图像的去雨算法由于其计算的复杂度导致效率较低，实时性还 有待提高。

发明内容

本发明的示例性实施例在于提供一种修复在拍摄时受到雨滴干扰的视频图 像的方法，以克服现有技术中修复精度和修复效率不理想的问题。

本发明提供一种修复在拍摄时受到雨滴干扰的视频图像的方法，其特征在 于，包括：(A)接收基于RGB色彩空间的视频的一帧图像；(B)将接收到的 一帧图像转换成基于HSL色彩空间的图像；(C)基于色调分量和饱和度分量检 测转换后的图像中的纯雨滴部分以及雨滴和运动物体重叠部分；(D)基于亮度 分量分别对纯雨滴部分以及雨滴和运动物体重叠部分进行雨滴去除；(E)将去 除雨滴后的图像转换成基于RGB色彩空间的图像并输出。

可选地，步骤(C)包括：(C1)基于色调分量和饱和度分量检测所述转换 后的图像中的运动物体部分；(C2)根据所述一帧图像和与所述一帧图像相邻的 一帧图像的灰度差、雨滴的光学特性和色彩特性检测所述转换后的图像中的受 雨滴污染部分；(C3)将所述运动物体部分和所述受雨滴污染部分的重叠部分确 定为雨滴和运动物体重叠部分，并将所述受雨滴污染部分中除与所述运动物体 部分重叠之外的部分确定为纯雨滴部分。

可选地，步骤(C1)包括：(C11)基于色调分量和饱和度分量检测所述转 换后的图像中的运动物体的边缘；(C12)按照色彩特征将所述转换后的图像中 的像素点进行聚类，以将所述转换后的图像分割成多个块；(C13)将检测到的 运动物体的边缘所属的块内部的像素点标记为属于运动物体部分的像素点。

可选地，步骤(C11)包括：当所述转换后的图像中的像素点的度量函数值 大于预定阈值时，确定该像素点位于运动物体的边缘上，其中，度量函数F(x,y) 为：

$F(x,y)=\frac{1}{2}\left(\right|H_r(x,y)-H_b(x,y)|+|S_r(x,y)-S_b(x,y)\left|\right)\times \left|\right|{\stackrel{r}{I}}_r(x,y)-{\stackrel{r}{I}}_b(x,y)\left|\right|$

其中，H_r(x,y)指示像素点(x,y)的色调值，H_b(x,y)指示像素点(x,y)的背景色 调值，S_r(x,y)指示像素点(x,y)的饱和度值，S_b(x,y)指示像素点(x,y)的背景饱和 度值，指示像素点(x,y)的灰度值，指示像素点(x,y)的背景灰度值。

可选地，步骤(D)包括：将纯雨滴部分中的每个像素点的亮度值替换为： 所述一帧图像的前M帧图像至后M帧图像中的对应像素点的亮度值的加权平均 值，其中，M为大于0的整数；将雨滴和运动物体重叠部分中的每个像素点的 亮度值替换为：所述一帧图像的前一帧图像至后一帧图像中的各帧图像中的对 应像素点及对应像素点的相邻像素点的亮度值的加权平均值的平均值。

可选地，M＝3，其中，纯雨滴部分中的像素点(x,y)的亮度值通过下式计算得 到替换值：

$L(x,y,N)=\frac{\underset{t=N-3}{\overset{N+3}{\Sigma }}{F}_b\left(t\right)L(x,y,t)}{\underset{t=N-3}{\overset{N+3}{\Sigma }}{F}_b\left(t\right)}$

其中，N为所述一帧图像的帧序号，L(x,y,t)指示第t帧图像的像素点(x,y)的亮 度值，F_b(t)为加权系数矩阵，F_b(t)[1,2,4,0,4,2,1]。

可选地，雨滴和运动物体重叠部分中的像素点(x,y)的亮度值通过下式计算得 到替换值：

$L(x,y,N)=\frac{\underset{t=N-1}{\overset{N+1}{\Sigma }}\underset{(x,y)\in V}{\Sigma }{F}_m(x,y,t)L(x,y,t)}{\underset{t=N-1}{\overset{N+1}{\Sigma }}\underset{(x,y)\in V}{\Sigma }{F}_m(x,y,t)}$

其中，N为所述一帧图像的帧序号，L(x,y,t)指示第t帧图像的像素点(x,y)的 亮度值，V指示所述一帧图像的前一帧图像至后一帧图像中的与像素点(x,y)对应 的像素点及对应的像素点的相邻像素点所构成的域，F_m(x,y,t)为加权系数矩阵，

$F_m(x,y,t)=\left(\begin{array}{ccc}1& 2& 1\\ 2& 0& 2\\ 1& 2& 1\end{array}\right).$

根据本发明示例性实施例的修复在拍摄时受到雨滴干扰的视频图像的方 法，基于视频图像的HSL色彩空间和对运动目标的识别实现在高鲁棒性的前提 下提高修复视频图像的精度和效率。

将在接下来的描述中部分阐述本发明总体构思另外的方面和/或优点，还有 一部分通过描述将是清楚的，或者可以经过本发明总体构思的实施而得知。

附图说明

图1示出根据本发明示例性实施例的修复在拍摄时受到雨滴干扰的视频图 像的方法的流程图；

图2示出根据本发明示例性实施例的检测运动物体部分的方法的流程图。

具体实施方式

现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中， 相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例， 以便解释本发明。

图1示出根据本发明示例性实施例的修复在拍摄时受到雨滴干扰的视频图 像的方法的流程图。

参照图1，在步骤S10，接收基于RGB色彩空间的视频的一帧图像。

在步骤S20，将接收到的一帧图像转换成基于HSL色彩空间的图像。

具体说来，将接收到的基于RGB色彩空间的红色(R)分量、绿色(G) 分量和蓝色(B)分量表示的RGB图像转换成基于HSL色彩空间中的色调(H) 分量、饱和度(S)分量和亮度(L)分量表示的图像，以在HSL色彩空间下进 行雨滴的检测和去除。

可通过下式将基于RGB色彩空间的图像转换成基于HSL色彩空间的图像：

$L=\frac{1}{2}(\max +\min )---\left(3\right)$

其中，max指示R、G、B分量中的最大值，min指示R、G、B分量中的最 小值。

由于去除雨滴与雨滴的亮度特性有关，与雨滴的色调特性和饱和度特性无 关，因此，将RGB图像转换成基于HSL色彩空间的图像，就可仅针对雨滴的 亮度分量进行雨滴去除，并且可基于色调分量和饱和度分量进行运动目标的检 测，从而大大降低算法的复杂度，提高计算效率。

在步骤S30，基于色调分量和饱和度分量检测转换后的图像中的纯雨滴部分 以及雨滴和运动物体重叠部分。

在一个示例中，可首先基于色调分量和饱和度分量检测转换后的图像中的 运动物体部分。这里，可使用各种适合的方法基于色调分量和饱和度分量检测 转换后的图像中的运动物体部分。优选地，可通过图2所示的检测运动物体部 分的方法来实现。

然后，根据所述一帧图像和与所述一帧图像相邻的一帧图像的灰度差、雨 滴的光学特性和色彩特性检测所述转换后的图像中的受雨滴污染部分。

在一个示例中，可首先求得各像素点在连续两帧视频图像中的灰度差，当 一像素点的灰度差大于差值阈值时，则确定该像素点是候选的受雨滴污染的像 素点。这里，差值阈值大小的选取要使得所有被雨滴污染的像素点的灰度值的 变化都能够被检测出来。例如，差值阈值大小可取为3/255。

然后，基于雨滴的光学和色彩特性对候选的受雨滴污染的像素点进行进一 步的筛选，得到受雨滴污染的像素点，从而确定受雨滴污染部分。这些特性包 括：强度波动范围α，最大连通区域面积β以及RGB色彩分量的变化值等。例 如，将α的值在3/255-30/255之间，β的值在30-50个像素点之间，ΔR、ΔG和ΔB 近似相等的像素点确定为受雨滴污染的像素点，否则确定为非受雨滴污染的像 素点。这里，α和β的取值可根据雨滴的大小，视频帧的大小以及拍摄焦距等进 行设置。

将所述运动物体部分和所述受雨滴污染部分的重叠部分确定为雨滴和运动 物体重叠部分，所述运动物体部分中除与所述受雨滴污染部分重叠之外的部分 确定为纯运动物体部分，并将所述受雨滴污染部分中除与所述运动物体部分重 叠之外的部分确定为纯雨滴部分，从而检测出纯雨滴部分、雨滴和运动物体重 叠部分、纯运动物体部分。

换言之，结合运动物体部分和受雨滴污染部分得到他们的交集作为雨滴和 运动物体重叠部分，运动物体部分除该交集之外的部分为纯运动物体部分，受 雨滴污染部分除该交集之外的部分为纯雨滴部分。

应该理解，也可使用其他适合的方法基于色调分量和饱和度分量检测转换 后的图像中的纯雨滴部分以及雨滴和运动物体重叠部分。

在步骤S40，基于亮度分量分别对纯雨滴部分以及雨滴和运动物体重叠部分 进行雨滴去除。

由于纯运动物体部分没有受到雨滴的污染，亮度值保持不变，因此，只需 基于亮度分量分别对纯雨滴部分以及雨滴和运动物体重叠部分进行雨滴去除即 可。

在一个示例中，可将纯雨滴部分中的每个像素点的亮度值替换为：所述一 帧图像的前M帧图像至后M帧图像中的对应像素点的亮度值的加权平均值，其 中，M为大于0的整数。即，可通过时域空间中的前后M帧中的该像素点的亮 度值的加权平均值来代替纯雨滴部分中的该像素点的亮度值。

将雨滴和运动物体重叠部分中的每个像素点的亮度值替换为：所述一帧图 像的前一帧图像至后一帧图像中的各帧图像中的对应像素点及对应像素点的相 邻像素点的亮度值的加权平均值的平均值。对于雨滴与运动物体重叠部分中的 像素点的亮度值，由于帧之间的时域相关性并不大，反而空间相关性更大，所 以时域上可仅仅选取前后各一帧取平均，而分别在每一帧中进行该像素点及该 像素点的相邻像素点的加权平均，从而综合时空相关性进行雨滴的去除。

例如，M＝3，其中，纯雨滴部分中的像素点(x,y)的亮度值可通过下式计算得 到替换值：

$L(x,y,N)=\frac{\underset{t=N-3}{\overset{N+3}{\Sigma }}{F}_b\left(t\right)L(x,y,t)}{\underset{t=N-3}{\overset{N+3}{\Sigma }}{F}_b\left(t\right)}---\left(4\right)$

其中，N为所述一帧图像的帧序号，L(x,y,t)指示第t帧图像的像素点(x,y)的亮 度值，F_b(t)为加权系数矩阵，F_b(t)[1,2,4,0,4,2,1]。

雨滴和运动物体重叠部分中的像素点(x,y)的亮度值可通过下式计算得到替 换值：

$L(x,y,N)=\frac{\underset{t=N-1}{\overset{N+1}{\Sigma }}\underset{(x,y)\in V}{\Sigma }{F}_m(x,y,t)L(x,y,t)}{\underset{t=N-1}{\overset{N+1}{\Sigma }}\underset{(x,y)\in V}{\Sigma }{F}_m(x,y,t)}---\left(5\right)$

其中，N为所述一帧图像的帧序号，L(x,y,t)指示第t帧图像的像素点(x,y)的 亮度值，V指示所述一帧图像的前一帧图像至后一帧图像中的与像素点(x,y)对应 的像素点及对应的像素点的相邻像素点所构成的域，F_m(x,y,t)为加权系数矩阵， $F_m(x,y,t)=\left(\begin{array}{ccc}1& 2& 1\\ 2& 0& 2\\ 1& 2& 1\end{array}\right).$

在步骤S50，将去除雨滴后的图像转换成基于RGB色彩空间的图像并输出。 即，将完成去雨处理的HSL图像再转换成RGB图像以输出。

图2示出根据本发明示例性实施例的检测运动物体部分的方法的流程图。 可在执行步骤S30时执行。

如图2所示，在步骤S301，基于色调分量和饱和度分量检测所述转换后的 图像中的运动物体的边缘。

由于雨滴下落速度较快，在正常曝光速度下，图像上基本观测不到球形的 雨滴，而是雨滴由于快速运动所形成的雨线。在自然环境下，式(6)可描述雨 滴的物理成像过程，并可定量地描述雨滴下落时产生的模糊：

I_r(x,y)αI_E(x,y)+(1-α)I_b(x,y)                (6)

其中，I_r(x,y)指示像素点(x,y)的灰度值，I_E(x,y)指示在曝光时间T内，假设 雨滴一直覆盖在像素点(x,y)所形成的等效理想灰度值，I_b(x,y)指示像素点(x,y)的 背景灰度值，即，没有被雨滴污染时的灰度值，ατ/T，表示雨滴下落经过像 素点(x,y)所需的时间与曝光时间的比值。

自然光线是由不同频率的光混合而成的，因此雨滴成像的光学模型在基于 任一颜色分量的通道内仍然成立。即，式(6)中各个变量用其在R、G、B三 个通道的分量表示后仍然成立。将三个分量用矢量表示为：

${\stackrel{r}{I}}_r(x,y)=\alpha {\stackrel{r}{I}}_E(x,y)+(1-\alpha ){\stackrel{r}{I}}_b(x,y)---\left(7\right)$

$\left(\begin{array}{c}{R}_r(x,y)=\alpha I_E(x,y)+(1-\alpha )R_b(x,y)\\ G_r(x,y)=\alpha I_E(x,y)+(1-\alpha )G_b(x,y)\\ B_r(x,y)=\alpha I_E(x,y)+(1-\alpha )B_b(x,y)\end{array}\right)---\left(8\right)$

其中，R_r(x,y)指示像素点(x,y)的R分量值，G_r(x,y)指示像素点(x,y)的G分 量值，B_r(x,y)指示像素点(x,y)的B分量值，R_b(x,y)指示像素点(x,y)的背景R分 量值(即，没有被雨滴污染时的R分量值)，G_b(x,y)指示像素点(x,y)的背景G 分量值(即，没有被雨滴污染时的G分量值)，B_b(x,y)指示像素点(x,y)的背景B 分量值(即，没有被雨滴污染时的B分量值)。

由于雨滴下落速度较快，所以ατ/T趋近于零，α/(1-α)趋近于零，由式(1)、 式(2)、式(3)以及式(8)联合可知，受雨滴污染的像素点中，H_r-H_b和S_r-S_b趋近零，即受雨滴污染的像素点的色调值和饱和度值与该像素点没有受雨滴污 染时的色调值(即，背景色调值)和饱和度值(即，背景饱和度值)相比变化 较小。而对于运动物体的边缘上的像素点来说，色调值和饱和度值会发生比较 明显的变化。

由于受雨滴污染的像素点的色调值与背景色调值相比变化较小，而运动物 体的边缘上的像素点的色调值变化较大。但由于受不同视频质量以及远景雨雾 形成的模糊效应的影响，无法获得准确的受雨滴污染的像素点的色调值和背景 色调值，因此单一使用色调值无法准确地检测出运动物体的边缘，需要结合饱 和度值以及灰度值来构造度量函数。

因此，可构造度量函数F(x,y)为：

$F(x,y)=\frac{1}{2}\left(\right|H_r(x,y)-H_b(x,y)|+|S_r(x,y)-S_b(x,y)\left|\right)\times \left|\right|{\stackrel{r}{I}}_r(x,y)-{\stackrel{r}{I}}_b(x,y)\left|\right|---\left(9\right)$

其中，H_r(x,y)指示像素点(x,y)的色调值，H_b(x,y)指示像素点(x,y)的背景色 调值，S_r(x,y)指示像素点(x,y)的饱和度值，S_b(x,y)指示像素点(x,y)的背景饱和 度值，指示像素点(x,y)的灰度值，指示像素点(x,y)的背景灰度值。

应该理解，像素点(x,y)的背景色调值可通过该像素点没有被雨滴污染的相 邻帧中该像素点的色调值获得，像素点的背景饱和度值和背景灰度值也可通过 相应的方式获得。

由于雨滴的色彩特性，受雨滴污染的像素点的度量函数值趋近于零，而运 动物体的边缘上的像素点由于色调值和饱和度值都会发生比较明显变化，因此， 度量函数值是一个比较大的值。因此，可设置一个阈值来筛选出运动物体的边 缘上的像素点。即当所述转换后的图像中的像素点的度量函数值大于预定阈值 时，确定该像素点位于运动物体的边缘上。

在步骤S302，按照色彩特征将所述转换后的图像中的像素点进行聚类，以 将所述转换后的图像分割成多个块。

在步骤S303，将检测到的运动物体的边缘所属的块内部的像素点标记为属 于运动物体部分的像素点。即，采用彩色聚类图像分割方法来确定运动物体部 分。

此外，根据本发明的示例性实施例的上述方法可以被实现为计算机程序， 从而当运行该程序时，实现上述方法。

根据本发明示例性实施例的修复在拍摄时受到雨滴干扰的视频图像的方 法，基于视频图像的HSL色彩空间和对运动目标的识别实现在高鲁棒性的前提 下提高修复视频图像的精度和效率。

虽然已表示和描述了本发明的一些示例性实施例，但本领域技术人员应该 理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情 况下，可以对这些实施例进行修改。