基于相位一致性和场景运动估计的微光视频去噪方法

摘要

本发明公开了一种基于相位一致性和场景运动估计的微光视频去噪方法，首先根据相位一致性方法求取待配准图像和参考图像的边缘图像，然后根据基于场景配准方法将边缘图像进行配准，再将配准后的两图像做差，求出运动目标对应像素，进而对所有运动目标对应像素进行运动估计，由此找出待配准图像与参考图像之间所有像素点的对应关系，最后将两图像之间所有对应像素进行加权平均，完成后输出去噪的图像。本发明能够有效保证配准精度，以达到较好的去噪效果，尤其对含有大量噪声的微光视频图像去噪效果明显。

说明书

技术领域

本发明属于微光视频图像去噪技术领域，特别是一种基于相位一致性和场景运动估计的微光视频去噪方法。

背景技术

图像去噪处理是图像处理领域中一项基本技术。对于数字图像去噪，国内外已经有了大量的研究成果，其研究热点着重于两个方面：基于空间域和基于变换域的去噪算法。其中空间域去噪是对带噪图像的像素点直接进行处理，常见的方法有均值滤波、中值滤波以及多种改进的空间域去噪方法(见文献1：张旭明，徐滨士，董世运.用于图像处理的自适应中值滤波[J].计算机辅助设计与图形学学报，2005，Vol.17，No.2.295-299)。但是由于是对带噪图像的像素点直接进行处理，考虑图像中的边缘结构特征较少，所以在降噪的同时使图像产生较为严重的模糊。而变换域滤波的基本思想是先将带噪图像从空域转换到变换域，在变换域采用恰当的滤波方法滤除噪声，然后将处理过的变换域信息经反变换得到空域的结果(见文献2：谢杰成，张大力，徐文立.小波图象去噪综述[J].中国图象图形学报，2002，Vol.7，No.3.210-216)。但基于变换域的方法往往算法复杂度较高，处理时间过长。

由于视频序列是由时间轴上的若干静态图像组成，在连续帧间具有大量的时间相关性，因此对微光视频序列进行降噪，除了要关注其单帧图像的空间相关性，还要对时域的处理给以一定的关注。现有的时域滤波一般分为带运动估计和不带运动估计两大类。不带运动估计的方法对于运动缓慢的微光视频序列有较好的效果，而对于微光视频序列中剧烈运动部分则会有过平滑的效果，容易造成运动目标模糊，边缘拖尾等现象(见文献3：唐权华.视频时空联合模型与去噪研究[D].四川：西南交通大学，2010)。而基于运动估计的自适应滤波算法则可以最大程度的解决这个问题，然而，由于噪声对时域相关性的影响，要实现快速并且准确的运动估计仍有很多问题需要解决。

因为微光视频是在极低的光照下拍摄的视频，所以微光视频图像相比常见视频图像最大的区别在于前者含有大量噪声。大量的噪声不仅会造成图像细节无法分辨，也会导致后期难以进行精确的图像配准和运动估计。因此，要实现高质量的微光视频去噪的一个关键问题就是如何对包含大量噪声的运动场景中每一个像素点进行准确的运动估计。因为错误的运动估计会直接导致滤波后目标模糊或产生拖尾现象。然而，目前传统的运动估计方法，通常需要对图像里所有像素进行运动估计运算，这样做往往需要花费很长的时间。

发明内容

本发明的目的在于提供一种基于相位一致性和场景运动估计的微光视频去噪方法，以提高微光视频去噪的速度与去噪后图像质量。

实现本发明目的的技术解决方案为：一种基于相位一致性和场景运动估计的微光视频去噪方法，步骤如下：

步骤一，读入视频第一帧图像，然后输出，并作为待配准图像I_i-1；

步骤二，读入视频第二帧图像，作为参考图像I_i；

步骤三，根据相位一致性方法求取待配准图像I_i-I和参考图像I_i的边缘图像PC_i-1和PC_i；

步骤四，根据基于场景配准方法将边缘图像PC_i-1对PC_i进行配准；

步骤五，将配准后的图像I′_i-1和I_i做差，求出运动目标对应像素；

步骤六，对运动目标对应像素进行运动估计，由此找出待配准图像与参考图像之间所有像素点的对应关系；

步骤七，将步骤六运动估计得到的图像I″_i-1与I_i之间所有对应像素进行加权平均，完成后输出去噪后的第i帧图像I_fusion；

步骤八，读入下一帧图像作为参考图像，将上一帧输出的图像I_fusion作为待配准图像，循环操作第三步到第八步，直至完成视频所有帧图像的去噪。

本发明与现有技术相比，其显著优点为：(1)利用相位一致性原理求取图像的边缘，然后根据边缘图像进行场景配准，能够避免光强变化对图像配准的影响，有效保证场景配准精度，以达到较好的去噪效果，尤其对含有大量噪声的微光视频图像去噪效果明显。(2)采用先场景配准，后运动估计的策略对微光视频图像中所有像素进行配准，在防止去噪后图像拖尾的同时，降低了运动估计的数据量，极大的提高了去噪算法的效率。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明基于相位一致性和场景运动估计的微光视频去噪方法的流程示意图。

图2(a)表示的是第10帧图像，图2(b)表示的是去噪后的第9帧图像。图2(c)、2(d)分别表示的是根据相位一致性求出的图2(a)和图2(b)的边缘图像，图2(e)表示的是根据场景配准原理求出的图2(c)和图2(d)的匹配程度函数图，图2(f)表示的是最终去噪后的第10帧图像。

图3(a)、图3(b)、图3(c)分别表示的是高噪声情况下去噪前微光视频中第10帧、第50帧、第200帧的原始图像，图3(d)、图3(e)、图3(f)分别表示的是高噪声情况下去噪后微光视频中第10帧、第50帧、第200帧的图像。

图4(a)、图4(b)、图4(c)分别表示的是中等噪声情况下去噪前微光视频中第10帧、第50帧、第200帧的原始图像，图4(d)、图4(e)、图4(f)分别表示的是中等噪声情况下去噪后微光视频中第10帧、第50帧、第200帧的图像。

图5(a)、图5(b)、图5(c)分别表示的是低噪声情况下去噪前微光视频中第10帧、第50帧、第200帧的原始图像，图5(d)、图5(e)、图5(f)分别表示的是低噪声情况下去噪后微光视频中第10帧、第50帧、第200帧的图像。

具体实施方式

结合图1，本发明基于相位一致性和场景运动估计的微光视频去噪方法，首先根据相位一致性方法求取待配准图像和参考图像的边缘图像，然后根据基于场景配准方法将边缘图像进行配准，再将配准后的两图像做差，求出运动目标对应像素，进而对所有运动目标对应像素进行运动估计，由此找出待配准图像与参考图像之间所有像素点的对应关系，最后将两图像之间所有对应像素进行加权平均，完成后输出。流程示意图如图1所示，具体实现步骤如下：

步骤一：读入视频第一帧图像，然后输出，并作为待配准图像I_i-1。

步骤二：读入视频第二帧图像，作为参考图像I_i。

步骤三：根据相位一致性方法求取待配准图像I_i-1和参考图像I_i的边缘图像PC_i-1和PC_i。根据相位一致性方法求取边缘图像的公式为：

F_I＝fft2(I_i)

$>I_{Gr}^n=re\left[ifft2(F_I·G^n)\right]$>

$>I_{GHr}^n=re\left[ifft2(F_I·G^n·H)\right]$>

$>I_{GHi}^n=im\left[ifft2(F_I·G^n·H)\right]$>

$>A^n=\sqrt{{\left(I_{Gr}^n\right)}^2+{\left(I_{GHr}^n\right)}^2+{\left(I_{GHi}^n\right)}^2}$>

$>E_{Gr}=\underset{n}{\Sigma }{I}_{Gr}^n$>

$>E_{GHr}=\underset{n}{\Sigma }{I}_{GHr}^n$>

$>E_{GHi}=\underset{n}{\Sigma }{I}_{GHi}^n$>

$>A_{sum}=\underset{n}{\Sigma }{A}^n$>

$>E_{sum}=\sqrt{{\left(E_{Gr}\right)}^2+{\left(E_{GHr}\right)}^2+{\left(E_{GHi}\right)}^2}$>

其中，I_i为第i帧输入的参考图像，F_I为输入图像I的频谱，fft2(·)表示做二维快速傅立叶变换，为输入的图像I经过尺度n下的Gabor滤波器滤波后的结果的实部，Gⁿ为尺度n下的Gabor滤波器，ifft2(·)表示做逆二维快速傅立叶变换，re[·]表示取实部，和分别表示输入的图像I经过尺度n下的Gabor滤波器和Hilbert滤波器滤波后的结果的实部和虚部，H为Hilbert滤波器，im[·]表示取虚部，Aⁿ为图像I在尺度n下的幅值，E_Gr，E_GHr和E_GHi分别为图像I在不同滤波器下的局部能量，A_sum为图像I在所有尺度下的幅值的总和，E_sum为图像I所有局部能量的总和，PC_i为第i帧根据相位一致性求取的边缘图像，W为频率传播加权系数，为一个数学运算符，当所求值为正时最终结果取自身，否则为0；T为噪声强度阈值，只有能量值超过噪声阈值T才被计入结果内(经验上T的取值范围为[1，5]，本发明中T＝2)；ε为一个很小的常量(本发明中ε＝0.0001)，以避免分母为0。

步骤四：根据基于场景配准方法对边缘图像PC_i-1对PC_i进行配准。基于场景配准方法的公式为：

F_i-1＝fft2(PC_i-1)

F_i＝fft2(PC_i)

$>F_{cor}=\frac{F_{i-1}·F_i^{*}}{|F_{i-1}·F_i^{*}|}$>

C＝fft2(F_cor)

[Row_C，Col_C]＝find_max(C)

$>\Delta x=\left(\begin{array}{cc}N/2+1-{\mathrm{Col}}_C& ,max\left(\right|C\left|\right)>20·mean\left(\right|C\left|\right)\\ 0& ,else\end{array}\right)$>

$>\Delta y=\left(\begin{array}{cc}M/2+1-{\mathrm{Row}}_C& ,max\left(\right|C\left|\right)>20·mean\left(\right|C\left|\right)\\ 0& ,else\end{array}\right)$>

I′_i-1＝TR_C[I_i-1，Δx，Δy]

其中，PC_i-1和PC_i分别表示第i-1和i帧根据相位一致性求取的边缘图像，F_i-1和F_i分别表示边缘图像PC_i-1和PC_i的频谱，F_i^*为频谱F_i的复共轭频谱，|·|表示取绝对值，F_cor为频谱F_i-1和F_i^*的协方差，C为边缘图像PC_i-1和PC_i的匹配程度函数，find_max(·)表示求出矩阵中最大值对应的行数和列数，Row_C和Col_C分别为矩阵C中最大值对应的行数和列数，Δx和Δy分别为求出的x和y方向的偏移量，N和M分别为图像I_i在x和y方向上的像素个数，max(·)表示求矩阵的最大值，mean(·)表示求矩阵的平均值，TR_C[I_i-1，Δx，Δy]表示根据偏移量Δx和Δy对图像I_i-1进行配准，I′_i-1为图像I_i-1配准后的结果。

步骤五：将配准后的图像I′_i-1和I_i做差，求出运动目标对应像素。

步骤六：对所有运动目标对应像素进行运动估计，由此找出待配准图像与参考图像之间所有像素点的对应关系。进行运动估计的公式为：

$>S(i,j)=\underset{x=1}{\overset{N}{\Sigma }}\underset{y=1}{\overset{M}{\Sigma }}|I_i(x,y)-I_{i-1}^{\prime }(x+i,y+j)|$>

[Row_S，Col_S]＝find_max(S)

$>\Delta i=\left(\begin{array}{cc}N/2+1-{\mathrm{Col}}_S& ,max\left(\right|S\left|\right)>20·mean\left(\right|S\left|\right)\\ 0& ,else\end{array}\right)$>

$>\Delta j=\left(\begin{array}{cc}M/2+I-{\mathrm{Row}}_S& ,max\left(\right|S\left|\right)>20·mean\left(\right|S\left|\right)\\ 0& ,else\end{array}\right)$>

I″_i-1＝TR_S[I′_i-1，Δi，Δj]

其中，(x，y)为图像中的x和y方向上的坐标，S为图像I_i和I_i-1的运动估计函数，(i，j)为运动估计函数S中在x和y方向上的坐标，∑表示进行求和运算，Row_S和Col_S分别为矩阵S中最大值对应的行数和列数，Δi和Δj分别为求出的x和y方向上的运动估计量，TR_S[I′_i-1，Δi，Δj]表示根据运动估计量Δi和Δj对图像I_i-1进行运动估计，I_i-1为图像I_i-1运动估计后的结果。

步骤七：将步骤六运动估计得到的图像I″_i-1与I_i之间所有对应像素进行加权平均，完成后输出去噪后的第i帧图像I_fusion。进行加权平均的公式为：

$>I_{fusion}(x,y)=I_{i-1}^{\prime \prime }(x,y)·(\frac{1}{2}-\frac{|I_{i-1}^{\prime \prime }(x,y)-I_i(x,y)|}{2·|I_{i-1}^{\prime \prime }(x,y)+I_i(x,y)|})+I_i(x,y)·(\frac{1}{2}-\frac{|I_{i-1}^{\prime \prime }(x,y)-I_i(x,y)|}{2·|I_{i-1}^{\prime \prime }(x,y)+I_i(x,y)|})$>

其中，I_fusion表示去噪后的第i帧图像，I_fusion(x，y)表示去噪后的第i帧图像中坐标(x，y)处的灰度值，I_i-1表示第i-1帧图像I_i-1经过配准和运动估计后的图像，I_i表示第i帧图像，I″_i-1(x，y)和I_i(x，y)分别表示图像I″_i-1和I_i中坐标(x，y)处的灰度值。

步骤八：读入下一帧(第三帧)图像作为参考图像，将上一帧输出的图像I_fusion作为待配准图像，循环操作第三步到第八步，直至完成视频所有帧图像的去噪。

通过上述步骤可以看出，本发明能够有效保证配准精度，以达到较好的去噪效果，尤其对含有大量噪声的微光视频图像去噪效果明显。此外无需对整幅图像所有像素进行运动估计，只需要对运动目标对应像素进行运动估计，在保持较好的去噪效果前提下，显著提高去噪处理速度，特别适用于微光视频中出现场景大范围运动的情况。

为了测试基于相位一致性和场景运动估计的微光视频去噪方法的去噪效果，我们分别对3段不同噪声程度下的微光视频进行了去噪实验。实验中，微光视频图像大小为576行768列，微光视频速率为30FPS。以低噪声情况下微光视频为例，取第10帧图像为当前帧时(如图2(a)所示)，去噪后的第9帧图像则为前一帧(如图2(b)所示)。根据相位一致性求出的这两幅图像的边缘图像如图2(c)和2(d)所示。根据场景配准原理求出的两幅边缘图像的匹配程度函数图如图2(e)所示，最终去噪后的第10帧图像如图2(f)所示。从图2(a)和图2(b)中可以看出，第10帧图像相对于第9帧图像向左移动了几个像素的距离。从图2(c)和图2(d)中可以看出，利用相位一致性原理可以精确的求出图像中的边缘信息。从图2(e)中可以看出，利用场景配准原理求出的匹配程度函数包含一个明显的最大值，这个最大值所在的坐标到图像中心的距离就是所要求的配准参数。相比于图2(a)，图2(f)更加清晰，图像中的目标信息更容易分辨，说明本方法能够实现很好的微光视频去噪效果。

图3(a)、图3(b)、图3(c)分别表示的是高噪声情况下去噪前微光视频中第10帧、第50帧、第200帧的原始图像，图3(d)、图3(e)、图3(f)分别表示的是高噪声情况下去噪后微光视频中第10帧、第50帧、第200帧的图像。图4(a)、图4(b)、图4(c)分别表示的是中等噪声情况下去噪前微光视频中第10帧、第50帧、第200帧的原始图像，图4(d)、图4(e)、图4(f)分别表示的是中等噪声情况下去噪后微光视频中第10帧、第50帧、第200帧的图像。图5(a)、图5(b)、图5(c)分别表示的是低噪声情况下去噪前微光视频中第10帧、第50帧、第200帧的原始图像，图5(d)、图5(e)、图5(f)分别表示的是低噪声情况下去噪后微光视频中第10帧、第50帧、第200帧的图像。比较去噪前后的微光图像，明显可以看出去噪后微光图像的清晰度远高于原始的微光图像。由此可以看出本方法基于相位一致性和场景运动估计的微光视频去噪方法的优越性。