在时域噪声滤波中减少幻影伪像

摘要

一种数字视频序列的噪声滤波以减少幻影伪像的方法。所描述的方法的示例包括：基于参考帧计算针对数字视频序列的帧中的像素的运动值（302）；基于所述运动值计算针对每一个像素的混合因数（304）；通过应用混合因数到参考帧和所述帧中的对应的像素值产生经滤波的输出像素值（306）；其中，所选择的经滤波的输出像素值向帧中的对应的像素值收敛（例如，逐步或者快速）以减少幻影伪像（308）并且输出经滤波的帧（310）。还公开了用于对数字视频序列滤波以减少幻影伪像的噪声滤波器和数字系统。

说明书

背景技术

视频噪声滤波器已经变为消费类视频产品的区分点，因为噪声级别 是视频质量的关键因素之一。成像传感器（例如，蜂窝电话相机、视频 相机）拍摄的或者从模拟视频输入（例如，TV电缆、DVD/VCR）接收 的视频通常被大量的随机噪声污染。视频噪声滤波器可以提高视频质量、 编码效率，并且帮助进一步处理和分析，诸如增强、对象跟踪和识别。 此外，视频噪声滤波器可以应用于很多应用，诸如蜂窝电话相机、视频 监控和DVR等。

在很多应用中，视频噪声滤波器包括空间噪声滤波器（SNF）和时域 噪声滤波器（TNF）。一般地，对于视频噪声滤波，时域噪声滤波比空间 噪声滤波更有效，因为时域噪声滤波利用来自多个帧的信息。更普遍使 用的TNF中的一个是时域无限脉冲响应（IIR）滤波器，具有非常低的计 算复杂度并且利用来自全部先前帧的信息。然而，对视频序列使用时域 IIR噪声滤波器可能导致幻影伪像（ghosting artifacts），其在视频序列的 运动区域中引发粘滞轮廓（sticky contour），特别是在高滤波器强度下。 如果视频序列中的对象在运动并且当对象运动了时对象的轮廓即边缘在 以前位置保持可见，则出现粘滞轮廓。例如，如果框从左向右运动，则 粘滞轮廓可以被作为在运动的框的左边的很多竖直线看见。这些可见轮 廓可以被称为幻影伪像。运动自适应时域IIR噪声滤波器可以通过根据视 频序列的运动幅度自动调整滤波器强度来减少幻影伪像。然而，尽管通 过这种自动调整，一些幻影伪像不随着时间衰退。因此，期望时域噪声 滤波的改进。

附图说明

以下参照附图描述根据本发明原理的示例性实施例，在附图中：

图1示出根据本发明的一个或者更多个实施方式的数字系统的框图；

图2A示出根据本发明的一个或者更多个实施方式的包括时域噪声 滤波器的噪声滤波器的框图；

图2B—图2D示出根据本发明的一个实施方式的运动—混合因数函 数；

图3—图6示出根据本发明的一个或者更多个实施方式的方法流程 图；以及

图7到图9示出根据本发明的一个或者更多个实施方式的示例性数 字系统。

具体实施方式

例示本发明的原理的示例实施方式被描述为用于实现以提供用于在 数字视频序列的时域噪声滤波中减少幻影伪像的方法和系统。更具体地， 所描述的实施方式减少由于对视频序列的帧应用运动自适应时域无限脉 冲响应（IIR）噪声滤波器而可能引入的幻影伪像。例如，在运动自适应 时域IIR滤波器中，输出帧[Y₀(x,y,n),U₀(x,y,n),V₀(x,y,n)]是滤波器的输入 帧[Yc(x,y,n),Uc(x,y,n),Vc(x,y,n)]和滤波器的先前输出帧即参考帧 （reference frame）[Y₀(x,y,n-1),U₀(x,y,n-1),V₀(x,y,n-1)]的加权平均：

Y_o(x,y,n)=a(x，y，n)Y_c(x，y，n)+(1-a(x,y,n))Y_o(x,y,n-1)；

U_o(x,y,n)=a(x,y,n)U_c(x，y，n)+(1-a(x，y，n))U_o(x,y,n-1)；

V_o(x,y,n)=a(x，y，n)V_c(x，y，n)+(1-a(x,y,n))V_o(x,y,n-1)；

其中x和y是空间坐标，n是时域坐标，即，帧索引，Y、U、V是 视频序列的三个彩色通道，并且a(x,y,n)是被运动值m(x,y,n)控制的混合 因数。

针对像素的运动值m(x,y,n)是L1距离，即，针对全部三个彩色通道 的当前输入帧和参考帧之间的绝对差之和：

m(x，y，n)=|Y_c(x,y,n)-Y_o(x,y,n-1)|+|U_c(x，y，n)-U_o(x,y,n-1)|+|V_c(x,y,n)-V_o(x,y,n-1)|.

如果运动值小，指示像素在此位置对齐的好，则强的时域滤波器被应用。

如果运动值大，指示像素在此位置对齐的不好，则弱的时域滤波器被应 用。因而，针对x、y处的每一个像素的混合因数是在该像素位置的运动 m的函数：

a(x，y，n)＝a₀+(1-a₀)m(x,y,n)/T_m  if m(x，y，n)＜T_m；

=1                                  else；

其中，T_m和a₀是时域滤波器的输入参数。以下更详细说明这些参数。T_m的大值可能造成幻影伪像。

理想地，输出像素值[Y₀(x,y,n),U₀(x,y,n),V₀(x,y,n)]总接近当前输入值 [Yc(x,y,n),Uc(x,y,n),Vc(x,y,n)]。然而，在通常的定点实现中，输入和输 出像素值是整数。在这种情况下，可能发生以下数值问题。考虑Y通道。 如果全部像素值是整数，则输出帧的Y通道是加权平均的舍入值：

Y_o(x,y,n)＝round(a(x,y,n)Y_c(x,y,n)+(1-a(x,y,n))Y_o(x,y,n-1))；

=round(Y_o(x,y,n-1)+a(x，y，n)(Y_c(x，y，n)-Y_o(x,y,n-1)))；

=Y_o(x,y,n-1)+round(a(x,y,n)(Y_c(x,y,n)-Y_o(x,y,n-1))).

如果|Yc(x,y,n)-Y₀(x,y,n-1)|小并且a(x,y,n)也小，则 |a(x,y,n)(Yc(x,y,n)-Y0(x,y,n-1))|将小于1/2。在这种情况下，输出像素值 Y₀(x,y,n)等于先前输出像素值Y₀(x,y,n-1)。如果在这些像素位置出现幻影 伪像，则伪像将保留，只要条件继续被满足。可见地，在视频序列的运 动区域中的粘滞轮廓将被观察到。同样的结论应用于U和V通道。

在本发明的一个或者更多个实施方式中，所选择的混合因数被修改， 以补偿这个状况因而减少幻影伪像的出现。在本发明的一些实施方式中， 在进行了加权平均之后进行后处理，以补偿这种状况因而减少幻影伪像 的出现。

图1示出根据本发明的一个或者更多个实施方式的数字系统的框图。 数字系统被配置为对数字视频序列进行时域噪声滤波。该系统包括源数 字系统200，其经过通信信道218向目的地数字系统202发送编码的视频 序列。源数字系统200包括视频拍摄组件204、视频噪声滤波器组件206、 视频编码器组件208和发送器组件210。视频拍摄组件204被配置为提供 在被视频编码器组件208编码之前被视频噪声滤波器组件206滤波的视 频序列。视频拍摄组件204可以是例如成像传感器、视频相机、视频档 案或者来自视频内容提供商的视频馈送。在本发明的一些实施方式中， 视频拍摄组件204可以产生计算机图形作为视频序列，或者现场视频和 计算机产生的视频的组合。

视频噪声滤波器组件206从视频拍摄组件接收视频序列并且对视频 序列的帧进行噪声滤波，包括此处描述的减少幻影伪像的时域噪声滤波 的方法的实施方式，以产生滤去噪声的视频序列。在本发明的一些实施 方式中，视频噪声滤波器组件206可以包括以下参照图2A描述的功能/ 组件。

视频编码器组件208从视频噪声滤波器组件206接收滤去噪声的视 频序列并且将其编码以便被发送组件210发送。一般地，视频编码器组 件208经由视频噪声滤波器组件206从视频拍摄组件204接收滤去噪声 的视频序列作为帧序列，将帧划分为编码单元，该编码单元可以是整个 帧或者帧的一部分，将编码单元划分为像素块，并且基于这些块对编码 单元中的视频数据编码。

发送器组件210经过通信信道218向目的地数字系统202发送经编 码的视频数据。通信信道218可以是任意通信介质，或者适用于传送经 编码的视频序列的通信介质的组合，诸如，例如有线或者无线通信介质、 局域网或者广域网。

目的地数字系统202包括接收器组件212、视频解码器组件214和显 示组件216。接收器组件212经过通信信道218从源数字系统200接收经 编码的视频数据，并且向视频解码器组件214提供经编码的视频数据以 便解码。一般地，视频解码器组件214反转由视频编码器组件208进行 的编码处理以重构视频序列的帧。可以接着在显示组件216上显示经重 构的视频序列。显示组件216可以是任意适当的显示设备，诸如，例如， 等离子体显示器、液晶显示器（LCD）、发光二极管（LED）显示器等。

在本发明的一些实施方式中，源数字系统200还可以包括接收器组 件和视频解码器组件和/或目的地数字系统202可以包括发送器组件和视 频编码器组件用于针对视频流、视频广播和视频电话的双向视频序列传 送。此外，根据一个或者更多个视频压缩标准，诸如，例如，动态图像 专家组（MPEG）视频压缩标准，例如，MPEG-1、MPEG-2和MPEG-4； ITU-T视频压缩标准，例如，H.263和H.264；电影电视工程师协会 （SMPTE）421M视频CODEC标准（统称为“VC-1”）；由中国音频视频 编码工作组定义的视频压缩标准（统称为“AVS”）等，视频编码器组件 208和视频解码器组件214可以进行编码和解码。视频噪声滤波器组件 206、视频编码器组件208和视频解码器组件214可以以软件、固件和硬 件的任意适当组合实现，诸如，例如，一个或者更多个数字信号处理器 （DSP）、微处理器、分立逻辑器件、专用集成电路（ASIC）、现场可编 程门阵列（FPGA）等。

图2A示出根据本发明的一个或者更多个实施方式的噪声滤波器 200，例如，图1的视频噪声滤波器组件106的框图。噪声滤波器200被 配置为对视频序列上的帧进行空间滤波和时域滤波。输入帧中的像素值 和经滤波的输出帧中的像素值是整数值。时域滤波由运动自适应时域IIR 滤波器提供，该滤波器包括进行此处描述的幻影伪像减少。此外，在进 行空间滤波之后进行时域滤波。如图2所示，噪声滤波器200包括噪声 电平估计组件202、IIR滤波器组件220、空间滤波器组件204和用于时 域滤波的组件，即运动检测组件206、运动-混合因数转换组件218、帧混 合组件222和帧缓冲器208。

此外，T₀、β、T_m和a₀是噪声滤波器200的输入参数。T₀是空间滤 波器组件204的参数，其控制空间噪声滤波器的强度。越大的T₀值产生 越平滑的结果，而越小的值保留越多的细节。β是IIR滤波器220的参数， 其控制噪声电平多快地逐帧改变。T_m和a₀是针对时域滤波的输入参数。 T_m的值是运动阈值，并且用于控制时域噪声滤波器的强度。对于增大的 T_m值，帧中的平坦区域，即，没有纹路的区域，看上去更平滑，但是越 大T_m的值可能造成运动区域中的更多的幻影伪像。a₀的值也用于控制时 域噪声滤波器的强度。该值范围可以从0到1，其中当a₀接近0时滤波 器更强并且当a₀接近1时更弱。

噪声电平估计组件202估计输入帧中的噪声的电平。噪声估计针对 输入帧的每一个彩色通道，即，Y、U、V进行，并且可以在输入帧上逐 块或者逐行进行。可以使用任何适当的噪声估计技术进行噪声电平估计。 美国专利申请公布No.2009/0153739中描述了一些适当的技术。

IIR滤波器组件220对噪声电平估计组件202的输出应用低通IIR滤 波器以通过产生经滤波的噪声电平来控制噪声电平的变化速度。低通IIR 滤波器应用于每一个彩色通道的噪声电平。经滤波的噪声电平接着被提 供作为对运动-混合因数转换组件218的输入。此外，使用T₀缩放经滤波 的噪声电平以产生针对空间滤波器组件204的输入强度参数。

空间滤波器组件204对输入帧210的每一个彩色通道即Y、U、V进 行空间滤波，以产生经空间滤波的帧214。此外，空间滤波器可以逐块应 用或者逐行应用。经空间滤波的帧被提供作为对运动检测组件206和帧 混合组件222的输入。可以根据任何适当的空间滤波技术进行空间滤波。 美国专利申请公布No.2009/0153739中描述了一些适当的空间滤波技术。

帧缓冲器208存储噪声虑波器100的先前的输出帧。这些输出帧被 运动检测组件206和帧混合组件222用作参考帧。

运动检测组件206计算来自帧缓冲器208的参考帧和经空间滤波的 帧214之间的运动。基于三个彩色通道计算针对每一个像素的运动值 m(x,y,n)，其被计算为两个帧中的对应的像素之间的绝对差的和。

m(x，y，n)=|Y_c(x,y,n)-Y_o(x,y,n-1)|+|U_c(x,y,n)-U_o(x,y,n-1)|+|V_c(x,y,n)-V_o(x,y,n-1)|；

其中，[Y₀(x,y,n-1),U₀(x,y,n-1),V₀(x,y,n-1)]是参考帧，并且[Yc(x,y,n), Uc(x,y,n),Vc(x,y,n)]是经空间滤波的帧（214）。

运动-混合因数转换组件218使用来自噪声电平估计组件202的经滤 波的噪声估计和来自运动检测组件206的运动值计算针对每一个像素的 混合因数a(x,y,n)。更具体地，根据针对该像素的a₀、T_m和运动值计算像 素的混合因数。如先前说明的，a₀是对时域噪声滤波器的用于控制滤波 器的强度的输入参数。如果运动大，则该参数的值被设定为更接近0以 增大滤波器的强度；如果运动大，则该参数的值被设定为更接近1以减 小滤波器的强度。在本发明的一些实施方式中，该参数的值被用户设定。 在本发明的一些实施方式中，该参数的值由噪声电平估计组件202针对 三个彩色通道计算的噪声电平确定。美国专利申请公布No.2009/0153739 公开了基于估计的噪声电平设定该参数的值。以下更详细描述本发明的 各个实施方式中计算混合因数a(x,y,n)。

帧混合组件222使用由运动-混合因数转换组件218计算出的混合因 数a(x,y,n)、来自帧缓冲器208的参考帧和经空间滤波的帧214产生经滤 波的输出帧212。更具体地说，输出帧[Y₀(x,y,n),U₀(x,y,n),V₀(x,y,n)]212 的在三个彩色通道中的像素值被计算为参考帧[Y₀(x,y,n-1),U₀(x,y,n-1), V₀(x,y,n-1)]和经空间滤波的帧[Yc(x,y,n),Uc(x,y,n),Vc(x,y,n)]中的像素的 加权平均：

Y_o(x,y,n)=round(a(x,y,n)Y_c(x,y,n)+(1-a(x,y,n))Y_o(x,y,n-1))；

U_o(x,y,n)=round(a(x,y,n)U_c(x,y,n)+(1-a(x,y,n))U_o(x,y,n-1))；

V_o(x,y,n)＝round(a(x,y,n)V_c(x,y,n)+(1-a(x,y,n))V_o(x,y,n-1)).

在本发明的一个或者更多个实施方式中，运动-混合因数转换组件 218计算针对每一个像素的混合因数为：

a(x，y，n)=a₀+(1-a₀)m(x,y,n)/T_m  if m(x，y，n)＜T_m；

=1                               else.

如图2B所例示，针对位置x、y处的像素的混合因数a是在该像素位置 的运动m的函数。运动-混合因数函数a(m)可以实现为查找表，该查找表 针对每一个帧更新，因而不要求针对每一个像素的附加计算。表1例示 针对帧的查找表a(m)的创建的伪码。在伪码中，MAX_m是最大运动值。 在如上所示计算混合因数的本发明的实施方式中，帧混合组件（222）可 以对经滤波的输出帧（212）进行后处理以减少幻影伪像。

表1

在本发明的一些实施方式中，后处理是三个彩色通道中的输出像素 值的逐步收敛（step-wise convergence），如果输出像素值等于对应的先前 的输出像素值，即，对应的参考像素值，则将输出像素值向输入像素值 移动1。表2示出例示逐步收敛的伪码：

表2

在本发明的一些实施方式中，后处理是三个彩色通道中的输出像素 值的快速收敛（instant convergence），如果输出像素值等于对应的先前的 输出像素值，即，对应的参考像素值，则迫使输出像素值与输入像素值 相同。表3示出例示收敛的伪码：

表3

在本发明的一个或者更多个实施方式中，为了减少幻影伪像，运动- 混合因数转换组件218使用图2B的混合函数的修改来计算减少产生可能 导致粘滞轮廓的输出像素值的可能性的混合因数。如先前描述的，当在Y 通道中|a(x,y,n)(Yc(x,y,n)-Y₀(x,y,n-1))|<¹/₂时出现粘滞轮廓问题，并且类 似地对于其它通道也如此。

在本发明的一些实施方式中，混合函数被修改以便当条件 |a(x,y,n)(Yc(x,y,n)-Y₀(x,y,n-1))|<¹/₂（或者在其它彩色通道中类似条件） 可能出现时，使得输出像素值到输入像素值的逐步收敛。修改的目的是 当条件可能出现时计算混合因数，从而得到的输出像素值向输入像素值 移动1，即round(a(x,y,n)m(x,y,n))=1或者a(x,y,n)m(x,y,n)=1/2。由于 a(x,y,n)=a₀+(1-a₀)m(x,y,n)/T_m并且|Yc(x,y,n)-Y₀(x,y,n-1)|≈m(x,y,n)/3，以 上条件可以近似为：

|a(x，y，n)(Y_c(x，y，n)-Y_o(x,y,n-1))|=(a₀+(1-a₀)m(x，y，n)/T_m)m(x,y,n)/3＜1/2.

表4中示出例示针对包括将造成逐步收敛的混合因数的帧的查找表a(m) 的创建的伪码。图2C示出修改的运动-混合因数函数的示例。

表4

在本发明的一些实施方式中，混合函数被修改以造成输出像素值到 输入像素值的快速收敛。修改的目的是当条件|a(x,y,n)(Yc(x,y,n)- Y₀(x,y,n-1))|<¹/₂可能出现时，混合因数被计算从而得到的输出像素值与 输入像素值相同。表5中示出例示针对包括将造成快速收敛的混合因数 的帧的查找表a(m)的创建的伪码。图2D示出修改的运动-混合因数函数 的示例。

表5

上述减少幻影伪像的每一个方案具有类似效果：在应用时域噪声滤 波器之后将留下少量的噪声。使用逐步收敛的两个方案缓慢地去除幻影 但是留下较少的噪声。使用快速收敛的两个方案迅速地去除幻影但是留 下较多的噪声。在本发明的一些实施方式中，可以在噪声滤波器100中 实现全部四种方案或者其一些组合从而用户可以选择应用哪种。

图3是根据本发明的一个或者更多个实施方式在时域噪声滤波器中 减少幻影伪像的方法的流程图。如图3所示，该方法应用于视频序列中 的帧。初始地，在300，帧被接收。在本发明的一个或者更多个实施方式 中，空间滤波器应用于视频序列的原始帧从而接收到的帧是经空间滤波 的帧。任何适当的空间滤波器可以被使用。在本发明的一些实施方式中， 接收到的帧是原始帧。

在302，基于参考帧计算针对帧中的每一个像素运动值。在本发明的 一个或者更多个实施方式中，参考帧是通过对视频序列中正被处理的帧 之前紧邻的帧应用方法而产生的先前滤波的帧。在本发明的一些实施方 式中，基于三个彩色通道计算针对每一个像素的运动值m(x,y,n)为两个帧 中的对应的像素之间的绝对差的和。

m(x，y，n)=|Y_c(x,y,n)-Y_o(x,y,n-1)|+|U_c(x,y,n)-U_o(x,y,n-1)|+|V_c(x,y,n)-V_o(x,y,n-1)|：

其中，[Y₀(x,y,n-1),U₀(x,y,n-1),V₀(x,y,n-1)]是参考帧，并且[Yc(x,y,n), Uc(x,y,n),Vc(x,y,n)]是当前帧。

在304，接着基于针对像素计算的运动值针对每一个像素计算混合因 数。根据针对该像素的a₀、T_m和运动值，计算针对每一个像素的混合因 数。在本发明的一个或者更多个实施方式中，针对每一个像素的混合因 数被计算为

a(x，y，n)=a₀+(1-a₀)m(x，y，n)/T_m    if m(x，y，n)＜T_m；

a(x，y，n)=1                         else.

在本发明的一些实施方式中，混合因数的计算是使用运动值作为索引的 表查找。表1示出例示这种表的创建的伪码。

在308，接着使用混合因数、该帧和参考帧计算经滤波的像素值。更 具体地说，输出帧[Y₀(x,y,n),U₀(x,y,n),V₀(x,y,n)]的像素值被计算为参考帧 [Y₀(x,y,n-1),U₀(x,y,n-1),V₀(x,y,n-1)]中的像素和对应的当前帧[Yc(x,y,n), Uc(x,y,n),Vc(x,y,n)]中的像素的加权平均：

Y_o(x，y，n)=round(a(x,y,n)Y_c(x，y，n)+(1-a(x，y，n))Y_o(x,y,n-1))；

U_o(x,y,n)＝round(a(x,y,n)U_c(x,y,n)+(1-a(x，y，n))U_o(x,y,n-1))；

V_o(x,y,n)=round(a(x,y,n)V_c(x,y,n)+(1-a(x,y,n))V_o(x,y,n-1)).

在308，所选择的输出帧中的经滤波的像素值接着向当前帧中的对应 的像素值逐步收敛以减少幻影伪像。更具体地，如果经滤波的像素值 Y₀(x,y,n),U₀(x,y,n),V₀(x,y,n)等于参考帧Y₀(x,y,n-1),U₀(x,y,n-1), V₀(x,y,n-1)中的对应的像素值，则经滤波的像素值Y₀(x,y,n),U₀(x,y,n), V₀(x,y,n)适当地递增或者递减一（1）以将经滤波的像素值Y₀(x,y,n), U₀(x,y,n),V₀(x,y,n)向当前帧中的对应的像素值Yc(x,y,n),Uc(x,y,n), Vc(x,y,n)移动。表2示出例示逐步收敛的伪码。

在310，得到的经滤波的帧接着被输出。在312，如果视频序列中的 最后帧已经被处理，则方法结束。否则，下一帧被处理。

图4是根据本发明的一个或者更多个实施方式在时域噪声滤波器中 减少幻影伪像的方法的流程图。如图4所示，该方法应用于视频序列中 的帧。步骤400-406与图3的步骤300-306相同。当在400-406计算了输 出帧的经滤波的像素值时，在408，输出帧中的所选择的经滤波的像素值 向当前帧中的对应的像素值快速收敛以减少幻影伪像。更具体地，如果 经滤波的像素值Y₀(x,y,n),U₀(x,y,n),V₀(x,y,n)等于参考帧Y₀(x,y,n-1), U₀(x,y,n-1),V₀(x,y,n-1)中的对应的像素值，则经滤波的像素值Y₀(x,y,n), U₀(x,y,n),V₀(x,y,n)在输出帧中被当前帧中的对应的像素值Yc(x,y,n), Uc(x,y,n),Vc(x,y,n)代替。表3示出例示快速收敛的伪码。得到的经滤波 的帧接着被输出410。如果视频序列中的最后帧已经被处理412，则方法 结束。否则，下一帧被处理。

图5是根据本发明的一个或者更多个实施方式在时域噪声滤波器中 减少幻影伪像的方法的流程图。如图5所示，该方法应用于视频序列中 的帧。步骤500和502与图3的步骤300-302相同。当计算了运动值时， 针对像素计算混合因数，从而所选择的混合因数a(x,y,n)造成使用混合因 数计算出的经滤波的输出像素值向当前帧506中的对应的像素值逐步收 敛。该收敛具有减少幻影伪像的效果。更具体地，除非条件 |a(x,y,n)(Yc(x,y,n)-Y₀(x,y,n-1))|<¹/₂或|a(x,y,n)(Uc(x,y,n)-U₀(x,y,n-1))|<¹/₂或 者|a(x,y,n)(Vc(x,y,n)-V₀(x,y,n-1))|<¹/₂可能出现，否则计算混合因数为 a₀+(1-a₀)m(x,y,n)/Tm。如果该条件可能出现，则如果m(x,y,n)>=Tm或者 等于零（0）则混合因数被计算为一（1），并且否则被计算为3/(2*m(x,y,n)) 以补偿该条件。被计算以补偿该条件的混合因数的效果，是得到的经滤 波的输出像素值比混合因数被计算为a₀+(1-a₀)m(x,y,n)/T_m的情况下更 接近输入像素值了1。在本发明的一些实施方式中，混合因数的计算是使 用运动值作为索引的表查找。表4示出例示这种表的创建的伪码。

在508，接着使用混合因数、该帧和参考帧计算经滤波的像素值。参 照图3的步骤308按照上述计算经滤波的像素值。得到的经滤波的帧接 着被输出508。如果视频序列中的最后帧已经被处理510，则方法结束。 否则，下一帧被处理。

图6是根据本发明的一个或者更多个实施方式在时域噪声滤波器中 减少幻影伪像的方法的流程图。如图6所示，该方法应用于视频序列中 的帧。步骤500和502与图3的步骤300-302相同。当计算了运动值时， 针对像素计算混合因数，从而所选择的混合因数a(x,y,n)造成使用混合因 数计算出的经滤波的输出像素值向当前帧中的对应的像素值快速收敛 606。该收敛具有减少幻影伪像的效果。更具体地，除非条件 |a(x,y,n)(Yc(x,y,n)-Y₀(x,y,n-1))|<¹/₂或|a(x,y,n)(Uc(x,y,n)-U₀(x,y,n-1))|<¹/₂或 者|a(x,y,n)(Vc(x,y,n)-V₀(x,y,n-1))|<¹/₂可能出现，否则计算混合因数为 a₀+(1-a₀)m(x,y,n)/Tm。如果该条件可能出现，则混合因数被计算为一（1） 以补偿该条件。为了补偿该条件而计算的混合因数的效果，是得到的经 滤波的输出像素值等于当前帧中的对应的像素值。在本发明的一些实施 方式中，混合因数的计算是使用运动值作为索引的表查找。表5示出例 示这种表的创建的伪码。

接着使用混合因数、该帧和参考帧计算经滤波的像素值608。参照图 3的步骤308按照上述计算经滤波的像素值。得到的经滤波的帧接着被输 出508。如果视频序列中的最后帧已经被处理510，则方法结束。否则， 下一帧被处理。

此处描述的本发明的实施方式可以在多种数字系统的任意一种上提 供：数字信号处理器（DSP）、通用可编程处理器、专用电路或者芯片上 系统（SoC），诸如DSP和减小指令集合（RISC）处理器和各种专用可编 程加速器的组合。在板上或者外部（闪存EEP）ROM或者FRAM中存 储的程序可以用于实现视频信号处理，包括此处描述的具有幻影伪像减 少的用于时域噪声滤波的方法的实施方式。模数转换器和数模转换器提 供对真实世界的耦合，调制器和解调器（加上用于空中接口的天线）可 以提供用于发射波形的耦合，并且分组器可以提供用于经过诸如因特网 这样的网络发射的格式。

此处描述的方法的实施方式可以在硬件、软件、固件或者其组合来 实现。如果至少一部分在软件中实现，则该软件可以在一个或者更多个 处理器中执行，诸如微处理器、专用集成电路（ASIC）、现场可编程门阵 列（FPGA）或者数字信号处理器（DSP）。实现方法的软件可以初始存 储在计算机可读介质（例如，存储器、闪存存储器、DVD等）中并且被 处理器加载和执行。此外，计算机可读介质可以被经过网络或者其它通 信路径存取以便下载软件。在一些情况下，软件还可以在计算机程序产 品中提供，其中包括计算机可读介质和用于计算机介质的包装材料。

此处描述的用于在使用噪声滤波中减少幻影伪像的方法和系统可以 实施用于几乎任何类型的数字系统（例如，桌上型计算机、膝上型计算 机、诸如移动（即，蜂窝）电话这样的手持设备、个人数字助理、数字 相机、数字录像机等），其具有拍摄或者产生数字视频序列或者显示数字 视频序列的功能。图7-9示出示例性的数字系统的框图。

图7示出根据本发明的一个或者更多个实施方式的适用于嵌入式系 统（例如，数字相机）的数字系统，其包括可以被配置以进行此处描述 的方法的实施方式的基于DSP的图像协处理器（ICP）702、RISC处理器 704和视频处理引擎（VPE）706等组件。RISC处理器704可以是任何适 当配置的RISC处理器。VPE 706包括用于从诸如图像传感器、视频解码 器等的成像外围设备视频捕获的可配置的视频处理前端（视频FE）708 输入接口、用于诸如SDTV显示器、数字LCD面板、HDTV视频编码器 等的显示设备的可配置的视频处理后端（视频BE）710输出接口以及被 视频FE 708和视频BE 710共享的存储器接口724。该数字系统还包括用 于各种外围设备的外围接口712，外围设备可以包括多媒体卡、音频串行 端口、通用串行总线（USB）控制器、串行端口接口等。

视频FE 708包括图像信号处理器（ISP）716和3A统计信息产生器 （3A）718。ISP 716提供对图像传感器和数字视频源的接口。更具体地， ISP 716可以从传感器模块726（例如，CMOS或者CCD）接受原始图像 /视频数据并且可以接受多种格式的YUV视频数据。ISP 716还包括具有 从原始CCD/CMOS数据产生彩色格式（例如，RGB）的图像数据的功能 的参数化的图像处理模块。ISP 716针对每一个传感器类型是可定制的并 且支持用于所拍摄的数字图像的预览显示的视频帧速率以及用于视频记 录模式的视频帧速率。ISP 716还包括图像缩放器、统计信息收集功能和 边界信号计算器等功能。3A模块718包括支持控制回路的功能，该控制 回路用于通过收集对来自ISP 716或者外部存储器的原始图像数据的度 量而自动聚焦、自动白平衡和自动曝光。在本发明的一个或者更多个实 施方式中，视频FE 708被配置以进行如上所述的带有幻影伪像减少的时 域噪声滤波。

视频BE 710包括屏幕上显示引擎（OSD）720和视频模拟编码器 （VAC）722。OSD引擎720包括针对多种不同类型的硬件显示窗口管理 各种格式的显示数据的功能，并且还在以彩色空间格式（如，RGB、YUV、 YcbCr）提供数据到VAC 722之前，采集并混合视频数据和显示/比特图 数据到为单个显示窗口。VAC 722包括功能，用于从OSD引擎720提取 显示帧并将其格式化为期望的输出格式并且向对显示设备的接口输出要 求的信号。VAC 722可以接口到合成NTSC/PAL视频设备、S视频设备、 数字LCD设备、高清视频编码器、DVI/HDMI设备等。

存储器接口724用作视频708和视频BE 710中的主源和到模块的接 收点（sink），其中视频708和视频BE 710从外部存储器请求视频和/或 向外部存储器传递视频。存储器接口724包括读缓冲器和写缓冲器以及 仲裁逻辑。

ICP 702包括对拍摄的图像进行压缩和其它处理要求的计算操作的 功能。所支持的视频压缩标准可以包括例如JPEG标准、MPEG标准和 H.26x标准中的一个或者更多个。在本发明的一个或者更多个实施方式 中，ICP 702可以被配置以进行如此处描述的时域噪声滤波方法的计算操 作。

在操作中，为了拍摄照片或者视频序列，视频信号被视频FE 708接 收并且转换为进行视频压缩要求的输入格式。在压缩之前，如上所述带 有幻影伪像减少的时域噪声滤波可以应用，作为处理拍摄的视频数据的 一部分。视频FE 708产生的视频数据被存储在外部存储器中。视频数据 接着被编码，即，压缩。在压缩处理期间，视频数据被从外部存储器读 取并且对此视频数据的压缩计算被ICP 702进行。得到的经压缩的视频数 据被存储在外部存储器中。经压缩的视频数据接着被视频BE 710从外部 存储器读取、解码并且后处理以显示图像/视频序列。

图8是可以被配置为进行此处描述的带有幻影伪像减少的时域噪声 滤波的数字系统（例如，移动蜂窝电话）800的框图。信号处理单元（SPU） 802包括数字信号处理系统（DSP），该DSP系统包括嵌入式存储器和安 全装置。模拟基带单元804从手持麦克风813a接收话音数据流并且向手 持单声道扬声器813b发送话音数据流。模拟基带单元804还从麦克风 814a接收话音数据流并且向单声道耳机814b发送话音数据流。模拟基带 单元804和SPU 802可以是分立的IC。在很多实施方式中，模拟基带单 元804不嵌入可编程处理器核心，但是基于在SPU 802上运行的软件设 定的音频路径、滤波器、增益等构造进行处理。显示器820还可以显示 从网络、从本地相机828或者从诸如USB 826或者存储器812这样的其 它源接收的画面和视频流。SPU 802还可以向显示器820发送经过RF收 发机806从诸如蜂窝网络或者相机828接收到的各个源接收到的视频流。 SPU 802还可以经过复合输出端子824上的编码器822向外部视频显示单 元发送视频流。编码器单元822可以根据PAL/SECAM/NTSC视频标准提 供编码。

SPU 802包括视频编码和解码要求的计算操作的功能。所支持的视频 编码标准可以包括例如JPEG标准、MPEG标准和H.26x标准中的一个或 者更多个。在本发明的一个或者更多个实施方式中，SPU 802被配置以进 行如上所述的带有幻影伪像减少的时域噪声滤波的方法的计算操作。实 现方法的软件指令可以存储在存储器812中并且被SPU 802执行作为拍 摄和/或编码数字图像数据的一部分，例如，照片和视频流和/或在解码接 收到的数字图像数据之后和在发射数字图像数据到显示器或者外部显示 单元之前。

图9示出数字系统900（例如，个人计算机），包括处理器902、关 联的存储器904、存储装置906和通常的数字系统（未示出）的各种其它 元件和功能。在本发明的一个或者更多个实施方式中，数字系统可以包 括多个处理器和/或这些处理器中的一个或者更多个可以是数字信号处理 器。数字系统900还可以包括输入装置，诸如键盘908和鼠标910（或者 其它光标控制装置），以及输出装置，诸如监视器912（或者其它显示装 置）。数字系统900可以经过网络接口（未示出）连接到网络014（例如， 局域网（LAN）、诸如因特网这样的广域网（WAN）、蜂窝网络、任何其 它类似类型的网络和/或其任何组合）。本领域技术人员将理解输入装置和 输出装置可以采取其它形式。

数字系统900还可以包括图像拍摄装置（未示出），其中包括用于拍 摄视频序列的电路（例如，光学装置、传感器、读取电子装置）。数字系 统900可以包括对拍摄的视频序列进行此处所示的带有幻影伪像减少的 时域噪声滤波的功能。数字系统900可以还包括对经编码的视频序列解 码，对解码的视频序列进行此处所述的带有幻影伪像减少的时域噪声滤 波以及在监视器912上显示经滤波的解码的序列的功能。可以经过网络 接收编码的视频序列，或者可以从存储介质（例如，DVD）等读取。

此外，本领域技术人员理解上述数字系统900的一个或者更多个元 件可以位于远程位置并且通过网络连接到其它元件。此外，可以在具有 多个节点的分布式系统上实现本发明的实施方式，其中系统和软件指令 的每一个部分可以位于分布式系统的不同节点上。在本发明的一个实施 方式中，节点可以是数字系统。另选地，节点可以是带有相关联的物理 存储器的处理器。节点可以另选地是带有共享存储器和/或资源的处理器。

尽管已经关于有限数量的示例实施方式描述了本发明，但是本领域 技术人员根据本公开将理解到可以得到不背离此处公开的本发明的范围 的其它实施方式。例如，尽管图1例示根据此处描述的方法的噪声滤波 在对视频序列编码之前，但是本领域技术人员将理解本发明的实施方式 这种噪声滤波可以在其中其它位置使用。例如，可以在对经编码的视频 序列解码之后应用此处描述的噪声滤波，例如在图1的视频解码器114 和显示器116之间。作为另一个示例，在包括DVD播放器的数字系统中， 可以在DVD上的视频被解码之后并且在电视或者计算机屏幕上显示之 前应用此处描述的噪声滤波器。还可以有很多其它实施方式和变形。