用于高动态范围图像的实时噪声消除和图像增强的方法以及系统

摘要

一种用于高动态范围(HDR)图像的实时噪声消除和图像增强的方法以及系统。该方法包括接收输入图像I，该输入图像I包括HDR图像，以及操作处理电路，用于(i)将第一边缘保留滤波器(例如，导向滤波器)应用于输入图像I，由此产生第一图像分量B

说明书

技术领域

本发明涉及图像处理，更具体而言，涉及用于高动态范围(HDR)图像的实时噪声消除和图像增强的方法和系统。

背景技术

本发明涉及在不同频谱范围中捕捉的图像(例如，热成像图像)的可视化。用于这种成像的传感器通常用于宽范围的应用中，例如：(1)夜视--在汽车行业中的行人/动物检测；(2)视频监视；以及(3)使用基于IR的系统来应对外部光源(例如，太阳)的影响的驾驶员辅助系统。对本领域技术人员而言，其它应用将变得显而易见。

常常希望在具有不同(通常较低)动态范围的显示器上显示用一种动态范围(例如，HDR)捕捉的图像。通常需要一种用于噪声消除和图像细节增强的方法，其考虑了对显示设备的限制，以便有效地显示HDR(例如，红外(IR)图像)。在本示例中，为了表示现实世界的场景，过去用HDR来表示IR图像，该HDR通常超过了普通显示设备的工作范围(8比特)。因此，需要一种有效的HDR映射而不丢失细节的可察觉性。

已经提出了大量的图像处理技术以提高图像对比度、增强图像细节和/或减少噪声量。尽管这些技术中的大部分旨在用于8比特的静止图像，但它们能够被调整和/或组合以实现IR图像细节的增强，同时将其HDR映射到适当范围以进行显示。实际上，已经广泛使用伽玛校正(GC)和直方图均衡化(HE)方法的变型，以将原始数据拟合成全局对比度提高的8比特数据表示。

近来的IR图像可视化方案与所得的8比特图像表示中的细节增强密切相关。Glush等人(S.W.Glushko and C.Salvaggio，“Quantitative analysis of infrared contrast enhancement algorithms”，in Infrared Imaging Systems:Design,Analysis,Modeling,and Testing,2007,pp.65 430S:1–12)通过所谓的反锐化掩模限制了噪声放大，反锐化掩模技术定义了细节图以根据细节的强度对噪声和细节像素进行分类。如Durand和Dorsey所建议的(F.Durand and J.Dorsey,“Fast Bilateral Filtering for the Display of High-Dynamic-Range Images,”ACM Trans.Graph.,vol.21,no.3,pp.257–266,July 2002)，已经广泛使用双边滤波器(BF)来定义细节图。Zuo等人(C.Zuo,Q.Chen,N.Liu,J.Ren and X.Sui,“Display and detail enhancement for high-dynamic-range infrared images,”Optical Engineering,vol.50,no.12,pp.127401:1–9,2011)通过对所得的基本图像分量应用高斯低通滤波器解决了其基于BF的数字细节增强(BF&DDE)滤波器上的梯度反转伪影的问题。近来，He等人(K.He,J.Sun and X.Tang,“Guided Image Filtering,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.35,no.6,pp.1397–1409,June 2013)提出了一种新的边缘保留滤波器，即所谓的导向滤波器(GF)。如作者所建议的，也可以考虑GF以定义细节图而不使用BF。实际上，与BF相反，GF没有边缘伪影的问题，且其处理时间显著地较小。

技术问题

已知方法的一个问题是如何实现HDR的映射，同时在8比特域中为数据表示保留重要的图像细节。

另一个问题是如何识别/分类表示图像细节的像素和/或可能表示噪声的像素。

已知方法的另一个问题是如何实现噪声消除而不衰减或消除图像细节。

另一个问题是如何避免在细节增强过程中的噪声放大。

已知方法的另一个问题是如何增强IR图像的全局对比度。

另一个问题是如何避免帧和帧之间的全局亮度波动(即，时间一致性)。

本发明的目的在于提供一种解决前述问题中的至少一个问题的系统和方法，并提供用于高动态范围(HDR)图像的实时噪声消除和图像增强的改进技术。

发明内容

根据本发明的一个方面，提供了一种用于高动态范围(HDR)图像的实时噪声消除和图像增强的方法，该方法包括：接收输入图像I，所述输入图像I包括HDR图像；操作处理电路，用于将第一边缘保留滤波器应用于输入图像I，由此产生第一图像分量B₁和第一组线性系数将第二边缘保留滤波器应用于输入图像I，由此产生第二图像分量B₂和第二组线性系数根据第一组线性系数和第二组线性系数的组合来产生合理性掩模(plausibility>1、第二图像分量B₂和合理性掩模P产生输出图像O。

该第一边缘保留滤波器可以包括细节保留滤波器，并且该第一图像分量B₁包括其中保留图像细节的输入图像I。

该第二边缘保留滤波器可以包括噪声消除滤波器，并且该第二图像分量B₂可以包括其中已经消除或减少噪声的输入图像I。

第一边缘保留滤波器和/或第二边缘保留滤波器包括导向滤波器。

合理性掩模P可以被推导为：

其中，并且P′_min和P′_max分别是P’的最小权重值和最大权重值。

该方法还可以包括在根据以下公式拉伸(stretch)P’的值之前对P’进行裁切：

裁切P’可以包括应用

其中，在本实施例中，δ＝μ+2σ，μ为的平均值，并且

产生输出图像O可以包括：基于第二图像分量B₂与从第一图像分量B₁和合理性掩模P导出的细节图像分量D′的和来产生输出图像O。细节图像分量可以被给出为D′＝λP·D，其中，D＝B₁-B₂，并且λ是用于调节D中的细节的对比度的增益因子。

可以通过以下公式来推导中间图像O′：

O′＝B₂+D′。

产生输出图像O包括：施加中间图像O′到输出图像O的映射，同时保留并增强细节图像分量D’中的图像细节的对比度。

所述映射可以包括产生中间图像O′内的每个O′(i,j)的灰度值的累积直方图。可以用三个值来表征累积直方图，即λ_min、λ_med、λ_max，其定义了O′·α的累积直方图的位置和边界，其中，α为对比度水平。在本实施例中，我们定义λ_min在累积直方图的1％处，λ_med在累积直方图的50％处，λ_max在累积直方图的99％处。

所述映射可以包括：根据中间图像O′内的每个O′(i,j)的灰度值在O′的直方图内的位置，将中间图像O′内的每个O′(i,j)的灰度值分类为左O′_L(i,j)或右O′_R(i,j)，以使得：

O′_L(i,j)＝O′(i,j)·α，如果O′(i,j)·α<λ_med

O′_R(i,j)＝O′(i,j)·α，如果O′(i,j)·α≥λ_med

其中，在本实施例中，λ_med对应于在O′·α的累积直方图中50％处的位置。

所述映射可以包括根据以下公式来确定输出图像O：

其中，λ_min和λ_max对应于O′·α的累积直方图的边界，并且N是定义输出图像O的动态范围的比特数量。

在一个实施例中，对于范围[0,255]之内的8比特数据表示，N＝8。

中间图像O′可以是12比特或14比特图像。

在一个实施例中，对于第一图像分量B₁和第二图像分量B₂，每者都是利用以像素k为中心的窗口w_k中I的线性变换推导的，以使得

其中，

其中，

其中，b_k＝(1-a_k)μ_k，

是假设在w_k中恒定的线性系数，

μ_k和σ_k²是w_k中I的平均值和方差，

|w|是w_k中像素的数量，并且

ε是影响(penalize)大的a_k的正则化参数。

在一个实施例中，w_k的大小为3x3，ε1＝25和/或ε2＝2500。

根据本发明的另一方面，提供了一种可编程图像处理系统，该可编程图像处理系统在被适当地编程时用于执行根据前述权利要求中任一项所述的方法，所述系统包括用于接收或存储输入图像I的电路以及用于执行所述方法的处理电路。

根据本发明的另一方面，提供了一种用于高动态范围HDR图像的实时噪声消除和图像增强的系统，该系统包括：用于接收或存储输入图像I的电路，输入图像I包括HDR图像；以及处理电路，其耦合到用于接收或存储输入图像I的所述电路，处理电路能够操作用于将第一边缘保留滤波器应用于输入图像I，由此产生第一图像分量B₁和第一组线性系数将第二边缘保留滤波器应用于输入图像I，由此产生第二图像分量B₂和第二组线性系数根据第一组线性系数和第二组线性系数的组合来产生合理性掩模P，合理性掩模P指示输入图像I之内的空间细节；并且基于第一图像分量B₁、第二图像分量B₂和合理性掩模P产生输出图像O。

根据本发明的另一方面，提供了一种其上记录或存储有数据的可记录可重写或可存储介质，所述数据定义指令或能够变换成指令，所述指令供处理电路执行并且至少对应于根据权利要求1至18中任一项所述的步骤。

根据本发明的另一方面，提供了一种服务器计算机，该服务器计算机包含通信设备和存储器设备并且适于按需或以其它方式传输数据，所述数据定义指令或能够变换成指令，所述指令供处理电路执行并且至少对应于根据权利要求1至18中任一项所述的步骤。

在某些实施例中，组合两种边缘保留滤波器(例如，双边滤波器(BF)或导向滤波器(GF))，以首先产生精确的基础和细节图像分量，然后产生要用作空间细节指示物的合理性掩模。后者使得能够识别细节图像分量中存在的噪声显著的那些区域。最后，沿时间过滤HDR的工作范围，以避免最终的8比特数据表示中的全局亮度波动，其来自于使用专用直方图投影方法组合细节和基础图像。这种直方图投影方法例如适于汽车行业中的要求。

本发明的优点是提供HDR的映射，同时在8比特域中为数据表示保留了重要的图像细节。

另一个优点是表示HDR的基础图像分量B2被映射，而来自增强的D’图像的图像细节被增强/保留。

另一个优点是该技术使得能够单独处理HDR映射和细节增强。

另一个优点是有助于对表示图像细节的像素和/或可能存在噪声的像素进行识别/分类。

另一个优点是有助于消除噪声而不会衰减或消除图像细节。

另一个优点是用P的形成确保了仅消除噪声(P中的低权重像素)。

另一个优点是避免了在细节增强过程中使噪声放大。

另一个优点是，由于在P中噪声像素的权重低，所以在应用增益因子之后它们不会被放大。

另一个优点是增强了IR图像的全局对比度。

另一个优点是，通过使用新颖的直方图投影方法，除了有效地将HDR映射到8比特域之外，还允许用户调节对比度和亮度水平，而不产生不希望的伪影，例如噪声或图像失真。

另一个优点是避免了帧和帧之间的全局亮度波动(时间一致性)。

另一个优点是根据时间统计稳定来计算将所得8比特图像被映射到的最大值和最小值。通过这样做，避免了帧之间的亮度波动。

附图说明

现在将参考附图以举例的方式来描述本发明的优选实施例，在附图中：

图1示出了根据本发明的实施例的用于实时噪声消除和图像增强(TDDE滤波器)的方法的流程图；

图2示出了(a)原始输入图像I，(b)由图1的方法中的导向滤波器GF₁产生的第一图像分量B₁，以及(c)由图1的方法中的导向滤波器GF₂产生的第二图像分量B₂；

图3示出了(a)GF₁作用于来自图2(a)的输入图像I上而获得的第一线性系数(b)针对的直方图，(c)GF₂作用于来自图2(a)的输入图像I上而获得的第二线性系数(d)针对的直方图，(e)图1的方法中的合理性掩模P，以及(f)针对P的直方图；

图4示出了细节图像分量(a)由图2中B₁与B₂之间的差异产生的图1的D，以及(b)噪声掩蔽和细节放大之后的图1的得到的D’；以及

图5至图9示出了使用现实场景用于不同测试案例的所公开的直方图投影方法。

具体实施方式

如本文所用的，“图像”或“图像信号”可以是模拟的或数字的，并可以进行常规的模拟或数字滤波。

在本文提到涉及“图像”的步骤、操作或操纵等时，在适当的情况下，它们是通过对这种“图像”的可电子处理的表示(例如，捕捉的静止视频帧信号、比特流视频数据、MPEG文件或视频流、PC视频或任何其它可捕捉或可观看的图像数据格式)的操作来实现的。

在本文中提到涉及“图像”、“图像信号”或“图像数据”的步骤、操作或操纵时，在适当的情况下，可以通过软件控制的处理器操作、硬件电路或其任何适当的组合来实现它们。

尽管本发明被适当地具体化在计算机系统中，但其可以包含在适配器、图像处理器或位于图像源和显示设备(例如，LCD、等离子体、投影仪等)之间或包含图像源和显示设备的任何其它设备中，或者包含在显示设备自身中。该计算机系统适当包括耦合到(在适当的情况下经由DAC和ADC或其它接口)RAM、ROM、存储设备、图像捕捉和/或图像存储设备、显示驱动器和显示设备、数据通信和其它外围设备的处理器，这对于本领域技术人员而言是公知的；因此，将不会进一步例示或论述这些。

图1示出了根据本发明的实施例的用于实时噪声消除和图像增强(TDDE滤波器)的方法的流程图。输入图像I被馈送到细节增强导向滤波器GF₁和噪声消除导向滤波器GF₂。从细节增强导向滤波器GF₁获得的是第一图像分量B₁和第一线性系数从噪声消除导向滤波器GF₂获得的是第二图像分量B₂和第二线性系数组合第一线性系数和第二线性系数以形成合理性掩模P，如下文进一步详细讨论的。同样如下文进一步详细讨论的，减法元件2产生D＝B₁-B₂，乘法元件4产生D′＝λP·D，加法元件6产生O′＝B₂+D′，映射元件8通过将O′映射到O产生最终输出图像O，O为8比特图像。

为了解决上述问题，本发明至少在实施例中涉及所谓的时域DDE(TDDE)滤波器的使用。通常，已知的基于DDE的滤波器依赖于单个边缘保留滤波器(例如，BF或GF)，以将B图像分量与D图像分量隔离，B图像分量包含待被有效地映射的HDR，D图像分量呈现与所得的8比特图像表示中待保留并增强的精细图像细节相对应的细微变化。根据本发明的实施例的TDDE滤波器在其设计中包括GF，因为GF与BF相比在边缘附近呈现更好的行为，主要优点是快速且不近似的线性时间算法，而不管内核尺寸和强度范围。后者能够实现实时性能。此外，GF不会像BF那样经受梯度反转伪影的困扰。在计算B图像分量和D图像分量两者时，根据本发明的实施例的TDDE滤波器不依赖于单个GF而是依赖于两个专用GF。

对于GF，为了帮助理解其中对每个GF(即，GF₁和GF₂)进行参数化以分别保留细节(B₁)并消除噪声(B₂)的方式，将对其进行简要地论述。通常，B图像分量对应于从GF获得的边缘保留平滑图像，在以像素k为中心的窗口w_k中I的线性变换，即

其中，

其中，

其中，b_k＝(1-a_k)μ_k,(3)

是假设在w_k中恒定的线性系数，

μ_k和σ_k²是w_k中I的平均值和方差，

|w|是w_k中像素的数量，并且

ε是影响大的a_k的正则化参数。

可以根据要在I中保留的细节的最小尺寸来进行w_k尺寸的选择。可以选择小的w_k尺寸，例如3×3，以便保留和增强诸如树叶之类的精细图像细节。平滑水平由参数ε给出。亦即，如果ε被设置得过小，那么图像中不仅会保留图像细节而且还会保留噪声和细微结构。相反，如果ε被设置得过大，噪声将与所有图像细节一起被完全消除。

因此，GF₁被配置为具有非常小的ε₁值，例如ε₁＝25，从其获得比I略微平滑的B₁图像分量，包含要在最终的8比特表示中呈现的图像细节。另一方面，GF₂被配置为具有足够大的ε₂值以完全消除噪声，例如，ε₂＝2500，从其获得基础图像分量B₂。不可避免地，B₁中将存在噪声，而B₂中将完全消除图像细节。

图2示出了(a)原始输入图像I，(b)由图1的方法中的导向滤波器GF₁产生的第一图像分量B₁，以及(c)由图1的方法中的导向滤波器GF₂产生的第二图像分量B₂。图2(a)示出所选择的输入图像I以例示GF在被配置为具有ε₁或ε₂时的行为。至于w_k的大小，要指出的是，它可以足够小，例如k＝3，以便保留小的图像细节，例如树叶。优选地，w_k的大小在GF₁和GF₂中相同，以便避免在计算合理性掩模P(图1)时不希望的伪影。

图3示出了(a)GF₁作用于来自图2(a)的输入图像I上而获得的第一线性系数(b)针对的直方图，(c)GF₂作用于来自图2(a)的输入图像I上而获得的第二线性系数(d)针对的直方图，(e)图1的方法中的合理性掩模P，以及(f)针对P的直方图；

为了利用每个GF的优点同时避免其各自的缺点，使用新的合理性掩模P，其对分别来自每个GF₁和GF₂的线性系数和进行了组合。P的目的在于如以对图像细节加权(参见图3(a))，而以对噪声像素加权(参见图3(c))。为了这样做，将P定义为

其中，和P′_min和P′_max分别是P’的最小和最大权重值。要指出的是，和的积将全局减小沿边缘的权重，因此可能显著地减小甚至消除最终8比特图像中的图像细节。为了避免那种情况，优选在根据(4)拉伸其值之前对P’进行裁切(crop)，即

其中，δ＝μ+2σ，μ是的平均值，并且因为的噪声遵循泊松分布(参见图3(d))。

图4示出了细节图像分量(a)由图2中B₁与B₂之间的差异产生的图1的D，以及(b)噪声掩蔽和细节放大之后的图1的得到的D’。

根据本发明的实施例的TDDE滤波器在计算D图像分量时不考虑输入图像I，而考虑计算得自GF₁的B₁图像分量，此即保留了所有图像细节而略微降低了噪声的I的稍平滑版本，即D＝B₁-B₂。然而，D的这种简单直接的计算不仅保留了细微的细节，而且还保留了B₁中的噪声，如图4(a)中所示。根据人的感知特性，平滑图像区域内的噪声能够容易地被观察者感知为干扰(spuriousness)或纹理，而沿锐利边缘几乎不可感知。考虑到这一点，根据空间细节来掩蔽噪声，即使用合理性掩模P。实际上，P清晰地反映了输入图像I的空间细节，从而能够区分呈现B₁中的图像细节的那些区域和噪声显著的那些区域。根据实施例，细节图像分量D’被定义为

D′＝λP·D(7)

其中，λ为增益因子，如果需要，用以增大D中细节的对比度。图4(b)示出由P掩模之后所得的D’图像分量。

最终的8比特增强图像O得自将所产生的B₂图像分量和增强的D’图像分量的和，即映射到8比特域(在图1中的映射元件8中)。运算符表示到8比特域的映射。为了进行该映射，通常在已知系统中使用基于扩展直方图均衡化(HE)或自动增益控制(AGC)的技术。然而，尽管基于AGC的方法仅仅消除了极值并将HDR线性地映射到8比特域上，但基于HE的方法仅仅增大主导性温度范围中的对比度。亦即，向主导性温度范围提供了较多的动态范围，而向非主导性温度范围中的图像区域提供了较少的动态范围。然而，如果要保留/增强的图像细节不在该主导性范围内，则会发生问题。当映射具有比显示范围小的有效数据范围的HDR图像时，会发生另一个问题。在来自IR相机的图像的情况下，这就是当IR相机面对均匀背景或无云天空时会发生的情况。在这种情况下，所得的映射图像将会由于窄有效范围的线性扩展而充满噪声并且会失真。

为了克服前述缺点，替代的已知的基于DDE的滤波器首先将B₂图像分量的HDR映射到8比特域，然后通过加上D’来产生最终的图像O，即然而，问题在于直接组合映射的和D’在大部分情况下会导致饱和，因为如果与8比特数据范围表示(参见图4中的数据范围表示)相比，D’的像素值是相当大的。

为了解决前述问题，根据本发明的实施例，使用一种新的直方图投影方法，以便将O′＝B₂+D′(通常用12或14比特表示)的动态有效地映射到8比特域中，同时保留和增强D’中的图像细节的对比度，而不管B₂有效数据范围的长度以及恰好在其中的像素的数量。更具体而言，首先根据其在O′的直方图内的位置，将每个O′(i,j)的灰度值分类为左O′_L(i,j)或右O′_R(i,j)(或冷和暖)，即

O′_L(i,j)＝O′(i,j)·α，如果O′(i,j)·α<λ_med(8)

O′_R(i,j)＝O′(i,j)·α，如果O′(i,j)·α≥λ_med(9)

其中，在本实施例中，λ_med对应于O′·α的累积直方图50％处的位置，α为对比度水平，即操作者能够通过其调节将多宽的温度范围映射成显示设备的灰度的参数。低对比度水平定义宽的温度跨度(HDR)，其中低对比度变化不可见。相反，高对比度水平定义窄的温度跨度(LDR)，其中低对比度变化变得可见。

要使用的第二参数为β，即亮度水平，用户能够根据其调节显示设备的中心温度。低亮度水平定义较冷的场景，其中仅以完整阶度显示热的目标(即，白热)。相反，高亮度水平定义较暖场景，其中仅将冷目标显示为黑色。

最终的8比特增强图像O得自

其中，λ_min和λ_max对应于O′·α的累积直方图的边界。在本实施例中，对于在范围[0,255]之内的8比特数据表示，N＝8。

图5到图9例示了所公开的直方图投影方法，该方法使用由提供(384_288)个像素的HDR IR图像的标准IR热相机所采集的真实场景。已经使用具有集成图形卡HD Graphics 4400的CoreTM i5-4200U CPU@1.60GHz获得了所有报告的结果。

图5示出了已经被考虑用于评估所提出方案的两种现实测试案例。图5a是具有非常窄的温度跨度的极端测试案例(测试1)，其中在图像的右下方包含一个非常小的目标(人)。相反，图5c中的测试案例(测试2)呈现了具有高温度动态的场景，其必须被有效地映射到8比特域中。已经考虑了公开的增强TDDE滤波器，以例示所提出的直方图投影映射方法的行为。已经使用了以下参数：k＝3，ε1＝25，ε2＝2500，并且λ＝5。

图6和图7示出了根据操作者调节的对比度α和亮度β参数，所提出的HDR映射方法针对测试1的窄温度跨度的行为。从图中可以看到，直方图是如何根据β所定义的中心温度而对中的。通过调节α，操作者能够使场景中非常小的温度可辨别(参见图7a)。在图8和图9中示出了所提出的映射方法针对测试2的宽温度跨度的行为。在这种情况下，沿整个8比特范围线性拉伸了分别位于(λ_med-λ_min>β和/或(λ_max-λ_med>(2^N-1)-β)外部的来自O′_L和/或O′_R的强度值。

尽管本文描述了使用导向滤波器(GF)来分解输入原始图像，但可以针对图像使用任何其它边缘保留滤波器和噪声消除平滑滤波器，例如双边滤波器(BF)。

尽管本文描述了针对16比特到8比特的数据转换使用直方图投影方法，但也可以使用替代的基于直方图均衡化的方法。

尽管本文描述了使用多个边缘保留滤波器，但在替代实施例中，可以使用单个GF或BF来计算基础和细节图像分量、以及合理性掩模。然而，可以在细节和噪声消除之间选择(人工调谐的)折中。

尽管已经参考在其相应实施方式中具有各个部件的实施例描述了实施例，但将要认识到，其它实施例利用这些部件和其它部件的其它组合和排列。

此外，在本文中将一些实施例描述为可以通过计算机系统的处理器或通过执行功能的其它手段来实施的方法或方法元素的组合。因此，具有用于执行此类方法或方法元素的必要指令的处理器形成了用于执行该方法或方法元素的手段。此外，本文描述的装置实施例的元素是用于执行由该元素出于执行本发明的目的而执行的功能的手段的示例。

在本文提供的说明书中，阐述了许多具体细节。然而，应当理解，可以在没有这些具体细节的情况下实践本发明的实施例。在其它情况下，未详细示出公知的方法、结构和技术，以免使本说明书难以理解。

因此，尽管已经描述了所认为的本发明的优选实施例，但本领域技术人员将认识到，可以对其做出其它和另外的修改而不脱离本发明的范围，并旨在主张所有这类改变和修改落在本发明范围之内。例如，上文给出的任何公式都仅仅是可以使用的流程的代表。可以从方框图增加或删除功能，并可以在功能框之间互换操作。可以针对本发明范围之内描述的方法增加或删除步骤。