用于将输入图像数据转换成输出图像数据的方法、用于将输入图像数据转换成输出图像数据的图像转换单元、图像处理设备、显示设备

摘要

在一种方法、单元和显示设备中，输入图像信号被分割成区域对比度信号（V

说明书

技术领域

本发明涉及用于将输入图像数据转换成输出图像数据的方法。

本发明还涉及用于将输入图像数据转换成输出图像数据的图像转换单元。

本发明还涉及图像处理设备，包括：

－用于接收输入图像数据的接收装置，

－用于将输入图像数据转换成输出图像数据的图像转换单元。

本发明还涉及包括图像处理设备的显示设备，包括：

－用于接收输入图像数据的接收装置，

－用于将输入图像数据转换成输出图像数据的图像转换单元。

背景技术

为了能够在显示器上以通常为低若干数量级的动态范围进行可接受的高动态范围（HDR）影像的表示，在捕获和传送期间，所记录的视频序列的动态范围常常借助于色调映射来压缩。许多户外景象的动态范围可以大到12个数量级，然而大多数的液晶显示器（LCD）仅仅提供约3个数量级的静态对比率。因此，在成像管道的早期，需要严格的动态范围压缩以使得所述景象在LDR（低动态范围）显示器上能够舒适地表示。使用简单的技术通过有如下缺陷：小细节的对比度可能会受到损害或者甚至丢失。

为了解决这些问题，开发了更先进的自适应方法。这些方法主要是压缩大尺度的对比度而保留精细细节的对比度。

只要显示系统的能力多多少少保持与在成像管道早期压缩期间所预期的能力类似，那么该途径还是表现得不错的。但是，利用新的高动态范围显示系统，可以实现高达6个数量级的静态对比率。而且，这样的显示系统可能能够局部地（在时间或空间中）产生非常高的峰值亮度。例如，这可以通过2D可调的LED背光来实现，其中通过将暗图像部分下面的一些LED调暗而节省的功率可用于增强亮区域下面的其它LED。已经发现，将输入LDR图像数据扩展为HDR图像信号经常导致景象的外观不自然。

发明内容

本发明的目的是提供一种方法、转换单元和图像处理设备，其目标是提高再现的质量并提供更加舒适和自然的图像外观。

为此，按照本发明的方法特征在于：

－输入图像数据被转换成至少两个信号，提供区域对比度数据的第一信号和提供细节数据的第二信号，

－至少第一信号的动态范围被拉伸，其中第一信号的动态范围拉伸的程度比第二信号的动态范围高，

－所拉伸的第一和第二信号在输出信号中组合。

本发明人已经意识到在局部和区域对比度之间的不平衡产生问题。在捕获期间、在动态范围压缩期间细节对比度的保留与在显示期间或显示之前总体动态范围扩展相结合导致在显示的图像中精细细节相对于区域对比度的增强。区域对比度数据包括相对较低的空间频率信息。细节数据包括较高的空间频率信息。

对于相当大的扩展因子，这导致景象的外观不自然，并且也可导致非期望的模拟和数字噪声的放大。

一种可能的解决方案是在范围扩展期间使用在范围压缩期间使用的映射算子的数学逆来获取原始的HDR景象。然而，这需要了解所使用的压缩方法的知识，该知识必须包含在输入信号中。不过，实践中，我们经常不得不处理遗留的LDR视频但却不了解其动态范围在捕获和编码期间是如何压缩的。因此，该“理想的”解决方案经常并不实用。除了这方面，接收单元还必须能够匹配各种不同的可能的压缩方法。

本发明提供了输入图像数据到输出信号的更平衡的LDR至HDR转换。

输入信号被分割成提供区域、半球数据的第一信号和提供细节的第二信号。第一信号可以例如通过对输入信号进行低通滤波来获得，包括保留了边缘特征的低通滤波方法，诸如例如双边滤波。提供细节的第二信号可以通过例如从输入数据信号中减去第一信号来获得。

至少第一信号被拉伸，即，至少第一信号的动态范围被扩展。所述两个信号被不同地拉伸，其中第二信号被拉伸的程度比第一信号小。这降低了精细细节相对于区域对比度的不自然的可视增强，导致更加自然的景象外观。噪声在一定程度上也被抑制。在优选实施例中，第二信号未被拉伸。如果在原始的压缩期间，细节被保留，那么提供细节信息的第二信号不必被拉伸。这是允许算法简化的相对简单的实施例。

在优选实施例中，组合的拉伸的第一和第二信号的动态范围受限于上方值。该上方值可以低于显示器上最大可允许的信号。输入图像信号被进一步分析以识别形成图像中的高亮区的像素组，并且其中所识别的像素组的像素数据被转换成第三信号，使得第三信号覆盖延伸至所述上方值之上直至上方最大像素值的动态范围，并且其中第三信号与所组合的拉伸的第一和第二信号组合。

包含拉伸的第一和第二信号的信号具有受限于上方值的动态范围。在优选实施例中，高于所述上方值并且到最大值，像素值的上动态范围被保留用来显示高亮区。

已经发现，特别是对于非常高亮度的显示，最大可实现的强度高得光使观看者在某种意义上炫目。在中度情况下，观看者将仅感知亮光斑而不会或者仅仅在很有限的程度上能够感知景象的较暗细节。然而，在极端情况下，这对于观看者的眼睛可能是难受的或者甚至是有害的。通过限制所组合的第一和第二信号被拉伸的范围，可以避免上述问题。然而，这没有充分利用HDR显示器的潜力。在优选实施例中，最大亮度被保持在高亮度设备的潜力以下。通过识别图像中的高亮区，并将其像素值置于显示器的动态范围的最高部分中，这些高亮区被带到最前部而不会使观者者炫目，从而提供非常清新和清楚的图像。在实施例中，高亮区通过选择像素值在接近或处于LDR范围的上方值的范围内的像素组来识别，其中在高像素值像素的邻域中，高像素值像素的数量低于阈值，即对于小的高强度像素组而言。

高亮区是相对小的高强度像素组。高于上方值的显示设备的动态范围由高亮区来填充。这已经证明提供高质量图像，其中，一方面，细节未被不自然地增强，或者亮的盲点出现在图像中，而另一方面，在显示范围的高端成像的高亮区提供闪光和清新的图像。

在优选实施例中，所组合的拉伸的第一和第二信号的动态范围的上方值位于对应于当显示在500至1000尼特显示器上时光强的范围，并且上方最大像素值位于对应于当显示在高于1000尼特（优选高于2500尼特）的显示器上时光强的范围。

附图说明

本发明的这些和其它方面将通过示例并参考附图进行更详细的说明，其中：

图1提供了用于本发明实施例的示意性流程图，

图2图示了动态范围的扩展；

图3图示了高亮区识别算法；

图4a至4f图示了按照本发明的动态范围扩展算法的效果；

图5图示了混合映射；

图6a至6c进一步图示了按照本发明的动态范围扩展；

图7a至7d和8a至8d进一步提供了按照本发明的动态范围扩展的示例；

图9图示了按照本发明的显示设备。

所述图没有按比例绘制。通常，图中相同部件由相同的参考标记来表示。

具体实施方式

注意到示出了以下示例。

许多户外景象的动态范围可以大到12个数量级，而大多数液晶显示器（LCD）仅仅提供约3个数量级的静态对比率。因此，在成像管道的早期需要严格的动态范围压缩，使得在LDR显示器（低动态范围）上能够舒适地表示景象。对于动态范围压缩最直接的途径是借助于全局色调映射算子。然而，这些简单技术的主要缺陷是小细节的对比度可能受到损害。为了解决这些问题，已经开发了更先进的方法来压缩区域（大尺度的）对比度同时保留精细细节的对比度。

在显示前受用户偏好影响，有时受到直方图拉伸的支持，在常规的LDR（低动态范围）显示屏幕上，影像对比度通常被拉伸至显示设备的全能力（即针对8比特系统黑为0，白为255）。只要显示系统的能力多多少少保持与在成像管道早期压缩期间预期的能力类似，该途径表现良好。然而，在新的HDR（高动态范围）显示系统中，实现了高达6个数量级的静态对比率。而且，这样的显示系统可能能够局部地（在时间或空间中）产生非常高的峰值亮度。例如，这可以通过2D可调LED背光来实现，其中通过调暗暗图像部分下面的某些LED而节省的功率可以用于增强亮区域下面的其它LED。

当直接在HDR显示器上显示遗留的LDR视频时，伪像（即局部和区域对比度之间的不平衡）发生。

在范围压缩期间细节对比度的保留与显示之前的范围扩展相结合，导致精细细节相对于区域对比度的增强。对于大的扩展因子，这导致不自然的景象外观以及有时非期望的噪声放大。

在按照本发明的方法中，输入图像数据被转换成至少两个信号：提供低空间频率区域对比度数据的第一信号和提供高空间频率细节数据的第二信号。至少第一信号的动态范围被拉伸，其中第一信号的动态范围被拉伸的程度比第二信号的动态范围高。所拉伸的第一和第二信号在图像输出信号中组合。

第一信号提供了区域对比度信号，并且第二信号提供了细节层。这两个信号单独地被拉伸，其中第一信号比第二信号拉伸得多。实际上，区域对比度信号的区域拉伸例如通过低通滤波来进行。在该拉伸后，局部细节被拉伸但是是较低程度地被拉伸。这两个信号被组合。这相比于进入的信号的总体拉伸而言降低了细节和区域图像之间的不平衡。在优选实施例中，第二信号通过从输入图像信号中减去第一信号来获得。

图1图示了用于按照本发明的示例性算法的流程图。

该算法执行作为双信号过程的动态范围扩展。最初，在该示例中，通过对视频应用低通滤波器1而从输入信号V_in提取区域对比度，从而提供第一信号区域对比度信号V_RC，以及从输入信号V_in提取细节层，从而提供第二细节信号V_D。在该示例中，通过计算区域对比度和减法器2中的输入之间的差值来提取V_D：

公式为：

其中V_in表示输入视频，而F_bil表示低通滤波器的应用，优选是快速双边滤波器。优选地，执行使用双边网格作为低通算子的双边滤波。该途径提供了对全双边滤波器计算上高效的近似。该方法的主要益处在于它提供廉价的边缘保留模糊滤波器，从而防止通常与线性空间滤波器核关联的晕轮伪像。使用双边网格的双边滤波实际上可以被总结为：（1）构建局部直方图，（2）对这些直方图应用多维线性滤波器核，以及（3）切割（＝内插）所期望的输出像素。尽管是优选的，应注意双边网格不代表当前发明的必要部分。可以可替换地使用常规的低通滤波器（组）来提取区域对比度。代替使用数学算法来生成第一和第二信号的是，还可以使用其它方法，比如预定义的特殊类（例如暗室室内）。

在应用动态范围扩展时，为了降低高亮度图像中区域和细节之间的不平衡，以及保持精细细节和区域对比度之间自然的平衡，两个信号V_RC和V_D被单独地映射。实现此的一种优选方式是通过从输入动态范围[K_LDR-W_LDR]到预定义的目标动态范围[K₀-W₀]（其可取决于显示能力、人眼能力或个人偏好）线性地拉伸区域对比度V_RC：

其中是拉伸的信号。这样预定义的目标动态范围可以由制造商设置。W₀定义了组合信号的动态范围的上方值。在图1中，第一信号V_RC的拉伸通过M(V_RC)示意性地说明，其中M代表拉伸操作，其上述公式是使用了线性拉伸的示例。对于该拉伸或映射步骤，以及对于任何其它拉伸或映射步骤，使用用于映射的其它公式的非线性拉伸也是可能的。

拉伸操作提供了范围扩展。大体上，拉伸动态范围是如下因子：

其为输入动态范围（W_LDR-K_LDR）和目标动态范围的比率，即应用于第一区域对比度信号的拉伸量。所述拉伸由拉伸器3执行。拉伸器3将具有进入的动态范围（W_LDR-K_LDR）的进入数据V_in映射到拉伸的动态范围（W₀-K₀）。

在上文中，优选地W₀<W_HDR，其中W_HDR是显示器的最大范围，从而保持预定义的目标动态范围低于最大显示动态范围。这防止了大的亮区将以不舒适的高亮度来成像/再现。

优选地，W₀是在对应于500至1000尼特范围内亮度的范围内。

其次，与第一信号的拉伸因子相比，细节层信号通过在增强器4中应用适度的增强因子g_D来增强：

其中是包含细节的拉伸的第二信号。优选地，增益g_D接近1（例如在1和1.2之间的范围内）或简单为1，在后者的情况下，细节层数据V_D被原样留下，没有增强，这是简单的优选实施例。在许多遗留的压缩LDR信号中，执行多多少少保留了细节中的对比度的压缩。因此，使细节层不受影响，即应用增益因子1通常是足够的，并且降低了算法的复杂度。

显然，可以使用扩展函数M(V_RC)和g_D而不是上述的简单线性缩放，比如功率函数或S-函数。最后，通过组合所映射的细节和区域对比度层（即拉伸的第一和第二信号）来构建输出：

是组合的被拉伸的第一和第二信号。在该示例中，这通过在组合器5（在该示例中，是简单的加法器）中组合被拉伸的第一和第二信号来完成。

本发明的该方面通过在增加输入信号的动态范围之后、降低区域对比度和细节对比度之间的可视失配而改进了显示的图像。

发生在HDR显示器中的另外的问题是新HDR显示器的峰值亮度非常高（例如，Brightside/Dolby的DR37-P被报道有超过3000 cd/m2的峰值亮度）。因此，在显示期间拉伸信号至全动态范围可以导致对于某些图像的不舒适的亮景象。输入被拉伸的范围可以例如限于500和1000尼特之间，以避免这种不舒适的景象，但是在该情况下，显示器的能力没有被完全利用。

为了解决该问题，在本发明的优选实施例中，另外的步骤被加入到算法中。该优选的步骤被示意性地示出在图1的方框6中。

为了充分利用HDR显示器的能力，小的镜面高亮区被识别，剩余可用动态范围（即范围W₀到W_HDR）利用其进行填充（加亮）。优选地，使用也作为一种低通滤波器形式的双边网格。由于双边网格涉及构建局部直方图，因此这些直方图可以直接用来识别具有少量亮像素的区域。执行高亮区识别的算法在图1中示意性地示出为识别器7中的函数FHL（V_in）。被识别为属于高亮区的像素数据在映射器8中被增强一定因子的倍数，该因子将像素数据带入最高的动态范围，从而提供加亮小的亮区的信号V_HL。信号和V_HL在组合器9中被组合，以提供输出信号V_out。可以通过简单的乘法或通过更复杂的函数来完成映射。

图2示意性地图示了各种不同的动态范围增强。该输入信号V_in具有范围从K_LDR到W_LDR的动态范围。这被映射到从K₀到W₀的动态范围。除了在图2中由箭头7’示意性地指示的被识别为属于高亮区的像素（包括最高输入范围内的像素）由高亮区识别器7识别；对于被识别为属于高亮区的像素，在映射器8中执行映射操作，其中用于高亮区的数据被映射到更大的动态范围上，特别是覆盖了例如对应于HDR显示器设备的全动态范围的顶部的最高亮度范围HL。为高亮区保留的该最高的亮度范围被拉伸至最大值W_HDR。该最大值位于目标动态范围的上方值W₀之上，该目标范围被保持为适度亮度值以避免不舒适的观看情形。图2中的“Ex”示意性图示了针对的动态范围的扩展，“HL”示意性图示了为高亮区信号V_HL保留的更高动态范围。

图3图示了高亮区识别算法。

输入信号被发送到识别器7。具有高于阈值I_threshold的亮度I的像素以及这种高强度像素的数量n_av低于阈值n_threshold的那些区域或块被识别为高亮区。以下给出另外的示例。

作为示例，可以遵循以下过程：

为了在处理流中包括加亮，构建在输入信号上的双边网格的强度都被拉伸至目标动态范围[K₀-W₀]，从而产生网格B₀，并且一旦拉伸至显示器的全动态范围[K_HDR-W_HDR]，从而产生网格B_HDR。这两个网格在切割（内插）之前利用混合映射M自适应地混合成最终的网格B_mapped：

。

注意到，在该示例中，以上所有操作都基于网格进行，网格是图像的子采样程度很高的表示，因此在数字上是不昂贵的。全分辨率的最终输出借助于切割成映射的双边网格B_mapped来构建。为了创建混合映射M，我们采用以下途径：

1. 通过对现有局部直方图求和来构建区域累积直方图，

2. 确立亮度I_threshold，高于该阈值，少于n%的图像像素存在，换句话说，前n%的亮度值，

3. 对强度高于I_threshold的像素数量n进行计数（基于局部），

4. 运用形态学扩张（morphological dilatation）滤波器来创建邻近箱（bin）之间的空间一致性，从而产生一致性值C₀。如果一致性值高，则出现相对较大的亮区，如果一致性值小，则出现小的亮区，

5. 计算混合因子M。对于合格像素的数量低于预定义的阈值T（小的高亮区，因此被混入）的区域，映射函数M的值被设置成1，高于该阈值则落到0，以防止大的亮图像部分变得使人不舒适的亮：

图4a至4f图示了如上所述的动态范围扩展算法的效果。所示为(a)模拟的LDR输入图像，以及(b)区域对比度层和(c)借助双边网格滤波提取的细节层。在扩展后景象的自然外观通过(d)仅将区域对比度VRC扩展到用户或制造商定义的范围[K₀-W₀]来维持。在(e)中，示出了中间输出（画面（c）和（d）的和）。在（f）中，最终映射的输出被示出，其中小的镜面高亮区被识别以填补剩余的可用动态范围。

 图5图示了针对图4a至4f的图像计算的混合映射。右手侧的比例给出了混合因子M。混合因子的一些典型区通过箭头指示。水中的亮反射和云中的亮区都被正确地检测为小的高亮区并映射到HDR显示设备的全动态范围或近似全动态范围。由于天空中的亮区相对较大，较小的权重（较小的混合因子M）被加于该区以防止它在高亮度HDR显示器上变得令人不舒适。其次，映射的低分辨率性质从其块状外观清晰可见，因为这些操作在局部直方图上执行，而不是在全像素分辨率上。在该优选实施例中，混合映射M被应用于双边网格B₀和B_HDR。像素本身通过切割最终网格B_mapped来构建。结果，仅仅被增强区中的亮像素受到加亮操作的影响，而暗至中灰度强度保持不变，使得加亮过程是用于填补可用动态范围的顶部HL的选择性操作。针对图3a图像的最终输出在图3f中示出。水中和云中的亮反射此时被映射到显示器的峰值亮度（即混合因子M接近1），这些区在图5中通过白色箭头指示，而天空中的较大区保持更靠近图3e的中间强度。再次，通过防止精细细节对比度的过增强，更自然的景象外观被保持。

图6－8示出了所提出的动态范围扩展方法的性能的另外的示例。图6a至6c构成动态范围扩展的说明。所示为：（a）所模拟的LDR图像和扩展的输出（b）没有加亮，以及（c）有加亮。再次，该方法被设计用于给出在极亮HDR显示器上的高性能。在没有这样的显示器的情况下，我们这里限于扩展过程的模拟。为此，LDR输入被模拟，并且扩展过程被用于将图像恢复至全可用范围。显然，该模拟是不理想的，并且不能提供实际HDR显示器的真实外观。不过，图6a至6c图示了区域和精细对比度之间所维持的平衡以及显示器峰值亮度的选择性使用。

图7a至7d显示了动态范围扩展的另外的示例。所模拟的LDR图像7a和7c在左边示出，包含加亮的扩展的HDR版本、图像7b和7d在右边示出。在下方的示例中，椭圆形标注被加亮的区。该示例图示了雪山中大的白色区没有映射到HDR显示器的峰值亮度，因为这将令人不舒适。替代的是，仅有小的镜面高亮区在选择性极高的过程中被映射到全亮度。在上方示例中，仅车头灯被映射到峰值亮度。

图8a至8e提供了动态范围扩展的另外的示例。模拟的LDR图像图8a和8c在左边示出，包含加亮的扩展HDR版本图8a和8d在右边示出。

简而言之，本发明可以描述为提供一种方法、单元和显示设备，其中输入图像信号被分割成区域对比度信号和细节信号，随后，单独拉伸两个信号的动态范围，其中，针对区域对比度信号的动态范围以比针对细节信号的动态范围更高的拉伸比来拉伸。优选地，针对细节信号的拉伸比近似1或优选1。在优选的实施例中，高亮区被识别，并且对于该高亮区，动态范围被拉伸至比用于区域对比度信号甚至更高的程度。

将区域对比度信号比细节信号拉伸更多降低了精细细节相对于区域对比度的增强之间的失配，并且提供了更为自然的外观。针对被加亮区的动态范围的更极端的拉伸将这些高亮区映射到动态范围的顶部。这使得图像闪光，而不会导致将提供令人不适的观看的大的过度亮的区。

本发明的所述方法和系统可以例如以用于各种目的的各种方式来使用，以便启用增强算法和其它视频处理算法。

本发明还包含在计算机程序中，该程序包括用于当在计算机上执行时、执行按照本发明方法的程序代码装置。

本发明可以用在或用于图像信号的转换单元和使用了图像信号的转换的设备中，如显示设备，特别是在具有HDR能力的显示设备中。

在权利要求中，置于括号中的任何参考标记不应理解为限制权利要求。

词语“包括”不排除除了权利要求中所列之外的其它元件或步骤的存在。本发明可以通过以上所述各种不同优选实施例的特征的任何组合来实现。

本发明不限于上面给出的示例，而是可以以不同方式来执行。

例如：

可以根据多个参数来获得上方值W₀，所述参数中最重要的是：

颜色：

反射红色和蓝色的最大饱和水平相比于绿色和黄色较低。在优选实施例中，W₀的值根据颜色来获得，以避免开始发光的部分使人炫目（blind）。

环境照度水平：

在优选实施例中，显示设备设置有光传感器以感测环境照度水平。环境照度传感器的输出确定了上方值W₀，其中环境照度水平越高、设置的上方值W₀越高。图9图示了这样的实施例。该显示设备设置有显示屏幕91。输出信号V_out确定显示在屏幕91上的图像。该显示设备还设置有用于测量环境照度的环境照度传感器92。该传感器的输出是拉伸V_RC的动态范围的拉伸器3的输入。该传感器的输出还可以被耦合到识别器7和/或映射器8，以便确定高亮区和/或拉伸提供高亮区的动态范围。在该示例中，传感器92的输出直接被馈送至识别器7和/或映射器8内。在本发明的实施例内，拉伸器3和识别器7和/或映射器8的功能参数可以被链接，使得传感器信号可以被发送到这些设备中的仅一个设备。同样，可以存在包括查找表的计算机程序，其中作为传感器信号函数的用于拉伸器3的功能参数（如动态范围的上方值和/或该动态范围上的分布）和/或针对识别器7和/或映射器8的功能参数被存储。在该实施例中，传感器的输出是计算机程序的输入，并且计算机程序控制拉伸器3、识别器7和/或映射器8的参数。

－图形检测

在优选实施例中，图形检测单元被用于识别图形（如标志、字幕）以避免将其增强和/或加亮。

本发明还包括在各种系统中：

图像转换单元也可以构成各种类型的图像处理设备的部分。

例如，用于执行转换的转换单元可以是如图9中显示设备的一部分。

“转换单元”应被广义地理解为包括用于执行转换方法的软件、硬件或其任何组合的任何装置。

转换单元还可以是例如记录设备的一部分。其可以记录图像或视频，其中给记录设备提供关于显示设备能力的信息。记录设备实时地或者按行地（of line）应用按照本发明的方法，从而使动态范围W₀-K₀和/或W_HDR-K_HDR匹配于显示器屏幕的能力。改进的图像或视频随后可以实时地或者之后显示。

在对该系统的变型中，软件可以在互联网的某服务器上。用户发送他/她拥有的图像或视频的图像数据到互联网站点，并向该互联网站点提供关于他/她拥有的显示设备的动态范围能力的细节。该动态范围信息可以例如通过指定动态范围而是明确的，或者例如通过指定他/她拥有的显示设备的而是隐含的，或者甚至用户没有注意到它，因为显示器的类型被自动地检查。在服务器处，检查在给定显示设备的能力的情况下，应用本发明的方法到输入图像数据是否产生改进的图像或视频。如果答案是肯定的，则本发明的方法被应用于该输入图像数据，并且在接收到对该服务的付费之后，匹配于HDR显示器能力的改进的输出图像数据被回送至用户。

该实施例允许用户升级他/她的“老”图像或视频，以便充分利用他/她新购买的HDR显示器的HDR能力而无须迫使用户去购买特定的转换单元。

在“按次付费”系统中，例如观看运动会，可以给用户一个购买标准质量的还是升级质量的选择，其中升级质量匹配于他/她拥有的特定HDR显示器设备的动态范围。