处理一组输入图像的方法、图像处理设备和数字照相机

摘要

本公开涉及处理一组输入图像的方法、图像处理设备和数字照相机。一种通过根据场景分类选择优选的色调映射算子和色域映射算法，来处理高动态范围(HDR)图像的方法。场景被分成室内场景、室外场景和有人的场景，据此选择色调映射算子和色域映射算法。在场景分类之前，利用曝光融合算法，把按各个曝光值拍摄的多个图像融合成低动态范围(LDR)图像，并利用融合的LDR图像进行场景分类。随后，从多个图像生成的HDR图像被利用选择的色调映射算子而色调映射成LDR图像，随后被色域映射到诸如打印机之类输出设备的色空间。

说明书

技术领域

本发明涉及高动态范围(HDR)图像处理，具体地，本发明涉及根据 场景分类，自动选择最佳的色调映射算子和色域映射算法。

背景技术

高动态范围(HDR)成像是一种在图像处理和数字摄影中，用于处理 具有极大亮度(光强度)范围的来源的技术。例如，日光下的室外场景可包 括蓝天和阳光照射的物体，以及在阴影处的物体；夜晚场景可包括霓虹 灯和明亮地照亮的物体，以及照明不足的物体；室内场景可包括明亮的 窗户，以及较暗的区域，等等。这些场景对诸如数字照相机之类的成像 设备提出挑战；目前可用的数字照相机的图像传感器的动态范围通常不 能对这样的场景充分成像。如果曝光水平适合于捕捉场景的较暗区域的 细节，那么较亮区域常常会过度曝光，从而丢失细节；相反，如果曝光 水平适合于捕捉场景的较亮区域的细节，那么较暗区域常常会曝光不足， 从而丢失细节。

HDR成像技术通过以各种曝光水平(称为包围曝光(exposure  bracketing))拍摄相同场景的多个图像，随后数字合并或组合所述多个 图像，以创建包含来自初始的多个图像的信息的HDR图像，以致在HDR 图像中充分表现较亮区域和较暗区域中的细节，来处理该问题。根据多 个图像(称为包围曝光图像(bracket))创建HDR图像的方法是公知的； 该处理一般涉及对齐多个图像，除去多个图像中的重像(ghost)(当在所 述多个图像的拍摄期间，场景中的物体移动时，会出现重像)，并合并 所述多个图像，以形成HDR图像。

为了由打印机打印HDR图像，图像首先必须被着色成打印机支持的 颜色。一般，能够用油墨或墨粉在打印机上产生的颜色的范围远远小于 包含在HDR图像中的范围。例如，HDR图像可具有100000:1的动态范 围，而供打印机打印的图像只具有从1到255的色调值。在打印期间， 必须使HDR图像中的远远大得多的颜色范围适合于可能打印的较小范 围。这种变换包括色调映射和色域映射(gamut mapping)，色调映射把 图像的色调值从高动态范围(HDR)转换成低动态范围(LDR)，色域映射把 LDR图像从RGB(红、绿、蓝)色空间转换成CMYK(青、洋红、黄、黑) 色空间，以便打印。已知各种色调映射算法。

在图像处理中使用了场景分类或图像分类。例如，提出了把场景分 成室内场景和室外场景的方法。

发明内容

发现不存在很好地适用于每种图像的单一色调映射算法。例如，发 现Drago色调映射算子(例如，参见F.Drago，K.Myszkowski，T.Annen， N.Chiba的“Adaptive Logarithmic Mapping For Displaying High  Contrast Scenes”，Computer Graphics Forum,2003,22,419-426)往往很 好地适用于具有风景的室外场景的图像，Reinhard02色调映射算子(例 如，参见E.Reinhard,M.Stark,P.Shirley和J.Ferwerda的Photographic  Tone Reproduction for Digital Images，ACM Transactions on Graphics, 2002)往往很好地适用于具有人物的室外场景的图像，而iCAM06色调映 射算子(例如，参见Kuang,J.，Fairchild,M.D.的iCAM06,HDR,and  Image Appearance，IS&T/SID 15th Color Imaging Conference,2007)往 往很好地适用于室内场景的图像。发明人认识到根据图像的场景的类型 的分类，自动选择最佳色调映射算子的方法会增强HDR图像处理。

因而，本发明目的在于一种为HDR图像处理，自动选择色调映射算 子和色域映射算法的方法。

本发明的目的是增强从HDR图像打印的图像的质量。

本发明的另外的特征和优点将在下面的说明中陈述，并且部分根据 所述说明是显而易见的，或者可通过本发明的实践而获悉。利用在说明 书和权利要求书，以及附图中特别指出的结构，将实现和获得本发明的 目的和其它目的。

为了实现这些和/或其它目的，如具体体现和概括所述，本发明提供 一种在数据处理设备中实现的，处理按各个曝光值拍摄的场景的一组多 个输入图像的方法，所述方法包括：(a)利用所述多个输入图像中的一个 或多个图像，把场景归入多个场景类别之一；(b)根据在步骤(a)中确定的 场景类别，选择多个预先保存的色调映射算子之一；(c)合并所述多个输 入图像，以生成高动态范围(HDR)图像；和(d)利用在步骤(b)中选择的色 调映射算子，对HDR图像进行色调映射，以生成低动态范围(LDR)图像。

步骤(a)可包括：(a1)从所述多个输入图像中选择两个或更多图像的子 集；(a2)通过为每个选择的图像生成权重图，并利用权重图组合选择的图 像，来把选择的图像子集融合成单个融合图像，权重图是根据每个选择 的图像中的各个像素的饱和度、对比度和曝光适当度(well-exposedness) 中的一个或多个生成的；和(a3)把融合图像归入多个场景类别之一。

所述方法还可包括：(e)根据在步骤(a)中确定的场景类别，选择多个 预先保存的色域映射算法之一；和(f)利用在步骤(e)中选择的色域映射算 法，把在步骤(d)中生成的LDR图像从图像的色空间转换成输出设备的色 空间。

在一个例子中，多个场景类别包括包含人物的明显存在的场景类别， 室外场景类别和室内场景类别。利用面部识别技术，可以确定人物的存 在。利用图像的相关色温，可以分类室外场景与室内场景。

在另一个方面，本发明提供一种执行上述方法的图像处理设备。

在另一个方面，本发明提供一种数字照相机，所述数字照相机具有 上述图像处理设备，还包括：用于获得图像的成像部分；和用于控制成 像部分，以获得具有不同曝光水平的一组多个图像的控制部分。

显然上面的概述和下面的详细说明都是例证性的，用于提供对要求 保护的本发明的进一步说明。

附图说明

图1示意地图解说明按照本发明的实施例的HDR图像处理方法。

图2A示意地图解说明其中可实现本发明的实施例的数据处理设备。

图2B示意地图解说明其中可实现本发明的实施例的数字照相机。

具体实施方式

本发明的实施例利用场景分类自动为HDR图像处理选择最佳的色 调映射算子和最佳的色域映射算法。在一个特定的实施例中，场景被分 成3个类别，即，无人的室外场景，无人的室内场景，和有人的场景(室 外和室内)；3种色调映射算子，即，Drago、iCAM06和Reinhard02分 别用于这3类场景。

图1示意图解说明按照本发明的实施例的HDR图像处理方法。在诸 如计算机、数字照相机之类的数据处理设备中，实现所述方法。所述方 法接收按各个曝光值拍摄的相同场景的一组多个图像(包围曝光图像)作 为输入。已进行了包括图像对齐和重像去除在内的预处理步骤(未图示)。 利用HDR图像生成算法，合并所述多个包围曝光图像，以形成HDR图 像(步骤S16)。对于本实施例，可以采用任何适当的HDR图像生成算法。

同时，应用场景分类(步骤S11-S13)，以把场景归入多个预先识别的 场景类别之一。首先，所述多个图像中的每个被下采样，以生成一组较 小的图像(步骤S11)。由于利用现代照相机获得的图像一般具有高像素分 辨率，因此下采样改善性能，而不会可观地牺牲场景分类准确性。下采 样步骤是可选的。

随后利用曝光融合算法，把所述多个图像融合成融合LDR图像(步 骤S12)。曝光融合是一种把多个包围曝光图像直接融合或混合成单个 LDR图像，而不首先生成HDR图像，随后应用色调映射的技术。曝光 融合可创建适合于显示(或打印)目的的LDR图像，该LDR图像在场景 的明亮和较暗区域中都表现出良好的曝光水平。曝光融合处理速度快， 不过，产生的LDR图像的质量不如通过对HDR图像进行色调映射而生 成的LDR图像高。在T.Mertens，J.Kautz和F.Van Reeth的Exposure  Fusion,Proceedings of the Pacific Conference on Computer Graphics  and Applications,Pacific Graphics 2007.Page 382-390中说明的一种曝光 融合方法(下面称为“Mertens等”)计算每个包围曝光图像中的各个像素的 感性质量度量，其代表比如饱和度、对比度和曝光适当度之类的所需质 量。这种质量度量用于构成每个包围曝光图像的权重图，所述权重图用 于把多个包围曝光图像结合成单个LDR图像。在Mertens等的论文中说 明的方法中，应用另外的技术来纠正由权重图中的突然变化引起的问题。

如在Mertens等的论文中所述，通过把拉普拉斯滤波器应用于各个 图像的灰度级版本并计算滤波器响应的绝对值，可计算对比度的指标 (indicator)。该对比度指标往往向诸如边缘和纹理之类的重要元素赋 予较高的权重。饱和度可被计算成在各个像素，在R、G和B通道内的 标准偏差。饱和色是合乎需要的，使图像看起来鲜艳。如果像素的强度 不接近于0(曝光不足)或1(过度曝光)，那么像素被适当曝光。通过利用高 斯曲线或其它曲线，可用强度接近于0.5的程度来测量曝光适当度。

在本发明的优选实现中，在步骤S12中使用简化的曝光融合算法， 所述简化的曝光融合算法是通过只利用质量参数之一(例如，饱和度， 或者对比度或者曝光适当度)来生成权重图，根据Mertens等的方法修 改而来的。这种简化提高了速度，而不会可感知地影响场景分类准确性。 在备选实现中，组合地使用在Mertens等的论文中说明的多个或所有质 量参数(包括饱和度、对比度和曝光适当度)来计算权重图。

在一个实施例中，在步骤S12，把一组多个图像中的所有包围曝光图 像融合在一起，从而生成融合LDR图像。在备选实施例中，尤其是当图 像集中的包围曝光图像的数目较大时，利用包围曝光图像的子集来生成 融合LDR图像。例如，如果图像集包含7个包围曝光图像，那么可以使 用3个包围曝光图像(例如，第二个、第四个和第六个)，或者可以使用4 个包围曝光图像(第一个、第三个、第五个和第七个)，等等。从而，更一 般地说，步骤S12包括融合输入的多个图像的子集，其中所述子集可以 是所有输入的多个图像，或者少于所有输入的多个图像。

利用融合的LDR图像，进行场景分类(步骤S13)。在一个特定的实 施例中，场景被分成3种类别：无人物的明显存在的室外场景(在本公开 中，为了方便起见，称为室外场景)，无人物的明显存在的室内场景(称为 室内场景)，和包含人物的明显存在的场景(称为有人的场景)。在这个实 施例中，通过首先在图像中检测具有肤色(skin tone)的形状和/或面部 的存在，来进行场景分类。肤色是预定的一组颜色。在一种实现中，如 果检测到具有面部或臂腿类形状的肤色区域，那么该图像被分类成有人 的场景。在另一种实现中，如果相当多的图像像素(例如，图像中的全部 像素的5％或者更多)具有肤色，那么该图像被分类成有人的场景。在另 一种实现中，利用面部检测或识别技术检测图像中的面部，以判定场景 是否是有人的场景。这里，可以使用任何适当的面部检测或识别算法。

随后，计算图像的相关色温(CCT)，以判定该场景是室内场景，还是 室外场景。CCT是光源色表(color appearance)的度量；它被定义成其 感知颜色在相同亮度及规定的观察条件下，最接近地类似于给定刺激的 颜色的黑体辐射源的温度。在A.Nadian Ghomsheh和A.Talebpour的A  New Method for Indoor-outdoor Image Classification Using Color  Correlated Temperature,International Journal of Image Processing (IJIP),Volume(6),Issue(3),2012,167-181中，说明了利用CCT对室内- 室外场景分类的一种方法。这种方法把图像分成不同颜色的部分，并为 每个部分找出CCT。这些值构成图像特征向量。训练向量被用于训练场 景分类器，以把场景分成室内场景和室外场景(参见该论文的第170-171 页)。在该论文中说明的方法可用于步骤S13中的场景分类。

上面说明的3个场景类别仅仅是例子；在其它实施例中，场景可被 分成其它类别，例如夜晚场景和白天场景，通常较暗的场景和通常较亮 的场景等。通过计算像素强度的直方图并检测直方图的特征形状，可以 分类夜晚/白天和较暗/明亮场景。例如，夜晚场景的直方图可能具有两个 不同的峰值，大部分的像素分布在构成高峰值的低明度区域，而一小部 分的像素分布在构成较小峰值的高明度区域。对较暗的图像来说，大部 分的像素可能分布在构成单一峰值的低明度区域。

根据在步骤S13中确定的场景分类，自动选择色调映射算子，以用 于处理HDR图像(步骤S14)。在一个实施例中，色调映射算法的选择如 下：对于室外场景，选择Drago色调映射算子；对于室内场景，选择 iCAM06色调映射算子；和对于有人的场景(室外和室内)，选择 Reinhard02色调映射算子。如果场景被分类成白天/夜晚或明亮/较暗场 景，那么Drago色调映射算子可用于白天或明亮场景，iCAM06色调映 射算子可用于夜晚或较暗场景，而Reinhard02色调映射算子可用于有人 的场景。

场景类别和色调映射算子之间的上述对应仅仅是一个例子；对于各 种场景类别，可以选择其它的色调映射算子。其它的一些目前已知的色 调映射算子包括Reinhard05(例如参见E.Reinhard，K.Devlin的 Dynamic Range Reduction Inspired by Photoreceptor Physiology,IEEE  Transactions on Visualization and Computer Graphics,2005,11,13- 24)，Durand(例如参见F.Durand和Julie Dorsey的Fast Bilateral  Filtering for the Display of High-Dynamic-Range Images,ACM  Transactions on Graphics,2002,21,3,257-266)，Retina(例如参见Benoit  A.，Caplier A.，Durette B.，Herault,J.的Using Human Visual System  Modeling For Bio-Inspired Low Level Image Processing,Elsevier, Computer Vision and Image Understanding 114(2010),pp.758-773)等 等。在备选实施例中，可以根据场景分类，选择这些其它色调映射算子 之一。一般来说，可凭经验确定场景类别和优选的色调映射算子之间的 对应，场景类别和色调映射算子之间的对应表可被预先保存在数据处理 设备中。

另外(可选)，根据在步骤S13中确定的场景分类，自动选择用于处理 色调映射之后的图像的色域映射算法(步骤S15)。为此，在数据处理设备 中保存多个色域映射算法，或者利用不同的色域映射算法预先计算的多 个查寻表，场景类别和优选的色域映射算法之间的对应也被预先保存。 这里，如果色域映射算法利用不同的公式，或者公式相同但是参数不同， 等等，那么色域映射算法被认为不同。可以根据实验人工地、或者通过 利用训练数据机器学习地确定场景类别和优选的色域映射算法之间的对 应。

随后，通过应用在步骤S14中选择的色调映射算子，在步骤S16中 生成的HDR图像被色调映射成LDR图像(步骤S17)。随后利用在步骤 S15中选择的色域映射算法，色域映射该LDR图像，从而生成用于打印 的图像(步骤S18)。色域映射把图像从一个色空间，这种情况下，照相机 (输入设备)的色空间，例如RGB，转换成另一个色空间，这种情况下， 打印机(输出设备)的色空间，例如CMYK。一旦选择了色调映射算子和 色域映射算法，本领域的技术人员就可实现步骤S17和S18，而不进行 过度的实验。

在上述实施例中，根据多个包围曝光图像生成的融合LDR图像用于 步骤S13中的场景分类。在备选实施例中，对单个包围曝光图像进行场 景分类。例如，可以使用一组图像中的中间包围曝光图像或最佳曝光图 像(就曝光值来说)。在该备选实施例中，步骤S12被省略；改为进行选择 中间包围曝光图像的步骤。这种备选方法不太可取，因为归因于局部过 度曝光和/或曝光不足，单个包围曝光图像通常不能提供场景内的所有特 征的足够细节信息。例如，在中间包围曝光图像中，人脸可能曝光不足。 于是，利用单个包围曝光图像进行场景分类，会导致不正确的场景分类。

上述HDR图像处理方法可用数据处理系统，比如如图2A中所示的 计算机120实现。计算机120包括处理器121、存储器件(例如，硬盘驱 动器)122和内存(例如RAM)123。存储器件122保存软件程序，所述软 件程序被读出到RAM 123，并由处理器121执行，以实现所述方法。

所述方法也可以用硬件电路，比如数字照相机内的一个或多个芯片 实现。图2B示意图解说明数字照相机130，数字照相机130包括处理器 121、存储器件132和内存133，以及用于获得图像的成像部分134，和 用于控制照相机的各种功能的控制部分135。控制部分135可进行自动包 围曝光，以自动按不同的曝光水平获得一组图像。自动包围曝光是公知 的，从而这里省略其细节。处理器131可利用上述算法，处理所述一组 图像，以生成HDR图像。

在一个方面，在数据处理设备中具体体现本发明，数据处理设备可 以是数字照相机的数据处理部分。在另一个方面，本发明是包含在计算 机可用非临时性介质中的计算机程序产品，所述计算机可用非临时性介 质具有嵌入其中，用于控制数据处理设备的计算机可读程序代码。在另 一个方面，本发明是由数据处理设备执行的方法。

对本领域的技术人员来说，显然在本发明的HDR图像处理方法和相 关设备中，可以作出各种修改和变化，而不脱离本公开的精神或范围。 从而，本发明覆盖在附加权利要求及其等同物的范围内的修改和变化。