用于从移动场景的多个曝光中生成高动态范围图像的系统和过程

摘要

本发明介绍了一种即使存在场景或照相机运动，也可从分界的图像序列中生成高动态范围(HDR)图像的系统和过程。这用下列方式实现：首先将这些图像之一选作参考图像。然后，每幅非参考图像利用这些图像(包括该参考图像)中的另一幅图像来套准，以生成流场，其显示的曝光，比考虑中的图像更接近于该参考图像的曝光，且在这些其他的图像之中最接近于考虑中的图像的曝光。连接为这些还没有利用参考图像来加以套准的非参考图像而生成的这些流场，以便利用该参考图像来套准它们中的每幅图像。然后，使用其关联的流场来扭曲(warp)每幅非参考图像。组合该参考图像和这些扭曲图像，以创建代表该HDR图像的辐照映射。

说明书

                              背景

技术领域：

本发明涉及从一系列分界的图像中产生“高动态范围”(HDR)图像，更具体地说，涉及用于生成这类HDR图像的系统和过程，即使在这些图像之间存在场景或照相机运动，也是如此。

背景技术：

与如今大多数照相机中的这些传感器所能够拍摄到的相比，真实世界具有多得多的亮度变化。单一场景的辐照可以包含四个亮度数量级——从阴影到完全被照亮的区域。典型的CCD或CMOS传感器只拍摄大约256-1024个亮度级。

近年来，这个有限动态范围问题促成了许多解决方案。用于拍摄静态场景的完全辐照的一种方法是：拍摄该场景的多个曝光，然后将它们组合起来，以创建“高动态范围”(HDR)映射[3，7，8，9，12]。由于这些技术需要多幅输入图像，因此，这些输入之间或者因该场景中的动态元件或者因移动(例如，手持)照相机而有可能存在运动。Mitsunaga等人[9]通过使全局运动模型适合这些输入在有限的程度上处理这个问题。Mann等人[8]使用单对应性(homograph)来套准以不同方式被曝光的帧，这可以补偿更大的照相机转动。Bogoni[2]使用每一像素流所遵循的仿射运动，来套准(register)不同的曝光，但没有提供该帧配准的细节。

可以使用多个图像检测器、新颖的传感器或在空间上不同的像素曝光[10]，来消除“合并在不同时间拍摄的图像”的需求(并且，从而消除该运动问题)。但是，本发明的焦点在于：可以使用普遍可用的常规(即低动态范围)图像传感器和照相机来实现什么。

一旦HDR图像被加以计算，就可以将它呈现给显示器。由于典型的显示器只能够产生大约两个数量级的亮度值，因此，必须对该HDR图像执行对比度缩减。许多研究人员[4，5，11]最近已探索了这个所谓的色调映射(tone mapping)问题。

注意，在前述各段中，以及在本说明书的其余部分中，本文提到由一对括弧内所包含的数字标志符来标识的各种单独的出版物。例如，这类参考资料可以通过列举“参考资料[1]”或仅仅列举“[1]”来加以标识。多个参考资料将由包含一个以上的标志符的一对括弧(例如，[2，3])来加以标识。可以在“详细说明”章节的末尾处找到包括与每个标志符相对应的这些出版物的参考资料清单。

                              概述

本发明针对用于从场景的分界的图像序列中生成高动态范围(HDR)图像的系统和过程，即使在这些图像之间存在场景或照相机运动，也是如此。这个系统和过程涉及：首先将具有最多数量的“有效”像素的该序列的这幅图像指定为参考图像。如果像素不饱和，并且，它显示出可接受程度的对比度，则认为该像素有效。在所测试的实施例中，以8比特RGB色彩空间值为单位来测量像素的亮度，并且，如果其RGB值中的每个值在间距以内，则认为像素是不饱和的并显示出这个可接受程度的对比度。在本发明的各个被测试的版本中，该间距的最小值和最大值被分别设置为17和254。

一旦已选择该参考图像，就利用该参考图像来套准该序列中的这些“非参考”图像中的每幅图像。在本系统和过程的一个实施例中，对每幅非参考图像是这样实现的，通过利用该分界的序列(包括该参考图像)的这幅图像来套准考虑中的该图像，其显示出的曝光，比考虑中的图像更接近于该参考图像的曝光，且在其他这些图像之中最接近于考虑中的该图像的曝光。这个配准程序为这些非参考图像中的每幅图像生成流场(flow field)。在本发明的被测试的实施例中，该配准涉及：计算每一像素的光流场。

为这些非参考图像(还没有利用该参考图像来加以套准)而生成的这些流场被连接起来，以便利用该参考图像来套准它们中每一幅图像。这些连续的流场或在原先直接利用该参考图像来加以套准的这些图像的情况中的该未修改的流场随后被用来扭曲(warp)每幅非参考图像。然后，将这些扭曲的图像与该参考图像组合起来，以创建表现该HDR图像的辐照映射。在将要使用8比特显示器来呈现和显示该HDR图像的情况中，该辐照映射经历色调映射程序，以便将它转换成适合由该系统来显示的图像。

注意，虽然未作要求，但理想的情况是：该分界的序列中的图像数目以及这些图像之中的该曝光的变化是如此，以便这些图像共同拍摄实质上其中所描绘的该场景的所有亮度变化。

关于为这些非参考图像计算每一像素的光流场，可以如下所述，根据本HDR图像生成系统和过程的一个实施例来实现这一点。如果与它正利用其来加以套准的另一幅输入图像相比，考虑中的该图像具有较短的曝光，则增强考虑中的该图像的亮度，以便实质上与这另一幅图像的亮度范围相匹配。然而，如果与它正利用其来加以套准的另一幅图像相比，考虑中的该图像具有较长的曝光，则增强那另一幅图像的亮度，以便实质上与考虑中的该图像的亮度范围相匹配。无论在哪一种情况下，在完成该增强程序之后，计算流场，该流场通过估计将考虑中的该图像映射到那另一幅图像上的全局变换，利用这另一幅输入图像来对考虑中的该图像进行全局套准。然后，使用基于梯度的光流程序，来计算对比度强的运动领域。这产生对利用该全局变换来加以计算的该流场的局部校正。该被校正的流场由每个像素位置的合成矢量组成，该合成矢量是从该全局变换中导出的全局分量和从该对比度强的运动领域(形成关于该全局分量的该局部校正)获得的局部分量的总和。可以使用任何合适的常规全局变换。在本发明的各个被测试的版本中，所使用的该全局变换是仿射变换。

用于计算该对比度强的运动领域(形成对该全局变换的局部校正)的该前述程序涉及：使用拉普拉斯算子金字塔构架中所用的该Lucas与Kanade技术的变式。更具体地说，考虑中的该图像朝向它正利用其来加以套准的该序列的另一幅图像扭曲，并且，在该金字塔的每个层次处估计这些残留的流动矢量。为该金字塔的每个层次处的每个像素累积这些残留的流动矢量，以建立该对比度强的运动领域的最后的局部分量。

关于组合该参考图像和扭曲图像来创建辐照映射，可以如下所述，根据本HDR图像生成系统和过程的一个实施例来实现这一点。首先，该参考图像和每幅扭曲图像被转换为单独的辐照图像。然后，将辐照值分配给该辐照映射中的每个像素位置。这些辐照值可以要么是与该参考图像单独关联的该辐照值，要么是从与该参考图像和这些扭曲图像关联的这些辐照图像中的这些对应的像素位置中获得的两个或更多的辐照值的加权组合。一般而言，该决定将取决于：根据这些像素的亮度，哪些值被认为是可信赖的。

更具体地说，关于该参考图像的每个像素位置，首先确定：被分配给这些扭曲图像中的该对应位置的这些辐照值是否在被分配给考虑中的该参考图像的该像素位置的这个辐照值的容许的最大噪声方差以内。如果发现被分配给这些扭曲图像中的该前述对应位置的这些辐照值中的至少一个辐照值在这个容许的最大噪声方差以内，那么，这些辐照值和该参考图像的辐照值的加权平均值被分配为该辐照映射内的考虑中的像素位置的该辐照值。但是，如果发现被分配给这些扭曲图像中的该对应位置的这些辐照值不在该前述容许的最大噪声方差以内，那么，与该参考图像单独关联的该辐照值被分配为该辐照映射内的考虑中的像素位置的该辐照值。

除刚才描述的这些好处以外，本发明的其他优点还将通过在下文中结合附图所进行的详细说明而变得一目了然。

                            附图说明

通过以下的说明、所附权利要求书和附图，本发明的这些特殊的特点、方面和优点将会变得更好理解。在这些附图中：

图1描绘了一种通用计算设备，该通用计算设备构成用于执行本发明的示范系统。

图2是流程图，图解了根据本发明的、用于生成HDR图像的总过程。

图3(a)-(d)描绘了日出场景的一系列五幅分界的图像，它们具有注释，该注释示出图2中的该HDR图像生成过程的每个部分如何处理这些图像。

图4(a)-(b)是与图2中的该辐照映射计算关联的图，其中，图4(a)中的图表标绘出“全局加权对亮度”，图4(b)中的图表标绘出基于匹配像素的辐照一致性的该似乎合理的映射。

图5是流程图，图解了图2中的该辐照映射计算程序的一个实施例。

图6(a)-(e)描绘了使用根据本发明的该配准程序与使用全局配准技术的比较的各种结果，其中，图6(a)表现了日出场景的一系列五幅分界的图像，图6(b)和(c)表现了仅是图6(a)中的这些图像的唯一全局配准的各种结果，其中，图6(c)是图6(b)中的右侧的特写镜头视图，图6(d)和(e)表现了根据本发明的配准的各种结果，其中，图6(e)是图6(d)中的右侧的特写镜头视图。

                     较佳实施例的详细说明

在关于本发明的这些较佳实施例的下文中，参考构成其一部分的这些附图，在这些附图中，通过举例说明，表现了其中可以实践本发明的特殊实施例。不言而喻，可以利用其他实施例，并且，在不脱离本发明的范围的前提下，可以进行结构上的更改。

1.0 HDR图像生成计算环境

在描述本发明的这些较佳实施例之前，将简要、概括地描述其中可以执行本发明的合适的计算环境。图1展示了合适的计算系统环境100的例子。计算系统环境100只是合适的计算环境的一个例子，它并不打算对本发明的使用或功能性的范围提出任何限制。也不应该将计算环境100解释为具有涉及示范操作环境100中所展示的任何一个部件或部件组合的任何从属性或要求。

本发明可用于众多其他的通用或专用计算系统环境或配置。可能适用于本发明的众所周知的计算系统、环境和/或配置的例子包括(但不局限于)个人计算机、服务器计算机、手持设备或便携式设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境，以及类似物。

可以在正由计算机执行的计算机可执行指令(例如，程序模块)的一般上下文中描述本发明。通常，程序模块包括执行特殊任务或实施特殊的抽象数据类型的例行程序、程序、对象、部件、数据结构等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括记忆存储设备的本地计算机存储介质和远程计算机存储介质中。

参照图1，用于执行本发明的示范系统包括采取计算机110的形式的通用计算设备。计算机110的部件可以包括(但不局限于)处理单元120、系统存储器130和系统总线121，系统总线121将包括该系统存储器的各种系统部件耦合到处理单元120。系统总线121可以是几种类型的总线结构(包括存储总线或存储控制器、外围总线和使用各种总线构造中的任何总线构造的局域总线)中的任何总线结构。作为例子而不限于此，这类结构包括“工业标准结构”(ISA)总线、“微通道结构”(MCA)总线、“增强的ISA”(EISA)总线、“视频电子标准协会”(VESA)局域总线和也被称作“夹层(Mezzanine)总线”的“外围部件互连”(PCI)总线。

计算机110通常包括各种计算机可读介质。计算机可读介质可以是可由计算机110存取的任何可用介质，它包括易失和非易失介质、可拆卸和不可拆卸的介质。作为例子而不限于此，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括用信息存储诸如，计算机可读指令、数据结构、程序模块或其他数据的任何方法或技术来实施的易失和非易失的可拆卸和不可拆卸的介质。计算机存储介质包括(但不局限于)RAM、ROM、EEPROM、快闪存储器或其他存储技术、CD-ROM、数字通用光盘(DVD)或其他光盘存储器、盒式磁带、磁带、磁盘存储器或其他磁性存储设备、或可以被用来存储所需信息并可以由计算机110来进行存取的其他任何介质。通信介质通常包括计算机可读指令、数据结构、程序模块或调制数据信号(例如，载波或其他传送机制)中的其他数据，它包括任何信息传递介质。术语“调制数据信号”意味着一种信号，该信号的一个或多个特征按这样的方式来加以设置或更改，以便为该信号中的信息编码。作为例子而不限于此，通信介质包括诸如有线网络或直接有线连接的有线介质和诸如声音、RF、红外线和其他无线介质的无线介质。以上任何内容的组合也应该被包括在计算机可读介质的范围以内。

系统存储器130包括采取诸如只读存储器(ROM)131和随机存取存储器(RAM)132的易失和/或非易失存储器的形式的计算机存储介质。基本输入/输出系统133(BIOS)通常被存储在ROM 131中，该基本输入/输出系统包含有助于在计算机110内的各个元件之间传送信息(例如，在启动期间)的这些基本例行程序。RAM 132通常包含可立即由处理单元120存取和/或目前正由处理单元120进行操作的数据和/或程序模块。作为例子而不限于此，图1展示了操作系统134、应用程序135、其他程序模块136和程序数据137。

计算机110也可以包括其他可拆卸/不可拆卸的易失/非易失计算机存储介质。仅仅作为举例，图1展示了从不可拆卸的非易失磁性介质读取或对其写入的硬盘驱动器141、从可拆卸的非易失磁盘152读取或对其写入的磁盘驱动器151，以及从诸如CD ROM或其他光学介质的可拆卸的非易失光盘156中读取或对其写入的光盘驱动器155。可以被用于该示范操作环境中的其他可拆卸/不可拆卸的易失/非易失计算机存储介质包括，但不局限于卡型盒式磁带机、快闪存储卡、数字通用光盘、数字录像带、固态RAM、固态ROM和类似的存储介质。硬盘驱动器141通常通过诸如接口140的不可拆卸的存储接口而被连接到系统总线121，磁盘驱动器151和光盘驱动器155通常由诸如接口150的可拆卸的存储接口连接到系统总线121。

以上所讨论的和图1中所展示的这些驱动器及其关联的计算机存储介质为计算机110提供计算机可读指令、数据结构、程序模块和其他数据的存储。在图1中，例如，硬盘驱动器141被展示为存储操作系统144、应用程序145、其他程序模块146和程序数据147。注意，这些部件可以等同于或不同于操作系统134、应用程序135、其他程序模块136和程序数据137。这里为操作系统144、应用程序145、其他程序模块146和程序数据147给出不同的编号，最低程度说明它们是不同的副本。用户可以通过输入设备(例如，键盘162)和通常被称作“鼠标”、“跟踪球”或“触垫”的点击设备161，来将命令和信息输入计算机110。其他输入设备(未示出)可以包括话筒、操纵杆、游戏垫、碟形卫星天线、扫描仪或类似的输入设备。这些和其他的输入设备经常通过被耦合到系统总线121的用户输入接口160而被连接到处理单元120，但也可以由其他接口和总线结构(例如，并行端口、游戏端口或通用串行总线(USB))来加以连接。监视器191或其他类型的显示设备也经由接口(例如，视频接口190)而被连接到系统总线121。除该监视器以外，计算机也可以包括其他外围输出设备(例如，扬声器197和打印机196)，这些外围输出设备可以通过输出外围接口195来加以连接。对于本发明具有特别重要意义的是：能够拍摄一连串图像164的照相机163(例如，数字/电子静物照相机或摄像机、或胶片/摄影扫描仪)也可以作为对个人计算机110的输入设备而被包括在内。另外，虽然只描绘了一台照相机，但多台照相机可以作为对个人计算机110的输入设备而被包括在内。来自这一台或多台照相机的图像164经由合适的照相机接口165而被输入计算机110。这个接口165被连接到系统总线121，从而允许将这些图像发送到RAM 132或与计算机110关联的其他这些数据存储设备中的一个数据存储设备并存储于其中。但是，注意，也可以将图像数据从前述的任何计算机可读介质输入计算机110，而无需使用照相机163。

计算机110可以在使用与一台或多台远程计算机(例如，远程计算机180)的逻辑连接的联网环境中进行操作。远程计算机180可以是个人计算机、服务器、路由器、网络PC、对等设备或其他公共网络节点，它通常包括以上描述的计算机110许多或所有这些元件，尽管图1中只展示了记忆存储设备181。图1中所描绘的这些逻辑连接包括局域网(LAN)171和广域网(WAN)173，但也可以包括其他网络。这类联网环境在办公室、企业范围的计算机网络、内联网和因特网中很普遍。

当被用于LAN联网环境中时，计算机110通过网络接口或适配器170而被连接到LAN 171。当被用于WAN联网环境中时，计算机110通常包括调制解调器172或用于在WAN 173(例如，因特网)上建立通信的其他装置。调制解调器172(可能是内置的，也可能是外置的)可以经由用户输入接口160或其他合适的机制而被连接到系统总线121。在联网环境中，描述为与计算机110或其各个部分有关的程序模块可以被存储在该远程记忆存储设备中。作为例子而不限于此，图1将远程应用程序185展示为驻留在存储设备181上。应理解成：所示的这些网络连接是示范性的，可以使用在各台计算机之间建立通信链路的其他装置。

2.0 HDR图像生成

现在已讨论了该示范操作环境，本说明章节的其余部分将致力于描述具体表现本发明的这些程序模块。通常，根据本发明的该系统和过程涉及：使用一连串分界的图像来生成HDR图像，即使那些图像拍摄场景和照相机运动，也是如此。

2.1 输入图像序列

如以上所指出的，本HDR图像生成系统和过程使用分界的曝光来创建HDR图像。“分界(bracketing)”是原先在摄影术中所使用的术语，它指的是：按多个曝光设置来拍摄的同一场景的各张照片，以希望获得具有最佳曝光级别的照片。在本发明的上下文中，术语“分界的(bracketed)”图像一般意味着由照相机拍摄的同时改变该曝光级别的一组图像。实现这一点的一种方法是：通过使用在如今的许多静止图像照相机中可发现的自动分界特点。当自动分界场景时，该照相机使用该当前测量模式来确定该正确的曝光，并按那个级别来拍摄图像。然后，它另外又按该原始曝光的固定倍数来拍摄更多的曝光。例如，与该“正确曝光”图像比较，这些照相机中的许多照相机按较短的曝光(例如，按一个或两个f放大光圈)来拍摄一幅图像，并按较长的曝光(例如，按一个或两个f缩小光圈)来拍摄一幅图像。注意，理想的情况是：该分界的序列中的图像数目和这些图像之中的该曝光的变化是如此，使这些图像共同拍摄实质上这里所描绘的该场景的所有亮度变化。利用这种方法，最后得到的该HDR图像将表现该场景的完全动态范围。

不管如何获得这些分界的图像，一旦被输入本系统，就根据曝光来对它们进行分类。然后，具有最多数量的“有效”像素的该图像被选作该参考图像。如果像素不饱和或对比度小，则认为该像素“有效”。执行这一点的一种方法是：要求每个“有效”像素具有在规定的间距内RGB值。例如，在本发明的各个被测试的版本中，该间距的最小值和最大值分别被设置为17和254。

这样，参考图2A和B，通过输入一连串分界的图像，该HDR图像生成过程开始(过程动作200)。然后，这些图像由其曝光级别来加以分类(过程动作202)。例如，图3(a)表现了已由曝光进行分类并被显示成一排的日出场景的一组五幅分界的图像。在这个例子中，显示出最短曝光304的图像示于最左侧，这些图像在曝光方面按从左到右的顺序来增加。这样，在图3(a)中的最右侧描绘了显示出最长曝光308的该曝光。该HDR图像生成过程继续选择具有最多的有效像素的输入图像(过程动作204)，并将其指定为该参考图像(过程动作206)。在图3(a)所示的这个例子中，这一排的中间图像300被发现具有最多的有效像素，并由该箭头做标记。

2.2 HDR图像缝合

由于这些分界的输入图像显示出不同的曝光，因此，生成HDR图像要求从这些输入图像传送像素彩色信息。这又要求：跨越这些不同的输入图像的这些像素对应非常地精确。计算这些像素对应、传送彩色信息和提取该HDR图像的这个过程被称作“HDR图像缝合”。

为了实现这项HDR缝合操作，按所选择的参考图像的方向来套准这些曝光排序输入图像的邻近的每一对。图3(b)中表现了这一点，其中，再次按前述的曝光顺序来示出日出的上述分界的图像序列。如所示，利用具有仅次于最短的曝光级别302的该图像来套准最左侧的最短曝光图像304。依次利用参考图像300来套准后者图像302。同样，利用具有仅次于最长的曝光级别的图像306来套准显示出最长曝光308的该图像，图像306又利用参考图像300来加以套准。选择邻近的各对，因为它们显示出较少的视觉变化，这导致更具鲁棒性的配准。使用接下来将描述的扭曲过程来实现这些输入图像之中的这一系列成对配准。

2.2.1 图像扭曲(warping)

前述的成对配准程序一般涉及：首先增强考虑中的那一对的较短曝光图像，以便与较长曝光邻近者相匹配。然后，经由扭曲过程(在一个实施例中，它涉及后接局部每一像素流计算的全局运动估计)，利用“较接近”的图像来套准具有更远离中心的曝光的图像(相对于所选择的参考图像)。

更具体地说，该HDR缝合过程生成扭曲图像。利用具有较长曝光的该直接邻近图像(可以是参考图像R本身)来套准具有比所选择的参考图像(R)更短的曝光的这些图像(S)，以产生套准的较短曝光图像(S_U)，其中，该“U”下标指的是：它是扭曲图像。为方便注释，对这些较短曝光图像提供下标数字i，其中，i＝1、2、3等，这表示其曝光顺序。明确地说，下标数字i越大，相对于参考图像R，该曝光就越短。最后得到的套准图像S_U将具有对应的下标数字。

前述的图像扭曲过程被实现如下。首先，假设：在比该参考图像更短的曝光(即S_i)处拍摄到考虑中的该当前输入图像。在该HDR缝合过程的初始阶段中，考虑中的该较短曝光图像在亮度方面被增强，以便实质上与具有仅次于最短的曝光的该输入图像(可以是该参考图像本身)的亮度范围相匹配。注意，这些较短曝光图像在亮度方面被增强，以便与该较长曝光图像相匹配，以便于该配准过程。较佳的是，增强这些短曝光图像，而不是缩小该较长曝光图像的比例，以防止该较长曝光帧的这些饱和区域中的像素亮度的错配。增强这些短曝光图像，以便与这些长曝光图像中的这些饱和区域内的细节损失相匹配。也要注意，只使用增强图像来计算流场，这一点将要加以解释。由于该增强过程中引起的噪声和饱和，不使用它们来计算该辐照映射。为了发现所要求的亮度增强数量，可使用该照相机响应函数，来将该较短曝光图像转换成辐照映射，继之使用该反向响应转换成具有较长曝光的虚拟图像。这幅虚拟图像应该与它正利用其来加以套准的该较长曝光图像的这些像素值(模数离散化和噪声)相匹配。

接下来，使用基于梯度的技术来计算流场f_Si。本质上，这涉及计算考虑中的这一对图像之间的对比度强的运动匹配，并且使用这一点来扭曲像素信息。更具体地说，该程序包括两个阶段。首先，通过估计将一幅图像映射到另一幅图像上的全局变换，来对这两幅图像(即，考虑中的该被加强的较短曝光图像及其“次较短曝光”的邻近者)进行全局套准。可以使用任何合适的常规全局变换。在本发明的各个被检测的版本中，所使用的该全局变换是仿射变换。然后，使用基于梯度的光流来计算对比度强的运动领域，该对比度强的运动领域形成对该全局变换的局部校正。这样，关于每个像素，获得是全局分量和局部分量的总和的合成矢量。从这些全局扭曲参数中导出该全局分量，并且，通过接下来将加以描述的光流程序，来生成该局部分量。

关于上述的局部运动估计，在拉普拉斯算子金字塔构架[1]中使用该Lucas与Kanade[6]技术的变式。也可以通过计算总计的局部导数的该矩阵的这些本征值，并确定它是否处于不好的状态，来附加处理退化流情况的技术。本质上，考虑中的图像逐渐朝向每个迭代处的其邻近图像扭曲，并且，沿该金字塔来估计和累积这些残留的流动矢量。在该扭曲期间，通过包括该全局仿射流，来增大这项技术，所以，总是用对全局流的局部校正来代表这些累积的残数。该结果是前述的流场f_Si。

同样，利用具有“不太长”的曝光的该直接邻近图像(可以是参考图像(R)本身)来套准具有比所选择的参考图像(R)更长的曝光的这些图像(L)，以产生被套准的较长曝光图像(L_U)。为方便注释，也将为这些较长曝光图像提供下标数字i，其中，i＝1、2、3等，这表示其曝光顺序。明确地说，下标数字i越大，相对于该参考图像，该曝光就越长。最后得到的套准图像L_U将具有对应的下标数字。

在比该参考图像更长的曝光(即L_i)处拍摄到考虑中的当前输入图像情况下，上述的流场计算程序按如下方式实现。在该缝合程序的该初始阶段中，具有仅次于考虑中的较长曝光图像(可以是该参考图像本身)的“不太长”的曝光的图像在亮度方面被增强，以便实质上与考虑中的该图像的亮度范围相匹配。接下来，使用前述基于梯度的技术，来计算流场f_Li。在这种情况下，在这些较长曝光图像之间计算对比度强的运动匹配，并且，使用这一点来扭曲像素信息。更具体地说，为每个像素，获得合成矢量，这每个合成矢量是全局分量和局部分量的总和。这里，也从这些全局扭曲参数中导出该全局分量，并且，通过先前所描述的光流程序，来生成该局部分量。该结果是前述的流场f_Li。

一旦已计算关于每个“非参考”图像的这些流场(f_Si或f_Li)，就将它们连接起来，以允许直接利用该参考图像来套准每幅图像——除具有最接近于该参考图像的曝光(即S₁和L₁)的该较短曝光和较长曝光图像以外。S₁和L₁的这些流场保持如最初计算的那样，并且，为这些其他的非参考图像而计算的这些连续流取代先前计算的流场。更具体地说，给出流场f_Si和f_Li，其中，i＝1、2、…、n，并且，其中，n是视情况而定的较短或较长曝光图像的数目，为除S₁以外的每幅较短曝光图像以f’_Sj＝f_Sj*…*f_S1方式计算连续流f’_Sj，并且，为除L₁以外的每幅较长曝光图像以f’_Lj＝f_Lj*…*f_L1方式计算连续流f’_Lj，其中，j＝2、…、n。

视情况而定，接下来使用与每幅非参考图像关联的该流场或连续流场，来扭曲这每幅非参考图像，以产生一组套准或“稳定”的图像S’_i和L’_i。在图3(c)中，用图表表示上述程序，其中，可见，直接利用参考图像300来套准每幅非参考图像302、304、306、308。

这样，再次参考图2A和B，该成对配准程序一般涉及：首先选择先前未套准的输入图像，排除该参考图像(过程动作208)。然后，在过程动作210中确定：所选择的该图像是具有比该参考图像的曝光更短的曝光，还是具有比该参考图像的曝光更长的曝光。如果所选择的该图像具有较短的曝光，那么，识别具有仅次于最短的曝光(仍然比所选择的该图像的曝光更长)的该输入图像(过程动作212)。注意，被识别的该图像可以是该参考图像本身。然后，增强所选择的该图像，以便与这幅被识别的图像的曝光级别相匹配(过程动作214)。一旦被增强，就利用这幅被识别的图像来套准所选择的该图像(过程动作216)，在一个实施例中，这涉及全局运动估计，后接局部每一像素流计算。但是，如果发现所选择的该图像具有比该参考图像更长的曝光，那么，识别具有仅次于最长的曝光(仍然比所选择的该图像的曝光更短)的该输入图像(过程动作218)。这里，这幅被识别的图像也可以是该参考图像本身。在这种情况下，增强这幅被识别的图像，以便与所选择的该图像的曝光级别相匹配(过程动作220)。然后，利用这幅被识别的图像来套准所选择的该图像(过程动作222)。接下来，确定是否剩余任何未套准的非参考图像(过程动作224)。如果是这样，则重复过程动作208~224。如果否，则把为这些非参考输入图像(还没有利用该参考图像来加以套准)而生成的这些流场连接起来，以便利用该参考图像来套准其中的每一幅图像(过程动作226)。然后，从这些套准参考图像中恢复辐照映射(过程动作228)。使用这个辐照映射，来生成所需的HDR图像(过程动作230)，这可能涉及色调映射(tonemapping)程序。在以下的各个章节中，将描述该辐照映射恢复和色调映射程序。

2.2.2 辐照映射恢复

如上所述，使用这些稳定的图像和该参考图像来恢复该辐照映射。本质上，如图3(d)所示，将这些图像组合起来，以产生辐照映射。已提议了几项技术来实行这一点[3，7，9，12]。在这些技术中的每项技术中，使用该已知的曝光量值和所计算的照相机响应函数，来将这些输入图像转换成辐照图像。然后，将像素处的最后的辐照值计算为这些辐照图像中的对应像素的加权总和。如前面所指出的，较佳地使用[9]的技术来计算照相机F_response的响应函数。在图4中，通过标绘出“全局加权对像素亮度”的图表，示出了从这项技术中导出的范例加权函数f_W。但是，注意，现存的方法假定被完美地套准的输入图像。由于该HDR缝合过程中的第一个部分中有发生错误配准的可能性，因此，在本过程的这个部分中不假定完美的配准。而是通过不仅使用从该参考图像的像素中导出的辐照值、也使用从这些稳定图像的像素中导出的辐照值，来使该程序更宽容像素配准中的错误。使用逻辑协议，该逻辑协议确定是否从两个或更多的值中的一个值或其组合的该辐照值中导出该最后的辐照映射中的像素，这两个或更多的值从这些前述图像中的对应像素中获得。通常，根据该输入图像中的该像素的亮度来作出这个决定。

更具体地说，参考图5，该HDR缝合中所使用的该辐照映射恢复按如下方式实现。首先，使用常规方法，用响应函数F_response和这些图像的各自的曝光量值把参考图像R以及每幅稳定图像S’_i和L’_i转换成辐照图像(过程动作500)

其中，一般而言，$$ >>Rad>=>>>>F>response>>->1>sup>>>(>p>)>>>exp>>,>>$$Rad是像素的辐照率，p是该像素亮度，exp是该曝光级别。这些辐照图像分别由和来表示。注意，为了计算该前述的曝光，必须知道当拍摄这些分界的图像时所使用的某些照相机参数设置。例如，通常必须知道快门速度和光圈设置。为此目的，可以将这个和其他任何所需的照相机参数数据存储为与这些图像中的每幅图像关联的数据中的标准元数据信息(例如，EXIF标识符)。这允许使该辐照映射计算自动化。

接下来，选择参考图像R的先前未选择的像素(过程动作502)。然后，将来自和图像中的每幅图像的这些对应的辐照值与的所选择的像素进行比较，以确定：与的辐照值相比，多少在所规定的容许的最大噪声方差以下(过程动作504)。如果发现来自和图像的所有这些辐照值都在这个所规定的容许的最大噪声方差以下，则计算这些和该参考图像中的所选择的位置的该值的加权平均值并用它作为该最后的辐照映射中的那个像素位置的辐照值(过程动作506)。加权平均辐R_wavg被计算如下：

$$ >>>R>wavg>>=>>>>f>WM>>>(>>p>R>>,>>p>>S>i>>>)>>>p>>S>i>>>·>·>+>·>·>>f>WM>>>(>>p>R>>,>>p>>S>n>>>)>>>p>>S>n>>>+>>f>WM>>>(>>p>R>>,>>p>>L>i>>>)>>>p>>L>i>>>·>·>+>·>·>>f>WM>>>(>>p>R>>,>>p>>L>w>>>)>>>p>>L>w>>>+>>f>W>>>(>>p>R>>)>>>p>R>>>>>f>WM>>>(>>p>R>>,>>p>>s>i>>>)>>·>·>+>·>·>>f>Wm>>>(>>p>R>>,>>p>>S>n>>>)>>+>>f>WM>>>(>>p>R>>,>>p>>L>i>>>)>>·>·>+>·>·>>f>WM>>>(>>p>R>>,>>p>>L>w>>>)>>+>>f>w>>>(>>p>R>>)>>>>>$$方程式(1)

其中，p_R、p_Si和p_Li是这些辐照图像和中的对应的像素。该加权函数f_WM(q，p)＝f_M(|p-q|)f_W(p)是由似乎合理映射f_M调制的基于亮度的加权函数f_W[9]，其中，f_M()是埃尔米特三次方程式(Hermite Cubic)，它被定义如下：

如果δ＜δ_max且δ_max是规定的参数；方程式(2)

它降低与该对应的参考辐照值截然不同的扭曲辐照值。δ_max是代表前述容许的最大噪声方差的用户规定的参数。在本辐照映射恢复程序的各个被测试的版本中，这个容许的最大噪声方差被设置为16个亮度级别。在图4(b)所示的图表中，标绘出该调制函数的例子。

但是，如果发现来自和图像的辐照值在该最大噪声方差以上，则否决它，并将那个像素位置的该最后的辐照映射中所使用的该辐照值计算为来自的该值和来自与图像的其余的值的该加权平均值(过程动作508)。这脱离了方程式(2)，因为涉及来自和图像的该辐照值的各个项(被发现在这个容许的最大噪声方差以外)被调整归零。这样，使用具有这些剩余的辐照值的方程式(1)，来计算该加权平均值。

最后，如果发现来自和图像的所有这些辐照值在这个容许的最大噪声方差以外，那么，它们都根据方程式(2)来加以否决，并且，直接从中获得所选择的该像素位置的这个最后的辐照映射中所使用的该辐照值(过程动作510)。

接下来，在过程动作512中确定：是否存在还没有被选择和处理的、该参考图像的任何像素。如果存在，则重复过程动作502~512。否则，该过程结束。

2.3 色调映射

使用色调映射，将浮点辐照映射转换成适合用于呈现在典型的电子显示系统中或纸上的8比特表示法。如果将要使用这种系统来显示该HDR图像，则应该使用色调映射来减小每幅HDR图像的动态范围，同时也保持被明亮照明和黑暗照明的区域的良好的对比度级别。

虽然为此目的可使用任何现存的色调映射程序，但本HDR图像生成系统使用由[11]介绍的该色调测绘仪，这基于局部遮光法与烧制的摄影技术。一般而言，通过经由常规方法来将该辐照图像转换成CIE空间，并通过恢复该色度坐标，这个色调映射过程开始。然后，处理该亮度图像，以压缩该动态范围。最后，再插入该色度，并转换该CIE空间图像，以产生该最后的字节范围RGB图像。作为这个色调映射过程的一部分，某些全局参数必须被加以设置，以控制该总体亮度平衡。本质上，对正在加以色调映射的该输入图像执行统计分析，以决定如何设置这些全局参数。

2.4 结果

可以使用(这里在图6(a)中所描绘的)该日出的先前所描述的分界的图像序列来示出前述HDR图像生成系统和过程的有效性。这里，存在相对于地面的照相机运动和云的运动。这样，这些图像拍摄场景运动。如果使用常规全局配准程序(例如，2D透视图或单对应性)来生成合成HDR图像，则获得图6(b)和(c)中所示的该结果(其中，(c)是(b)的右侧的放大版本)。但是，如果使用本HDR图像生成过程，则如图6(d)和(e)所示，会获得好得多的结果。这里，图6(e)是图6(d)的右侧的放大版本。注意图像6(d)和(e)中的这些树叉的较鲜明外观。

3.0 参考资料

[1]J.R.Bergen、P.Anandan、K.J.Hanna和R.Hingorani。基于分层模型的运动估计。出于第二届计算机视觉欧洲会议(ECCV’92)，第237-252页，1992年。

[2]L.Bogoni。通过汇合来扩展单色图像和彩色图像的动态范围。模式识别国际会议。第3卷，第7-12页，2000年9月。

[3]P.E.Debevec和J.Malik。从照片中恢复高动态范围辐照映射。计算机绘图专业组97会刊，第369-378页，1997年8月。

[4]F.Durand和J.Dorsey。用于高动态范围图像的显示的快速双向滤波。ACM制图会刊(TOG)，21(3)：257-266，2002年。

[5]R.Fattal、D.Lischinski和M.Werman。梯度域高动态范围压缩。ACM制图会刊，21(3)：249-256，2002年。

[6]B.D.Lucas和T.Kanade。可应用于立体视觉中的迭代图像配准技术。出于人工智能国际联合会议，第674-679页，1981年。

[7]S.Mann和R.W.Picard。关于利用数码相机而成为“非数字化”：通过组合以不同方式曝光的照片来扩展动态范围。出于IS&T’s第48届年会，成像科技协会，华盛顿特区，第422-428页，1995年。

[8]S.Mann、C.Manders和J.Fung。绘画面面观：来自使用数量测定(quantimetric)处理的视觉的摄影图像。出于ACM多媒体，2002年12月。

[9]T.Mitsunaga和S.K.Nayar。辐照测量自校准。出于计算机视觉与模式识别IEEE会议，第1卷，第374-380页，1999年6月。

[10]T.Mitsunaga和S.K.Nayar。高动态范围成像：在空间上变化的像素曝光。出于计算机视觉与模式识别IEEE会议，第1卷，第472-479页，2000年6月。

[11]E.Reinhard、M.Stark、P.Shirley和J.Ferwerda。关于数字图像的摄影色调再现。ACM制图会刊，21(3)：267-276，2002年。

[12]Y.Tsin、V.Ramesh和T.Kanade。CCD成像过程的统计校准。出于计算机视觉国际会议，第480-487页，2001年7月。