产生去除了重影模糊的高动态范围图像的设备和方法

摘要

公开了一种产生去除了重影模糊的高动态范围图像的设备和方法。所述设备可包括：HDR权重图计算单元，对于接收的多个曝光帧计算HDR权重图；重影概率计算单元，通过对于所述多个曝光帧检验重影模糊来对于每个曝光帧计算重影概率；HDR权重图更新单元，基于计算的重影概率更新计算的HDR权重图；多比例混合单元，通过将更新的HDR权重图反映到所述多个曝光帧来产生HDR图像。

说明书

本申请要求于2011年7月28日提交到韩国知识产权局的第 10-2011-0074847号韩国专利申请的优先权，本申请的公开通过参照合并与 此。

技术领域

以下描述的示例实施例涉及一种用于基于多曝光融合（multi-exposure fusion）产生去除了重影模糊(Ghost Image)的高动态范围(HDR)图像的设备和 方法，更具体地讲，涉及一种可通过捕捉多个曝光帧并执行HDR恢复来在高 对比度环境中确保HDR图像的设备和方法。

背景技术

由于与人眼相比，相机传感器的动态范围（DR）相对窄，所以大部分现 有的相机传感器可漏掉实际上存在的场景的细节。例如，当进行逆光拍摄图 片时，即，捕捉具有高亮度的非常亮的区域和具有低亮度的非常暗的区域并 存的高对比度场景时，可获得关于非常亮的区域或非常暗的区域的细节几乎 消失的图片。

换言之，当在高对比度环境中拍摄图片时，在高亮度区域或低亮度区域 中，在实际场景中出现的原始颜色、原始色调和原始细节可几乎消失。

为了克服这种缺陷，可在改变曝光的同时捕捉多个帧，并且可融合捕捉 的帧。因此，可以产生出现原始细节的高动态范围（HDR）图像。

但是，当在HDR图像中，对象或背景的物体移动时，在HDR融合处理 期间，运动可引起称作“重影模糊（ghost blur）”的劣化，因此，需要用于防 止重影模糊的单独的处理方法。

发明内容

通过提供一种用于基于多曝光融合产生去除了重影模糊的高动态范围 (HDR)图像的设备来实现上述和/或其它方面，所述设备包括：HDR权重图计 算单元，对于多个曝光帧计算HDR权重图，所述多个曝光帧被接收；重影概 率计算单元，通过对于所述多个曝光帧检验重影模糊来计算对于每个曝光帧 的重影概率；HDR权重图更新单元，基于计算的重影概率更新计算的HDR 权重图；多比例混合单元，通过将更新的HDR权重图反映到所述多个曝光帧 来产生HDR图像。

所述设备还可包括：亮度匹配单元，在所述多个曝光帧中确定参考帧， 并基于确定的参考帧匹配所述多个曝光帧中的至少一个帧的至少一个亮度。

此外，亮度匹配单元可将所述多个曝光帧中的一个曝光帧确定为参考帧， 可控制除参考帧之外的帧的曝光程度，并可将其它帧的亮度与参考帧的亮度 进行匹配。

此外，重影概率计算单元可基于所述至少一个帧的匹配的亮度对于所述 多个曝光帧检验重影模糊。

重影概率计算单元可基于匹配的结果检验参考帧与所述至少一个帧中的 每一个帧之间的亮度差值，并且可在亮度差值等于或大于阈值时确定重影模 糊发生。

另外，HDR权重图更新单元可将具有等于或大于阈值的计算的重影概率 的像素的HDR权重修改为小于具有等于或小于所述阈值的计算的重影概率 的像素的HDR权重，并可更新HDR权重图。

HDR权重图可将与所述多个曝光帧中的每一个的像素相关联的对比度、 色彩饱和度和合适曝光度中的至少一个存储为HDR权重。

此外，多比例混合单元可接收多个曝光帧和HDR权重图，可使用高斯 金字塔和拉普拉斯金字塔来对所述多个曝光帧和HDR权重图进行混合并且 可产生HDR图像。

通过提供一种用于基于多曝光融合产生去除了重影模糊的HDR图像的 方法来实现上述和/或其它方面，所述方法包括如下步骤：通过HDR权重图 计算单元，对于多个曝光帧计算HDR权重图，所述多个曝光帧被接收；通过 重影概率计算单元，通过对于所述多个曝光帧检验重影模糊来对于每个曝光 帧计算重影概率；通过HDR权重图更新单元，基于计算的重影概率更新计算 的HDR权重图；通过多比例混合单元，通过将更新的HDR权重图反映到所 述多个曝光帧来产生HDR图像。

此外，所述方法可包括步骤：通过亮度匹配单元，在所述多个曝光帧中 确定参考帧，并基于确定的参考帧匹配所述多个曝光帧中的至少一个帧的至 少一个亮度。

所述方法还可包括：将所述多个曝光帧中的一个曝光帧确定为参考帧， 控制除参考帧之外的帧的曝光程度，并将其它帧的亮度与参考帧的亮度进行 匹配。

可基于所述至少一个帧的匹配的亮度对于所述多个曝光帧检验重影模 糊。

所述方法可包括：基于匹配的结果检验参考帧与所述至少一个帧中的每 一个帧之间的亮度差值，并且当亮度差值等于或大于阈值时确定重影模糊发 生。

此外，更新的步骤可包括：将具有等于或大于阈值的计算的重影概率的 像素的HDR权重修改为小于具有等于或小于所述阈值的计算的重影概率的 像素的HDR权重，并更新HDR权重图。

此外，HDR权重图可将与所述多个曝光帧中的每一个的像素相关联的对 比度、色彩饱和度和合适曝光度中的至少一个存储为HDR权重。

另外，产生的步骤可包括：接收所述多个曝光帧和HDR权重图，使用 高斯金字塔和拉普拉斯金字塔来对所述多个曝光帧和HDR权重图进行混合 并且产生HDR图像。

在下面的描述中将部分地阐明示例实施例的另外的方面、特征和/或优 点，部分通过描述将是清楚的，或者可通过本公开的实施而得知。

附图说明

通过下面结合附图对示例实施例进行的描述，这些和/或其他方面和优点 将变得清楚和更易于理解，其中：

图1示出根据示例实施例的高动态范围（HDR）图像产生设备的框图；

图2示出根据示例实施例的HDR图像产生方法的流程图；

图3示出图2的方法中的亮度匹配单元匹配亮度的操作的流程图；

图4示出根据示例实施例的亮度匹配单元和重影概率计算单元的操作的 示图；

图5示出根据示例实施例的HDR权重图计算单元的操作的示图；

图6示出根据示例实施例的多比例混合单元混合帧并产生HDR图像的 示例的示图。

具体实施方式

现在，将详细描述示例实施例，所述示例实施例的示例示出在附图中， 其中，相同的标号始终表示相同的元件。下面，通过参照附图描述示例实施 例来解释本公开。

图1示出根据示例实施例的高动态范围（HDR）图像产生设备100的框 图。

在高对比度环境中，HDR图像产生设备100可捕捉多个曝光帧，可执行 HDR恢复并且可确保HDR图像。

详细地讲，HDR图像产生设备100可基于对于图像的每个像素的不同权 重相对简单地合成HDR图像（而不是单独地恢复HDR辐射值），并同时可 去除由场景中的移动对象引起的重影模糊。因此，可有效地合成HDR图像。

HDR图像产生设备100可应用于用于分布式信源编码（DSC）的相机、 用于分布式视频编码（DVC）的相机、用于监控的相机、移动相机电话、智 能电话、相机传感器图像信号处理器（诸如，例如图像信号处理器（ISP）、 数字信号处理器（DSP））、以及用于个人计算机（PC）的图像处理软件等。

如图1所示，HDR图像产生设备100可包括亮度匹配单元110、HDR权 重图计算单元120、重影概率计算单元130、HDR权重图更新单元140和多 比例混合（multi-scale blending）单元150。

亮度匹配单元110可确定接收的多个曝光帧中的参考帧，并且可基于参 考帧匹配所述多个曝光帧中的至少一个帧的至少一个亮度。

在示例中，亮度确定单元110可将所述多个曝光帧中的一个曝光帧确定 为参考帧，可控制除参考帧之外的帧的曝光程度并且可将其它帧的亮度与参 考帧的亮度匹配。

在另一示例中，亮度匹配单元110可将多个输入帧中的一个输入帧设置 为参考帧，并且可基于参考帧的曝光程度改变除参考帧之外的帧的亮度。

在该示例中，亮度匹配单元110可基于设置的参考帧计算除参考帧之外 的曝光帧与参考帧之间的亮度变换函数（BTF）来实现亮度匹配功能，并且 可执行从参考帧至每个曝光帧的亮度变换，从而可匹配亮度。

在另一实施例中，亮度匹配单元110可通过应用直方图匹配处理来执行 亮度匹配。

当应用直方图匹配处理时，即使帧的几何位置的匹配不准确，也可以进 行亮度匹配。

因此，亮度匹配单元110可计算参考帧的直方图和除参考帧之外的帧的 直方图，并且可获得使每一个除参考帧之外的帧的直方图与参考帧的直方图 相似的变换函数。

以查询表（LUT）的形式使用获得的变换函数，除参考帧之外的帧可被 变换为具有与参考帧的亮度相似的亮度的图像。

将参照图4来进一步详细描述亮度变换的示例。

HDR权重图计算单元120可计算对于多个曝光帧的HDR权重图。

HDR权重图可将与多个曝光帧中的每一个的像素相关联的对比度、色彩 饱和度和合适曝光度中的至少一条信息存储为HDR权重。

HDR权重图计算单元120可使用等式1来计算对于多个曝光帧中的每一 个的HDR权重图W_ij,k。

[等式1]

W_ij，k＝(C_ij，k)^wc×(S_ij，k)^ws×(E_ij，k)^we

在等式1中，(C_ij，k)^wc、(S_ij，k)^ws和(E_ij，k)^we分别表示多个曝光帧中的第k曝 光帧中的像素(i，j)的对比度、色彩饱和度和合适曝光度。

另外，指数wc、ws和we的常量可以被设置为“0”或“1”。

重影概率计算单元130可通过对于多个曝光帧检验重影模糊来对于每个 曝光帧计算重影概率。

在示例中，重影概率计算单元130可基于多个曝光帧中的至少一个帧的 匹配的亮度，检验多个曝光帧的重影模糊。

在另一示例中，重影概率计算单元130可基于匹配亮度的结果检验参考 帧与至少一个帧中的每一个的亮度差值。当亮度差值等于或大于阈值时，重 影概率计算单元130可确定重影模糊出现。

例如，重影概率计算单元130可使用参考帧与具有匹配的亮度的曝光帧 之差来计算每个曝光帧的重影概率M_ij，k。

可使用等式2来计算重影概率M_ij，k。

[等式2]

$M_{\mathrm{ij},k}=\exp (-\frac{(I_{\mathrm{if},\#\mathrm{ref}}-I_{\mathrm{ij},k}^{\prime })}{2·c_n·{\sigma }_n^2})$

在等式2中，“exp()”表示指数函数，表示噪声等级，c_n表示阈值控 制常数。参数“I_ij，#ref”和“I’_ij，k”分别表示参考帧和具有匹配的亮度的曝光帧。

重影概率计算单元130可使用梯度差代替亮度差来计算图像的重影概 率。

例如，亮度匹配单元110可使用例如索伯梯度算子（Sobel gradient operator）来将输入图像改变为梯度图像，来代替匹配亮度。

使用参考帧与每个曝光帧的梯度差，HDR权重计算单元120可计算每个 图像的HDR权重图。

因此，通过以与等式2中所使用的亮度差概念相同的方式应用概率概念， 重影概率计算单元130可计算每个像素的重影概率。

换言之，重影概率计算单元130可定义除亮度差和梯度差之外的各种图 像差（例如，熵差（entropy difference）），并且可基于概率概念（例如，等式 2的概念）计算每个像素对应于重影区域的概率。

HDR权重图更新单元140可基于计算的重影概率更新计算的HDR权重 图。

此外，HDR权重图更新单元140可将具有等于或大于阈值的计算的重影 概率的像素的HDR权重修改为小于具有等于或小于阈值的计算的重影概率 的像素的HDR权重，并且可更新HDR权重图。

例如，HDR权重图更新单元140可使用计算的HDR权重图和与重影模 糊相关联的计算的重影概率来更新HDR权重图W_ij，k。

详细地讲，HDR权重图更新单元140可使用等式3来将重影概率应用于 HDR权重图（W_g）_ij，k，并且可使用等式4来通过一系列的归一化控制每个帧 中的像素的权重之和为“1”。

[等式3]

(W_g)_ij，k＝f(W_ij，k，M_ij ，k)

[等式4]

${\left({\hat{W}}_g\right)}_{\mathrm{ij},k}={\left[\underset{k^{\prime }=1}{\overset{N}{\Sigma }}{\left(W_g\right)}_{{\mathrm{ij},k}^{\prime }}\right]}^{-1}{\left(W_g\right)}_{\mathrm{ij},k}$

在等式3和4中，“k”表示预定的曝光帧，“ij”表示像素位置。

多比例混合单元150可通过将更新的HDR权重图反映到多个曝光帧来 产生更新的HDR图像。

详细地讲，多比例混合单元150可接收多个曝光帧和HDR权重图，使 用高斯金字塔（Gaussian pyramid）和拉普拉斯金字塔（Laplacian pyramid） 来将多个曝光帧与HDR权重图进行混合并且可产生HDR图像。

使用等式5，多比例混合单元150可接收8比特的多个曝光帧和更新的 HDR权重图，可将8比特的多个曝光帧与更新的HDR权重图进行混合并且 可最终输出8比特的HDR图像。

[等式5]

$L{\left\{R\right\}}_{\mathrm{ij}}^l=\underset{k=1}{\overset{N}{\Sigma }}G{\left\{{\hat{W}}_g\right\}}_{\mathrm{ij},k}^l·L{\left\{I\right\}}_{\mathrm{ij},k}^l$

在等式5中，G{}表示高斯金字塔，L{}表示拉普拉斯金字塔。

另外，“k”表示预定的曝光帧，“ij”表示像素位置，“l”表示金字塔中 的预定等级。另外，“I”表示输入的曝光帧，“Wg”表示HDR权重图，“R” 表示合成HDR图像。

因此，HDR图像产生单元100可使用具有不同的亮度的原始曝光帧与具 有匹配的亮度的曝光帧之间的偏差（而不使用中间阈值位图（MTB:Median Threshold Bitmap））作为运动检测特性来通过更加简单的处理，来解决重影 模糊问题。

另外，与传统技术相较，HDR图像产生设备100可不需要恢复HDR辐 射图并且无需执行色调压缩操作，而直接计算加权的平均值来形成具有8比 特的HDR的恢复的HDR辐射图，并且可获得最终结果。

因此，当使用HDR图像产生设备100时，可减少计算量，因此，可以 增加处理速度和处理成本且保持颜色。

此外，通过HDR图像产生设备100基本上实现的多帧融合技术可被应 用于诸如多融合以及HDR的各种计算摄影技术。另外，HDR图像产生设备 100可被广泛地用于医学成像领域中的多模式融合和多传感器融合中。

图2示出根据示例实施例的HDR图像产生方法的流程图。

参照图2，在操作210中，HDR权重图可被计算。

HDR权重图可将与多个曝光帧中的每一个的像素相关联的对比度、色彩 饱和度和合适曝光度中的至少一条信息存储为HDR权重。在HDR图像产生 方法中，可检验帧的像素，并且可计算HDR权重图。

在操作220，可通过检验重影模糊来对于每个图像计算重影概率。

为了计算每个图像的重影概率，如图3所示，可执行亮度匹配。

图3示出图2的操作210的流程图。

参照图3，根据示例实施例的亮度匹配单元可在操作310中从接收的多 个曝光帧中选择参考帧，可在操作320中计算除参考帧之外的帧与参考帧之 间的BTF，可在操作330中基于参考帧对于除参考帧之外的帧执行亮度变换。

参照返回图2，在操作220，可基于使用参考帧已执行亮度变换的除参考 帧之外的帧计算重影概率。

在操作230，可基于计算的重影概率更新HDR权重图。

例如，与重影模糊相关联的重影概率可被应用于HDR权重图，每个帧 的像素的权重之和可通过应用了重影概率的HDR权重图的一系列的归一化 而被控制为1，从而可更新HDR权重图。

在操作240，可基于更新的HDR权重图产生HDR图像。

在HDR图像产生方法中，多个曝光帧和HDR权重图可被接收，并且可 使用高斯金字塔和拉普拉斯金字塔被混合，从而可产生更新的HDR图像。

图4示出根据示例实施例的亮度匹配单元110和重影概率计算单元130 的操作的示图。

亮度匹配单元110可将多个输入帧中的一个设置为参考帧，并且可基于 参考帧的曝光程度改变除参考帧之外的帧的亮度。

因此，亮度匹配单元110可基于系统特性选择多个输入帧中的一个作为 参考帧。

详细地讲，当接收到三个曝光帧时，亮度匹配单元110可将长曝光帧 （k=1）设置为参考帧410，并且将短曝光帧420（k=3）的亮度与参考帧410 的亮度进行匹配。此处，“长”和“短”与曝光时间相关。

可使用两个曝光帧（即，参考帧410和短曝光帧420）来计算二维（2D） 联合直方图440，因此可通过曲线拟合处理来估计通过曲线表示的BTF。

在2D联合直方图440中，竖轴表示参考帧410的像素亮度值，横轴表 示被匹配的其它曝光帧的像素亮度值。

因此，可通过选取参考帧410和短曝光帧420中的相同像素的亮度值的 所有对来获得2D联合直方图440。

当确定对参考帧410的BTF（k:3->#ref）时，可确定分别对应于短曝光 帧420的所有像素的像素值。在BTF中，“#ref”表示参考帧410的编号。

短曝光帧420的像素值“I_ij,k”可通过BTF（k:3->#ref）被映射到以参考 帧410的曝光程度的亮度值“I’_ij,k”，因此，可产生具有匹配的亮度的曝光图 像430。

图5示出根据示例实施例的HDR权重图计算单元的操作的示图。

详细地讲，图5示出在包括三个帧的多个曝光帧被输入的示例中计算 HDR权重图的中间结果和最终结果。

在图5中,“I_ij,k=1”、“I_ij，k=2”和“I_ij，k=3”分别表示长曝光帧，中等曝光帧 和短曝光帧。

另外，输入的图像可被划分为多曝光输入图像510、亮度变换图像520 和重影概率图530。每个输入图像的帧中的长曝光帧可被设置为参考帧。

多曝光输入图像510可示出三个输入帧，亮度变换图像520可示出通过 基于长曝光帧匹配帧的亮度而获得的结果。

可使用亮度变换图520中的参考帧与除参考帧之外的每个帧之差来获得 重影概率图530。

图6示出根据示例实施例的多比例混合单元混合帧并产生HDR图像的 示例的示图。

详细地讲，图6还示出在包括三个帧的多个曝光帧被输入的示例中产生 HDR图像的中间结果和最终结果。

在图6中，可对于图5的多曝光输入图像510中示出的每个输入曝光帧 计算HDR权重图610。

另外，可通过基于图5的重影概率图530校正重影来更新HDR权重图 610，获得更新的HDR权重图620。此外，HDR结果图像630可示出混合三 个帧的结果。

因此，使用根据示例实施例的HDR图像产生方法，代替使用MTB，而 使用具有不同的亮度的原始曝光帧与具有匹配的亮度的曝光帧之间的偏差作 为运动检测特性来通过更加简单的处理，可解决重影模糊问题。

另外，与传统技术相比，使用根据示例实施例的HDR图像产生方法， 可不需要恢复HDR辐射图并且无需执行色调压缩操作，而直接计算加权的平 均值来形成具有8比特的HDR的恢复的HDR辐射图并且获得最终结果。

根据上述示例实施例的HDR图像产生方法可被记录在非暂时计算机可 读介质中，其中，所述计算机可读介质包括用于实现计算机实现的各种操作 的程序指令。所述介质还可包括单独的程序指令、数据文件、数据结构等或 者程序指令、数据文件、数据结构等的组合。记录在介质上的程序指令可以 是为了示例实施例的目的而专门设计和构成的程序指令，或者可以是计算机 软件领域的技术人员所熟知和可利用的类型。非暂时计算机可读介质的示例 包括磁介质（例如，硬盘、软盘和磁带）、光学介质（例如，CD ROM盘和 DVD）、磁光介质（例如，光盘）和被专门配置为存储和执行程序指令的硬件 装置（例如，只读存储器（ROM）、随机存取存储器（RAM）、闪存）等。程 序指令的示例包括诸如编译器产生的机器代码和包括由计算机可使用解释器 来执行的高级代码的文件二者。描述的硬件装置可被配置为用作一个或多个 软件模块，以执行上述示例实施例的操作，反之亦然。

此外，根据实施例的一方面，可提供描述的特征、功能和/或操作的任意 组合。

此外，例如，如图1所示的HDR图像产生设备可包括至少一个处理器， 以执行上述描述的单元和方法中的至少一个。

虽然已示出和描述了示例实施例，但是本领域技术人员将理解，在不脱 离本公开的原理和精神的前提下可对这些示例实施例进行改变，本公开的范 围由权利要求及其等同物限定。