计算复杂度自适应的HDR图像转换方法及其系统

摘要

本发明公开了一种计算复杂度自适应的HDR图像转换方法及其系统。包括获取输入LDR图像；在HDR图像数据库中，选择一个或多个与所述输入LDR图像匹配的HDR图像作为备选图像；根据所述备选图像与所述输入LDR图像之间的空间一致性变换所述备选图像；将输入LDR图像分解成亮度分量和纹理分量；根据所述已变换的备选图像，分别重构所述亮度分量和所述纹理分量；整合所述重构的亮度分量和所述重构纹理分量用于生成输出HDR图像。

说明书

技术领域

本发明涉及图像处理技术领域，特别涉及计算复杂度自适应的HDR图像转换方法及其系统。

背景技术

LDR图像转换为HDR已经成为图像处理领域的一个新话题。随着HDR显示设备的发展，显示器的动态范围越来越广，但是，如今大多数图像内容仍是LDR，这是因为传统照相机的动态范围很窄，随着HDR显示设备的流行，无法避免的需要将LDR图像转换为HDR图像用于在HDR屏幕上实现理想的显示效果。

在现有技术中，传统的逆色调映射方法仅仅扩大了亮度范围，但是没有恢复过度曝光区域的饱和信息，HDR图像超分辨率方法能够通过自相似性假设恢复过度曝光区域的饱和信息。然而，自相似性假设常常是不成立的，并且所述方法的执行有待商榷。具体的，由于图像超分辨率方法需要通过用户交互的方式手动决定过度曝光区域以及过度曝光区域相对应的自相似性区域，所以在工业上采用所述方法是不切实际的。

本发明中的方法和系统是用于解决现有技术中的一个或者多个问题。

发明内容

本发明一方面公开了计算复杂度自适应的HDR图像转换方法，所述方法包括获取输入LDR图像，并在HDR图像库中，选择一个或多个与所述输入LDR图像匹配的HDR图像作为备选图像。具体的，根据所述备选图像与所述输入LDR图像之间的空间一致性变换所述备选图像。将输入LDR图像分解成亮度分量和纹理分量。根据所述已变换的备选图像，分别重构所述亮度分量和所述纹理分量，整合重构的所述亮度分量和所述纹理分量用于生成输出HDR图像。

另一方面公开了一种计算复杂度自适应的HDR图像转换系统，所述系统包括HDR图像数据库：包括若干HDR图像的HDR数据库；输入LDR图像模块：获取输入LDR图像；HDR图像检索模块：在HDR图像数据库中，选择一个或多个与所述输入LDR图像匹配的HDR图像作为备选图像；HDR图像处理模块：根据所述备选图像与所述输入LDR图像之间的空间一致性变换所述备选图像；LDR图像分解模块：将输入LDR图像分解成亮度分量和纹理分量；图像重构模块：根据所述已变换的备选图像，分别重构所述亮度分量和所述纹理分量；输出HDR图像模块：整合所述重构的亮度分量和所述重构纹理分量用于生成输出HDR图像。

根据本发明公开的各种不同实施例，以下附图仅仅是用于说明目的的实例，不限制本发明的范围。

附图说明

图1为本发明具体实施方式的工作环境示意图。

图2为本发明具体实施方式的计算系统的结构框图。

图3为本发明具体实施方式的LDR图像转换为HDR图像的系统示意图。

图4为本发明具体实施方式的LDR图像转换为HDR图像的流程图。

图5为本发明具体实施方式的图像变换流程图。

图6A-图6C为本发明具体实施方式的分解结果示意图。

图7为本发明具体实施方式的高斯拟合过程示意图。

图8为本发明具体实施方式的一种LDR图像转换为HDR图像通道图。

图9为本发明具体实施方式的另一种LDR图像转换为高动态范围HDR图像通道图。

具体实施方式

为了便于理解本发明，下面参照相关附图对本发明进行更全面的描述。除非另外指出，在各图中相同的参考数字用于相同的部件。为使本发明实施例的目的，技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚，完整地描述。显然，描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明具体实施方式的工作环境示意图100，如图1所示，环境100包括终端102，服务器104，云端110，服务器106，和用户108。其中某些设备可被省略，也可以包括其他设备。用户108运行终端102以获得服务器104上提供的某些服务。虽然环境100中只显示两台服务器104/106和一个终端102，但是可以包括任意数量的102终端或服务器104/106，且其他设备也可能包括在内。

终端102指具有一定运算能力的任何合适的用户移动终端，比如个人电脑(PC)，工作站计算机、服务器计算机、便携式计算设备(平板电脑)、智能手机或移动手机，或任何其他的用户端移动计算设备。终端102可以拍摄，处理和显示图像。

所述服务器104和所述服务器106指的是为了提供服务器功能而配置的一个或多个任何适当类型的服务器计算机，所述服务器需要用户同意验证服务器的服务才能访问，例如数据搜索或图像处理服务。所述服务器104和所述服务器106包括用于执行计算机程序的一个或多个处理器。所述服务器104和所述服务器106可以保存移动终端和其他计算设备访问的数据(例如图像数据库)。

虽然，服务器104或服务器106在图中显示是单电脑配置，但是服务器104或服务器106包括更多的电脑或服务器组。服务器104和服务器106可以有相似功能并可以在同时间执行，或单独执行。

云端110指云端计算环境，换而言之，可使用的计算机资源(硬件和软件)作为服务在网络基础设施(例如，互联网)上传送。云端110包括任意的个人云端配置和/或公共云端配置。云端110包括各种服务器(即，服务器服务)，如为了提供图像存储和计算功能而配置的服务器106。云端110包括了任何类型的服务器。

通过数据连接传送云端110中基于云端服务到终端102，比如3G，4G-LTE和WiFi网络。在终端102收集的数据转发到云端110(比如，在云端110的服务器116)作为服务器106提供的各种服务的输入数据。比如，在终端102中收集的数据包括图像数据，所述图像数据转发至服务器106中作为输入数据。

终端102，服务器104和服务器106或在多个终端102中和服务器104通过任何合适类型的通讯网络相互之间进行交流，比如互联网或其他类型的计算机网络或通讯网络，可以是有线网络或者无线网络。比如有线电视网络、电话网络和/或卫星网路等。

终端102，服务器104或服务器106能够在任何合适的电子计算平台上应用。图2为能够运行终端102，服务器104和/或服务器106的具体实施方式的计算系统200的框图。

如图2所示，计算机系统200包括处理器202，存储介质204，显示器206，通讯模块208，数据库210以及外围设备212。其中某些设备可被省略，也可以包括其他设备。

处理器202可以包括任何合适的一个或多个处理器。具体的，处理器202可以包括用于多线程或并行处理的多个核心。处理器202可以通过执行计算机程序指令完成各种程序，比如图像处理程序。存储介质204可以包括内存模块，比如ROM，RAM，闪存模块,可擦除可编程只读存储器，以及大容量存储器，比如光盘，U盘和硬盘等。存储介质204存储有计算机程序，当处理器202执行这些计算机程序时，可以实现各种方法步骤。

具体的，通讯模块208包括用于通过网络106建立连接的网络设备。数据库210包括用于存储某种数据的一个或两个数据库，(比如，图像数据库)和用于完成在存储数据中的某种操作的一个或两个数据库，如数据库搜索和数据库检索。

显示器206包括任何合适类型的计算机显示设备或电子设备显示器(比如基于CRT或LCD技术的显示设备，触摸屏)。外围设备212包括I/O设备，比如照相机，键盘和鼠标。

在操作过程中，终端102，服务器104和/或服务器106根据HDR图像数据库将低动态范围(LDR)图像自动转换为高动态范围(LDR)图像。图3为本发明具体实施方式的LDR图像转换为HDR图像的系统示意图。

在此使用“动态范围”表示景像中最亮部分和最暗部分之间的比例，低动态范围图像指比例低于255:1的图像，如每个色彩通道有8位的JPEG图像。高动态范围(HDR)图像存储跨越整个真实景像的色调范围的像素值，如每个色彩通道有32位。

公式(1)表示相关HDRI^h到LDR图像I^l的退化模型。分别R，G，B通道中应用公式(1)生成8位色彩深度LDR图像。

I^l＝max{0,min{1,|255·(I^h·Δt+e(I^h))^1/γ|/255}}(1)

在公式(1)中，可以通过获得噪音项e(I^h)，其中η是标准高斯噪音并且η～N(0,1)，a和b是控制噪音等级的参数，和σ(I^h)是I^h标准偏差，具体的，公式(1)中，Δt是曝光时间，γ是伽马矫正参数，括号代表着四舍五入到最近的较小整数，所述原始HDR图像I^h在范围尺寸[0,∞)内记录景像真实的亮度信息，而所述LDR图像在该范围内被压缩和裁剪。

所述系统300用所述LDR图像作为输入和转换所述LDR图像到所述HDR图像，所述系统300恢复在过度曝光区域的饱和信息，所述饱和信息由于超出动态范围而受到裁剪。所述系统300扩大亮度范围以适应HDR显示器。

如图3所示，所述系统300包括HDR图像数据库304，HDR图像检索模块306，HDR图像处理模块308，LDR图像分解模块310，和图像重构模块312。

在操作过程中，在输入LDR图像模块302，给定的输入LDR图像，所述HDR图像检索模块在HDR图像库中搜索最接近的K个HDR图像作为HDR备选图像。所述HDR图像处理模块308用于寻找在所述HDR备选图像和所述给定LDR输入图像302之间的空间一致性(比如，公式(1)中图像I^l)。在某些实例中，尺度不变特征转换(SIFI)流景像匹配用于寻找空间一致性。

具体，所述LDR图像分解模块310将所述LED输入图像302分解为边缘保持低频率亮度分量和高频率纹理分量，在一些实例中，应用双边滤波进行分解。

根据所述备选图像，图像重构模块312利用所述LDR输入图像302分解的亮度分量和纹理分量分别重构亮度分量和纹理分量，并且在输出HDR图像模块314，整合重构后的亮度分量和纹理分量用于生成所述输出HDR图像。

在一些实例中，图像重构模块312利用所述HDR备选图像中的对应区域的亮度信息，通过全局优化来重构过度曝光-饱和区域的亮度分量，所述亮度重构区域与其对应的HDR备选图像的亮度区域是一致，并且亮度先验可以通过高斯核函数拟合，其是空间模糊的。在恢复过度曝光区域的亮度信息后，应用逆色调映射技术扩展亮度区域。

在一些实例中，图像重构模块312通过用于填充饱和区域的带约束的纹理合成来重构饱和区域的纹理分量。从所述HDR备选图像对应区域中收集纹理基元。

具体，图像重构模块312整合恢复的亮度分量和纹理分量用于获取最终的重构HDR图像。

用于将LDR图像转换到HDR的系统300可以利用技术如图像检索，SIFT流景像匹配，图像分解和纹理合成。系统300在过度曝光-饱和区域中创建有提高低频率亮度分量和更细致的高频率纹理分量的HDR图像。所述系统300利用云计算和多尺度图像处理程序灵活计算。

图4为本发明具体实施方式的LDR转换为HDR的流程图。如图4所示，获取输入LDR图像(比如输入LDR图像302))(S402)。比如，通过照相机拍摄所述输入LDR图像，通过用户设备(比如，终端102或服务器104)获取本地存储图像或在线图像。

给定的所述输入LDR图像，搜索数据库以寻找最匹配HDR图像作为备选图像(S404)。所述数据库(例如，HDR图像数据库304)包括存储于终端(比如终端102)和/或服务器(例如，服务器104或在云端110的服务器106)的若干HDR图像。从各种公共HDR图像数据库或其他资源中收集HDR图像。添加更多的HDR图像到数据库用于覆盖更多景像和改善性能。在一些实例中，在数据库中的每个HDR图像利用不同比例因子的下采样和以多分辨率存储。具体的，预计算不同分辨率下的每个图像的动态范围独立特征并将其存储于数据库中。

给定HDR图像数据库和输入LDR图像，计算和对比数据库中每个HDR图像和所述输入LDR图像的高级图像特征，所述高级图像特征包括动态范围独立特性(如，GIST特征)。具体的，从数据库中选出最匹配的K个HDR图像(S404)。最匹配的K个HDR图像被称为备选图像。在一些实例中，根据计算的特征，应用k近邻算法(kNN)寻找最匹配的K个HDR图像。

具体的，根据评估所述备选图像和所述输入LDR图像之间的空间一致性处理所述备选图像(S406)。在一些实例中，通过尺度不变特征转换(SIFI)流景像匹配评估像素点之间的一致性。所述尺度不变特征转换(SIFI)流景像匹配是匹配每个像素SIFT特征用于评估密度景像校准，由于SIFT流特征不是亮度不变，所有根据公式(1)将每个HDR备选图像退化为LDR图像，其中从公式(2)中获取曝光时间Δt。

其中x是像素索引，I^l是所述输入LDR图像和是第i个检索的HDR备选图像。

具体的，可以评估在所述输入LDR图像和退化的HDR备选图像之间的SIFT流变换。ψ_i,i∈{1,…,K}为变换函数，所述变换函数是利用SIFT流景像匹配将每个退化的HDR备选图像变换为输入LDR图像，图5本发明具体实施方式的变换图像流程图。

如图5所示，图像(a)是从HDR图像库中退化的HDR备选照片，和图像(b)是所述输入LDR图像。可以评估图像(a)和图像(b)之间的变换函数ψ，具体的，应用已评估的ψ用于实现密度景像校准。图像(c)是与退化的HDR备选图像(a)一样，和图像(d)是图像(c)应用了变换函数ψ后的变换图像。需要注意的是所述已变换图像(d)与所述原始图像(b)有相似的结构。

变换函数可以映射从给定的退化的HDR备选图像的区域到LDR输入图像范围的像素位置。变换函数是一对多的映射，意味着一个变换函数能应用于若干退化的HDR备选图像中。

回到图4，将所述输入LDR图像分解为边缘保持低频率亮度分量L，和高频率纹理分量H(S408)。在一些实例中，在所述输入LDR图像I^l中使用双边滤波器用于获取亮度分量L。具体，假设x为图像像素索引，矩阵点除利用公式(3)可以提取纹理分量。

H(x)＝I^l(x)/L(x)(3)

由于所述亮度和纹理的分解，所述纹理分量是独立于亮度变量，因此利用在图像分块之间的差值平方计算纹理中分块的相似性。在这里所述的图像分块指的是通过多个在图像中连接的像素而形成的区域(例如，N*N平方区域)，图6A-6C为本发明一个具体实施方式的分解结果示意图。

如图6A-6C所示，将图6A中的原始图像(例如，所述输入LDR图像)分解为图6B所示的亮度分量和图6C所示纹理分量。

在一些实例中，应用近似于双边滤波器的其他算法对图像进行分解，比如利用三角函数关系的值域核算法的快速双边滤波器或利用信号处理方法的所述双边滤波器的快速近似法。利用这些技术提高分解速度。

回到图4，分别重构所述已分解的亮度分量和所述已分解的纹理分量(S410)。具体的，所述分解步骤包括检测在所述LDR输入图像中的过度曝光区域(S4102)，根据所述备选图像重构所述亮度分量(S4104)，和所述纹理分量(S4106)。

从所述原始LDR输入图像获取所述亮度分量后，可以在所述LDR输入图像中检测到过度曝光区域(S4102)。过度曝光检测问题可以归纳为分类问题。根据灰度阈值将像素分为两类(代表白色的灰度级，如有256灰度级图像中的255)：过度曝光区域和正确曝光区域。

在一些实例中，实施全局优化方案用于恢复在过度曝光区域中的所述亮度信息(S4104)。将L^l定义为所述输入LDR图像的亮度分量，L^h指推断的所述备选图像的HDR亮度，表示在给定的所述输入LDR图像的亮度分量条件下所述HDR备选图像的概率。最小化公式(4)为：

其中，Z是所述概率的归一化常数，α和β是参数，所述目标包括3个项目：数据保真(E_t)，空间模糊(E_s)，和亮度先验(E_p)。

所述数据保真项E_t测衡量估计的亮度对应关系I^h与每个已变换HDR备选图像ψ_j(D^j)的亮度分量的接近程度，其中D^j代表来自于数据库第j个HDR备选图像的亮度分量和ψ_j(·)代表第j个像素点间的变换一致性。用φ表示距离测量，指曼哈顿距离的近似值，并且其中是指近似留数。利用公式(5)计算所述数据保真项。

公式(5)，在像素i中第j个备选图像的变换亮度的精确性置信度

定义如下

其中S_i是在所述LDR输入图像中像素i的SIFT特征向量和是在第j个HDR备选图像中像素i的SIFT特征向量。具体的，μ_s是指高斯分布的平均值，和σ_s指的是高斯分布的标准偏差。

定义在公式(5)中的数据保真项测量绝对差异不仅仅在推测亮度之间，也在相对亮度变化之间，换句话说，亮度梯度(和是空间倒数)。通过调整加权系数γ，公式(5)中第二项加强备选亮度梯度和推测亮度梯度之间的相似性。

所述空间模糊项E_s加强过度曝光区域和其他邻近范围的空间模糊，空间模糊项E_s定义为：

具体，当其他项对像素有极少甚至没有影响时，将来自于引导推测的数据库的假设合并(由于权重)：

其中，从椭圆高斯核函数的线性组合中通过插值法计算所述先验P。图7表示本发明具体实例方法的2D高斯拟合处理。

如图7所示，所述过度曝光区域704邻近的左右两边的两个亮度正常的像素区域702用于评估所述高斯核函数；例如，在范围704中的像素被认为是裁剪了亮度信息的过度曝光像素。利用高斯核函数重构和插值计算在范围704内像素的亮度值。

在一些实例中，2D高斯核函数指假设G(x,y)指过度曝光区域周围的范围702，利用以下优化方案评估高斯核函数。即，从所述最优方案过程获得的L(x,y)可用于在过度曝光区域704中的重构和插值。

需要注意的是图7是本发明2D高斯拟合流程图。同样的方法可以用到3D高斯拟合中，在实例中，利用3D高斯拟合核函数完成所述过度曝光区域的重构和插值。

回到图示4，在一些实例中，运用有快速收敛特性的迭代重复加权最小二乘法(IRLS)最小化方程式(4)中无约束，非线性最优方案。

恢复过度曝光区域的饱和信息后，应用逆色调映射技术来扩展亮度区域从而与HDR显示器的物理特性一致。

在一些实例中，设置参数α和β为零，全局优化的解决方法简化为：

意味着需要计算通过高斯核函数拟合的亮度先验。当有多个饱和区域时，所述高斯拟合核函数可以在每个区域内执行，这个近似值显著性降低评估亮度分量的计算。当存在计算能力受到限制时，可以应用所述近似值。

关于重构的纹理分量(S4106)，实施限制纹理合成技术用于恢复在过度曝光区域中遗漏的纹理。根据对应的SIFT流估算结果，在所述备选HDR图像中使用采样分块的方式获取过度曝光区域的纹理基元。例如，分块包括与所述输入LDR图像的像素和该像素周围8或15个像素所对应的所述备选图像的像素。选取分块用于利用现存函数获得有关纹理特性。通过寻找到LDR输入图像I^l第i个过度曝光像素所对应的第j个HDR备选图像D^j中的像素索引。具体，选取在所述像素周围的范围用于获得纹理基元，在这里所述纹理基元，指结合局部几何和光度特性的代表性纹理分块。

整合所述重构亮度分量和重构纹理分量用于生成所述输出HDR图像(S412)。

在依赖于计算能力和速度偏好的终端(例如，终端102)和/或服务器(服务器104或在云端110的服务器106)实施本发明流程400。图8为本发明具体实施方式的一种LDR图像转换为HDR图像通道图。

如图8所示，在转换过程中应用计算复杂性自适应方法。利用设备计算完成一些步骤(例如，在终端102，或在服务器104)，利用云端(例如，在云端110的服务器106上)完成其他步骤。

云端计算可以加速所述备选HDR备选图像检索(例如，步骤S404)和SIFT流评估步骤(例如，步骤S406)，通过移动图像检索的计算和SIFT流从设备到云端的变换，由于云端比设备有更好的计算资源所以大大提高了处理的速度。具体的，在云端存储所述HDR图像数据库304，因此，更新数据库变得方便。

通过变量M下采样所述输入LDR图像从而减少从设备到云端的数据传送。下采样过程可能会丢失一些细节。但是，图像的结构常常维持为小的尺寸。因此，仍获得过度曝光区域的适当纹理基元。根据云端的计算能力和在设备和云端之间的传输速度选择适当地下采样变量M。

在实例通道线图800中，通过变量M获取和下采样所述输入LDR图像302。所述下采样图像上传到云端(S402)。具体的，对应地下采样在HDR图像数据库304中的图像。在某些实例中，在数据库中以不同尺寸因素下采样若干HDR图像并以多种分辨率形式存储。检索K个最相似于在下采样HDR库中的备选图像3042(S404)作为备选HDR图像。变换所述备选图像用于匹配在云端的所述输入LDR的结构(S406)。

所述LDR输入图像302分解为在设备上的亮度分量3022和纹理分量3024(S408)。根据所述已变换的备选图像3014分别重构所述亮度分量3022和纹理分量3024(S410)。检测过度曝光亮度分量超分辨率方法和纹理合成(S4102)，在某些实例中，亮度先验(例如来自公式(8))直接用来作为所述重构亮度分量3062(S4104)。

对于所述纹理分量，为了加速从云端到设备的纹理基元传输，将纹理基元库存储于设备和云端。每个存储在纹理基元库的纹理基元有对应的纹理索引。云端向设备提供过度曝光区域的理想纹理基元索引。聚集纹理基元分块到N串，在所述云端中所述SIFT变换后，传递理想纹理索引到设备。通过在设备的纹理基元库，当合成所述重构纹理分量3064时，取得并利用所述理想的纹理基元分块(S4106)。

具体，整合所述重构亮度和纹理分量用于生成所述输出HDR图像314和在设备上显示所述重构亮度和纹理分量(S412)。在所述通道图800，在所述云端和所述设备之间的数据传输包括两个操作：从云端到设备上传下采样输入LDR图像，和从云端到设备下载过度曝光区域的纹理索引。所述计算复杂性可以适用于所述云端和所述设备的计算能力。

当计算速度不是优先考虑因素或者所述设备有足够的计算能力时，在一个设备实现在图像转换过程中的所有计算能力(例如，终端102或服务器104)。图9为本发明具体实施方式的另一种LDR转换为HDR通道图。

如图9所示，在转换过程中利用计算代价大的方法。在原始尺寸的图像中实施所述HDR备选图像检索(步骤S404)和SIFI流评估过程(例如，步骤S406)。在实例通道图900，给定一个输入LDR图像302，在HDR图像库304中检索K个最相似备选图像3042作为备选HDR图像(S404)。可以变换所述备选图像从而与设备上的输入图像的结构相匹配。

在设备上所述LDR输入图像302分解为亮度分量3022和纹理分量3014(S408)。根据所述已变换的备选图像3044分别重构所述亮度分量3022和所述纹理分量3024(S410)。检测过度曝光区域亮度分量超分辨率和纹理合成(S4102)。在某些实例中，利用插值所述已变换的备选图像3044(例如，根据公式(3))实施全局优化方案过程用于生成在过度曝光区域内的亮度信息(S4104)。对于所述纹理分量，运用基于纹理合成的模型用于填充在过度/以下曝光范围内的纹理。(S4106)。具体的，整合所述重构亮度分量3062和所述重构纹理分量3064用于生成所述输出HDR图像(S412)。

根据具有自适应计算复杂性的HDR图像数据库，利用本发明方法和系统将LDR图像转换为HDR图像。所述HDR图像数据库可以为在所述输入LDR图像中过度曝光-饱和区域的亮度分量以及纹理分量的重构提供指引。给定LDR图像，运用图像检索和SIFT流景像匹配技术去选择来自于所述数据库的相似的HDR图像和寻找来自于所述数据库的相似的HDR图像与所述输入图像的空间一致性。实施纹理合成和全局优化分别用于恢复所述输入图像的所述纹理分量和亮度分量。基于通过云端计算实现和多尺寸图像处理过程。由此，计算复杂度是可变的。

本发明其他实例对于本领域普通技术人员而言，考虑到本发明在此公开的说明书内容和实践，本发明公开内容其他的实施例都是显然的。本发明的所述说明书内容和举例仅作为示范性的说明，而权利要求书则表明本发明的真实保护范围和发明构思。