基于高动态范围原理的图像合成方法、装置及移动终端

摘要

本发明公开了一种基于高动态范围原理的图像合成方法、装置及移动终端，所述方法包括：采集多张不同曝光参数的图像；基于高动态范围原理将多张不同曝光参数的图像进行合成，获得高动态范围图像；对高动态范围图像进行色调映射，使高动态范围图像的像素进行重新压缩；所述装置包括图像采集模块、图像合成模块和色调映射模块；所述移动终端包括处理器以及用于存储处理器可执行程序的存储器，处理器执行存储器存储的程序时，实现上述方法的操作。本发明通过将多张不同曝光参数的图像进行合成得到高动态范围图像，并进行色调映射，既改善了图像内部细节，又保留了图像边缘细节。

说明书

技术领域

本发明涉及一种图像合成方法，尤其是一种基于高动态范围原理的图像合成方法、装置及移动终端，属于图像处理领域。

背景技术

随着证件的普及，港澳通行证、台湾通行证、护照、身份证等信息都需要对个人信息的核实。申请人每次制证都需要重新拍摄满足制证要求的证件照。

随着手机拍摄的普及，其拍摄功能也日益强大，但仍存在以下问题：

1)由于拍摄环境不同或者被拍摄物体表面反光等原因，而造成拍摄出的整体光照不均，导致照片处理系统在读取信息时，系统难以将细节的信息提取出来；

2)在读取人物图像过程中，拍摄时的光线问题会造成拍摄后的图像出现大量噪点,从而导致图像的颜色通道发生偏移，那么系统在读取人脸或是背景区域信息时会出现误差；

3)难以保证光线稳定，需要通过系统对拍出来的照片做一个处理将外部环境与人物图形分离，同时使人物细节信息也能被分离出来，但这种处理方式比较麻烦。

因此，利用手机拍摄的照片在后续的图像处理时，其细节信息无法全部地被分离出来，在其他人协助下拍出来的照片也难以满足制证的要求；而在有完善配置的拍摄机构进行拍摄，收费比较昂贵，而且拍摄效果不好，当不满意拍摄效果想要重拍时，需要与摄影师重新沟通和商量，耗时费力。

对于高动态范围图像(High-DynamicRange，简称HDR)图像，通常采用长短曝光两级来实现，但效果也不理想，特别是在明亮与灰暗混合的场景，明亮的地方与灰暗的地方过渡效果不好。

发明内容

本发明的第一个目的是为了解决上述现有技术的缺陷，提供了一种基于高动态范围原理的图像合成方法，该方法通过将多张不同曝光参数的图像进行合成得到高动态范围图像，并进行色调映射，既改善了图像内部细节，又保留了图像边缘细节。

本发明的第二个目的在于提供一种基于高动态范围原理的图像合成系统。

本发明的第三个目的在于提供一种移动终端。

本发明的第一个目的可以通过采取如下技术方案达到：

一种基于高动态范围原理的图像合成方法，所述方法包括：

采集多张不同曝光参数的图像；

基于高动态范围原理将多张不同曝光参数的图像进行合成，获得高动态范围图像；

对高动态范围图像进行色调映射，使高动态范围图像的像素进行重新压缩。

进一步的，所述基于高动态范围原理将多张不同曝光参数的图像进行合成，获得高动态范围图像，具体包括：

将多张不同曝光参数的图像的像素级进行扩展；

取多张不同曝光参数的图像扩展后的像素值的平均值，获得高动态范围图像。

进一步的，所述将多张不同曝光参数的图像中的像素级进行扩展，具体为：

将多张不同曝光参数的图像中的每个像素都乘以2⁸～2⁶⁴，使每个像素达到能容纳2¹⁶～2⁷²个层级的像素。

进一步的，对高动态范围图像进行色调映射，使高动态范围图像的像素进行重新压缩，具体包括：

在整张高动态范围图像中构建多个3*3的像素方格；

针对每个3*3的像素方格，将中心像素方格的像素分别与围绕在四周的八个像素方格的像素进行比较；

根据比较结果，当围绕在四周的八个像素方格中像素与中心像素方格的像素不同的像素方格数量多于两个时，将中心像素方格判断为边缘信息；否则，将中心像素方格判断为普通信息；

对所有判断为普通信息的中心像素方格的像素进行映射处理，使高动态范围图像的像素进行重新压缩。

进一步的，围绕在四周的八个像素方格中像素与中心像素方格的像素不同的像素方格是指：

围绕在四周的八个像素方格中像素大于m倍中心像素方格的像素的像素方格；其中，1<m<1.2；

或围绕在四周的八个像素方格中像素小于n倍中心像素方格的像素的像素方格；其中，0.8<n<1。

进一步的，所述对所有判断为普通信息的中心像素方格的像素进行映射处理，使高动态范围图像的像素进行重新压缩，具体包括：

计算所有判断为普通信息的中心像素方格的像素的映射值，如下：

f(x,y)＝ln(p(x,y))/ln(cl)-ln(p)/ln(cl)

其中，p(x,y)为3*3像素方格四周的八个像素方格的像素，p为3*3像素方格的中心像素方格的像素，cl为对比参数，f(x,y)为3*3像素方格的像素映射值；

计算所有判断为普通信息的中心像素方格的权值，如下：

其中，w(x,y)为3*3像素方格的像素权值；

将计算后的映射值f(x,y)和权值w(x,y)代入下式：

f'(x,y)＝f(x,y)*w(x,y)

将计算得到的f'(x,y)代入下式：

wm＝∑f'(x,y)/∑w(x,y)

其中，wm为运算中的一个数值；

将计算得到的wm代入下式：

l(x,y)＝e^{(wm+(p(x,y)/log(cl)))*log(cl)}

其中，l(x,y)为像素值；

将像素值l(x,y)归一化到0～255个层级中。

本发明的第二个目的可以通过采取如下技术方案达到：

一种基于高动态范围原理的图像合成装置，所述装置包括：

图像采集模块，用于采集多张不同曝光参数的图像；

图像合成模块，用于基于高动态范围原理将多张不同曝光参数的图像进行合成，获得高动态范围图像；

色调映射模块，用于对高动态范围图像进行色调映射，使高动态范围图像的像素进行重新压缩。

进一步的，所述图像合成模块，具体包括：

像素级扩展单元，用于将多张不同曝光参数的图像的像素级进行扩展；

平均单元，用于取多张不同曝光参数的图像扩展后的像素值的平均值，获得高动态范围图像。

进一步的，所述像素级扩展单元，具体为：

将多张不同曝光参数的图像中的每个像素都乘以2⁸～2⁶⁴，使每个像素达到能容纳2¹⁶～2⁷²个层级的像素。

进一步的，所述色调映射模块，具体包括：

像素方格构建单元，用于在整张高动态范围图像中构建多个3*3的像素方格；

比较单元，用于针对每个3*3的像素方格，将中心像素方格的像素分别与围绕在四周的八个像素方格的像素进行比较；

判断单元，用于根据比较结果，当围绕在四周的八个像素方格中像素与中心像素方格的像素不同的像素方格数量多于两个时，将中心像素方格判断为边缘信息；否则，将中心像素方格判断为普通信息；

映射单元，用于对所有判断为普通信息的中心像素方格的像素进行映射处理，使高动态范围图像的像素进行重新压缩。

进一步的，围绕在四周的八个像素方格中像素与中心像素方格的像素不同的像素方格是指：

围绕在四周的八个像素方格中像素大于m倍中心像素方格的像素的像素方格；其中，1<m<1.2；

或围绕在四周的八个像素方格中像素小于n倍中心像素方格的像素的像素方格；其中，0.8<n<1。

进一步的，所述映射单元中，对所有判断为普通信息的中心像素方格进行色调映射处理，使高动态范围图像的像素进行重新压缩，具体包括：

计算所有判断为普通信息的中心像素方格的像素的映射值，如下：

f(x,y)＝ln(p(x,y))/ln(cl)-ln(p)/ln(cl)

其中，p(x,y)为3*3像素方格四周的八个像素方格的像素，p为3*3像素方格的中心像素方格的像素，cl为对比参数，f(x,y)为3*3像素方格的像素映射值；

计算所有判断为普通信息的中心像素方格的权值，如下：

其中，w(x,y)为3*3像素方格的像素权值；

将计算后的映射值f(x,y)和权值w(x,y)代入下式：

f'(x,y)＝f(x,y)*w(x,y)

将计算得到的f'(x,y)代入下式：

wm＝∑f'(x,y)/∑w(x,y)

其中，wm为运算中的一个数值；

将计算得到的wm代入下式：

l(x,y)＝e^{(wm+(p(x,y)/log(cl)))*log(cl)}

其中，l(x,y)为像素值；

将像素值l(x,y)归一化到0～255个层级中。

本发明的第三个目的可以通过采取如下技术方案达到：

一种移动终端，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现如下操作：

采集多张不同曝光参数的图像；

基于高动态范围原理将多张不同曝光参数的图像进行合成，获得高动态范围图像；

对高动态范围图像进行色调映射，使高动态范围图像的像素进行重新压缩。

本发明相对于现有技术具有如下的有益效果：

1、本发明通过采集多张不同曝光参数的图像，基于高动态范围原理将多张不同曝光参数的图像进行合成，合成的图像减少了拍摄图像时因环境的光照问题而产生的噪点，同时解决图像处理过程中在颜色通道上的偏移，再对获得的高动态范围图像进行色调映射，使高动态范围图像的像素进行重新压缩，以恢复到能够重新在移动终端上显示的层级，并在最大程度上保留细节。

2、本发明在基于高动态范围原理的合成过程中，将多张不同曝光参数的图像的像素级进行扩展，使每个像素达到能容纳2¹⁶～2⁷²个层级的像素，即像素层级达到2¹⁶～2⁷²个层级，可以更好地保留图像细节，并使图像更好地还原当前的拍摄光线。

3、本发明在获得高动态范围图像后，在整张高动态范围图像中构建多个3*3的像素方格，对每个3*3的像素方格的中心像素方格进行分析判断，如果中心像素方格为边缘信息，则不作处理，如果中心像素方格为普通信息，则对中心像素方格的像素进行映射处理，并加入权值作为色调映射的衡量标准，这样图像可以保留边缘细节。

附图说明

图1为本发明实施例1的图像合成方法流程图。

图2a为本发明实施例1的正常曝光参数图像示意图。

图2b为本发明实施例1的欠曝图像示意图。

图2c为本发明实施例1的过曝图像示意图。

图3为本发明实施例1的获得高动态范围图像流程图。

图4为本发明实施例1的色调映射流程图。

图5为本发明实施例1在整张高动态范围图像中构建多个3*3的像素方格示意图。

图6为本发明实施例1的最终效果图。

图7为本发明实施例2的图像合成装置结构框图。

图8为本发明实施例2的图像合成模块结构框图。

图9为本发明实施例2的色调映射模块结构框图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1：

本实施例提供了一种图像合成方法，其基于高动态范围原理对拍摄的图像合成进行改良，以获得一张具有更多细节，更好光线条件的图像。

如图1所示，本实施例的图像合成方法包括以下步骤：

S101、采集三张不同曝光参数的图像

本实施例考虑到如果采集两张不同曝光参数的图像，效果会差一些，而采集四张或以上不同曝光参数的图像，在拍摄过程中，产生的位移太大，影响了后续的修正，因此决定采集三张不同曝光参数的图像，分别为正常曝光参数的图像、欠曝图像和过曝图像。

由于不同移动终端(如智能手机等)内置相机的曝光参数不同，即使曝光参数相同，当拍摄环境变化时，也会影响图像的曝光效果，因此本实施例在相同的拍摄环境下，利用同一移动终端快速地拍摄三张不同曝光参数的图像，第一张图像的曝光参数是拍摄时环境的曝光参数，该曝光参数的图像作为正常曝光参数的图像，如图2a所示；第二张图像的曝光是以正常曝光参数为基准向下调节得到欠曝图像，优选地，向下调节2EV(-2EV)得到欠曝图像，如图2b所示；第二张图像的曝光是以正常曝光参数为基准向上调节得到过曝图像，优选地，向上调节2EV(+2EV)得到过曝图像，如图2c所示。

S102、基于高动态范围原理将三张不同曝光参数的图像进行合成，获得高动态范围图像(High-Dynamic Range image，简称HDRI)

如图3所示，步骤S102具体包括：

S1021、将三张不同曝光参数的图像的像素级进行扩展

目前移动终端在显示图像时，大多使用的是8bit(RGB信号传输)的显示方式，这就导致了图像层级只能显示0～255这256个层级的图像像素，而在实际场景中，最亮与最暗的亮度差距是远远大于256个层级的像素，在现实真正的亮度层级差达到了10⁸，所以在移动终端显示时会把超出256个层级的像素省略了。

为了在图像压缩过程中能够保留更多的细节，将上述三张不同曝光参数的图像的像素级进行扩展，具体为：将三张图像的每个像素(2⁸)都乘以2⁸～2⁶⁴，使每个像素达到能容纳2¹⁶～2⁷²个层级的像素，本实施例为了适应大部分移动终端的性能，三张图像的每个像素(2⁸)乘以2²⁴，即每个像素达到能容纳2³²个层级的像素。

S1022、取三张不同曝光参数的图像扩展后的像素值的平均值，获得高动态范围图像

将三张不同曝光参数的图像扩展后的像素值进行叠加，再除以图像数量(即3)，求出平均值，这样就能够得到一张同时具有多层次亮度信息的高动态范围图像，该高动态范围图像为一张贴近自然光照的图像。

S103、对高动态范围图像进行色调映射，使高动态范围图像的像素进行重新压缩

获得高动态范围图像之后，需要对其像素进行重新压缩，使其恢复到能够重新在移动终端上显示的层级，这就需要对图像进行色调映射(Tone Mapping)，使其在最大程度上保留细节。

由于移动终端内置相机的限制，所获取的图像没办法得到精确的曝光参数，也就无法去拟合出精确的相机响应曲线去进行图像的色调映射，所以这里采用新的色调映射方法去压缩高动态范围图像。

如图4所示，步骤S103具体包括：

S1031、在整张高动态范围图像中构建多个3*3的像素方格

3*3的像素方格是指处于中心的像素方格以及围绕在其四周的八个方格组成，如图5所示，以其中两个3*3的像素方格为例，一个3*3的像素方格的中心像素方格是A像素方格，A像素方格与围绕在其四周的八个像素方格一起组成九宫格，另一个3*3的像素方格的中心像素方格是B像素方格，B像素方格与围绕在其四周的八个像素方格一起组成九宫格。

S1032、针对每个3*3的像素方格，将中心像素方格的像素分别与围绕在四周的八个像素方格的像素进行比较

在本步骤中，以A像素方格与围绕在其四周的八个像素方格，以及B像素方格与围绕在其四周的八个像素方格为例，将A像素方格的像素与围绕在其四周的八个像素方格的像素进行比较，以及将B像素方格的像素与围绕在其四周的八个像素方格的像素进行比较。

S1033、根据比较结果，当围绕在四周的八个像素方格中像素与中心像素方格的像素不同的像素方格数量多于两个时，将中心像素方格判断为边缘信息；否则，将中心像素方格判断为普通信息

围绕在四周的八个像素方格中像素与中心像素方格的像素不同的像素方格，本实施例将其定义为：围绕在四周的八个像素方格中像素大于m倍中心像素方格的像素的像素方格，或围绕在四周的八个像素方格中像素小于n倍中心像素方格的像素的像素方格；其中，1<m<1.2，0.8<n<1，例如m的值可以取1.02、1.05、1.08、1.1、1.12、1.15、1.18等，n的值可以取0.82、0.85、0.88、0.9、0.92、0.95、0.98等，其中m取1.1，n取0.9为实验得到的最优值。

以A像素方格与围绕在其四周的八个像素方格为例，围绕在A像素方格四周的八个像素方格中，如果存在某个像素方格的像素大于1.1倍A像素方格的像素，或小于0.9倍A像素方格的像素，则认为该像素方格的像素与A像素方格的像素不同，统计这些像素方格数量，如图5所示，在八个像素方格中，有五个像素方格的像素与A像素方格的像素不同，由于方格的数量多于两个，因此将A像素方格判断为边缘信息，为了保留更多的图像细节，边缘信息不进行处理。

以B像素方格与围绕在其四周的八个像素方格为例，围绕在B像素方格四周的八个像素方格中，如果存在某个像素方格的像素大于1.1倍B像素方格的像素，或小于0.9倍B像素方格的像素，则认为该像素方格的像素与B像素方格的像素不同，统计这些像素方格数量，如图5所示，在八个像素方格中，只有一个像素方格的像素与B像素方格的像素不同，由于方格的数量少于两个，因此将B像素方格判断为普通信息。

S1034、对所有判断为普通信息的中心像素方格的像素进行映射处理，使高动态范围图像的像素进行重新压缩

步骤S1034，具体包括：

计算所有判断为普通信息的中心像素方格的像素的映射值，如下：

f(x,y)＝ln(p(x,y))/ln(cl)-ln(p)/ln(cl) (1)

其中，p(x,y)为3*3像素方格四周的八个像素方格的像素，p为3*3像素方格的中心像素方格的像素，cl为对比参数(根据经验值设置为5)，f(x,y)为3*3像素方格的像素映射值；

计算所有判断为普通信息的中心像素方格的权值，如下：

其中，w(x,y)为3*3像素方格的像素权值；

将计算后的映射值f(x,y)和权值w(x,y)代入下式：

f'(x,y)＝f(x,y)*w(x,y) (3)

将计算得到的f'(x,y)代入下式：

wm＝∑f'(x,y)/∑w(x,y) (4)

其中，wm为运算中的一个数值；

将计算得到的wm代入下式：

l(x,y)＝e^{(wm+(p(x,y)/log(cl)))*log(cl)}>

其中，l(x,y)为像素值；

通过式(5)的计算，得到最终图像的像素值l(x,y)，为了让像素值能够在移动终端中显示出来，将像素值l(x,y)归一化到0～255个层级中，也就是将映射后3*3像素方格的像素值填充回原来的3*3像素方格中，压缩后的图像像素为适合移动终端显示的低动态范围(Low-DynamicRange)图像，最终效果如图6所示，与原图(即图2a)对比，减少了拍摄图像时因环境的光照问题而产生的噪点，同时解决图像处理过程中在颜色通道上的偏移，既改善了图像内部细节，又保留了图像边缘细节。

实施例2：

如图7所示，本实施例提供了一种基于高动态范围原理的图像合成装置，所述装置包括图像采集模块701、图像合成模块702和色调映射模块703，各个模块的具体功能如下：

所述图像采集模块701，用于采集多张不同曝光参数的图像。

所述图像合成模块702，用于基于高动态范围原理将多张不同曝光参数的图像进行合成，获得高动态范围图像，该模块的结构如图8所示，具体包括：

像素级扩展单元7021，用于将多张不同曝光参数的图像的像素级进行扩展，具体为：将多张不同曝光参数的图像中的每个像素都乘以2⁸～2⁶⁴，使每个像素达到能容纳2¹⁶～2⁷²个层级的像素；

平均单元7022，用于取多张不同曝光参数的图像扩展后的像素值的平均值，获得高动态范围图像。

所述色调映射模块703，用于对高动态范围图像进行色调映射，使高动态范围图像的像素进行重新压缩，该模块的结构如图9所示，具体包括：

像素方格构建单元7031，用于在整张高动态范围图像中构建多个3*3的像素方格；

比较单元7032，用于针对每个3*3的像素方格，将中心像素方格的像素分别与围绕在四周的八个像素方格的像素进行比较；

判断单元7033，用于根据比较结果，当围绕在四周的八个像素方格中像素与中心像素方格的像素不同的像素方格数量多于两个时，将中心像素方格判断为边缘信息；否则，将中心像素方格判断为普通信息；

围绕在四周的八个像素方格的像素与中心像素方格的像素是否相同，采用以下的判断方式：

a、围绕在四周的八个像素方格中，如果存在某个像素方格的像素大于m(m为设定值，1<m<1.2)倍中心像素方格的像素，则该像素方格的像素与中心像素方格的像素不同；

b、围绕在四周的八个像素方格中，如果存在某个像素方格的像素小于n(n为设定值，0.8<n<1)倍中心像素方格的像素，则该像素方格的像素与中心像素方格的像素不同；

c、上述a和b以外的情况，即某个像素方格的像素小于或等于m倍中心像素方格的像素，同时又大于或等于n倍中心像素方格的像素，则该像素方格的像素与中心像素方格的像素相同。

映射单元7034，用于对所有判断为普通信息的中心像素方格的像素进行映射处理，使高动态范围图像的像素进行重新压缩，具体包括：

计算所有判断为普通信息的中心像素方格的像素的映射值，如下：

f(x,y)＝ln(p(x,y))/ln(cl)-ln(p)/ln(cl)

其中，p(x,y)为3*3像素方格四周的八个像素方格的像素，p为3*3像素方格的中心像素方格的像素，cl为对比参数，f(x,y)为3*3像素方格的像素映射值；

计算所有判断为普通信息的中心像素方格的权值，如下：

其中，w(x,y)为3*3像素方格的像素权值；

将计算后的映射值f(x,y)和权值w(x,y)代入下式：

f'(x,y)＝f(x,y)*w(x,y)

将计算得到的f'(x,y)代入下式：

wm＝∑f'(x,y)/∑w(x,y)

其中，wm为运算中的一个数值；

将计算得到的wm代入下式：

l(x,y)＝e^{(wm+(p(x,y)/log(cl)))*log(cl)}

其中，l(x,y)为像素值；

将像素值l(x,y)归一化到0～255个层级中，也就是将映射后3*3像素方格的像素值填充回原来的3*3像素方格中。

在此需要说明的是，本实施例的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

实施例3：

本实施例提供了一种移动终端，包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现如下操作：

采集多张不同曝光参数的图像；

基于高动态范围原理将多张不同曝光参数的图像进行合成，获得高动态范围图像；

对高动态范围图像进行色调映射，使高动态范围图像的像素进行重新压缩。

本实施例中所述的移动终端可以是智能手机、PDA手持终端、平板电脑或其他具有拍摄和显示功能的手持式终端设备。

综上所述，本发明通过采集多张不同曝光参数的图像，基于高动态范围原理将多张不同曝光参数的图像进行合成，合成的图像减少了拍摄图像时因环境的光照问题而产生的噪点，同时解决图像处理过程中在颜色通道上的偏移，再对获得的高动态范围图像进行色调映射，使高动态范围图像的像素进行重新压缩，以恢复到能够重新在移动终端上显示的层级，并在最大程度上保留细节。

以上所述，仅为本发明专利优选的实施例，但本发明专利的保护范围并不局限于此，例如采集两张、四张或以上不同曝光参数的图像进行合成同样实现，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。