一种基于曝光变换的立体高动态范围图像合成方法

摘要

本发明涉及一种基于曝光变换的立体高动态范围图像合成方法，在合成过程中有效地利用了曝光变换图像的信息。首先，采用d‑buffer策略，将具有低/高曝光度的辅助视点图像绘制到正常曝光的主视点上，并提出基于曝光变换的可靠性检测方法去除绘制不准确的像素；接着，为了得到高质量多曝光图像，提出基于曝光变换的信息恢复方法，主要利用曝光变换图像对绘制图像进行像素填充、边缘修复、图像平滑；再根据恢复的多曝光图像，合成主视点HDR图像。并对左右视点都运用上述方法，合成左右视点HDR图像，从而实现立体HDR成像。

说明书

技术领域

本发明涉及立体高动态范围图像合成技术领域，尤其是涉及一种基于曝光变换的立体高动态范围图像的合成方法。

背景技术

高动态范围(High Dynamic Range,HDR)图像具有动态范围广、对比度高、色彩丰富等优点，正被广泛地应用于医学、航空、智能制造等诸多领域。但是由于成像设备受限，现有的很多HDR图像基本上都是通过软件合成的方法得到的。因此，为了得到更符合真实场景的HDR图像，HDR成像这一技术越来越被重视。

目前，利用多曝光图像序列合成HDR图像已经成为HDR成像的主流方法。这类方法运用多曝光图像动态范围的叠加，获得具有更宽动态范围的图像。根据多曝光图像的拍摄方式，可以将HDR图像合成方法分为两大类：单视点多曝光方法和多视点多曝光方法。其中传统的单视点多曝光方法，在处理运动场景的HDR图像合成时，由于拍摄得到的图像中含有运动物体，导致合成的HDR图像中存在鬼影现象。而且这类方法只考虑了单视点的信息，合成图像没有立体效果。相比于单视点多曝光方法，多视点多曝光方法由于拍摄的是同一时刻的多曝光图像，所以很自然地避免了因场景中的运动物体而导致的鬼影现象，而且还可以将单视点HDR图像扩展到多视点HDR图像，从而获得立体视觉效果。因此，一些研究者开始研究这类基于多视点多曝光图像合成立体HDR图像的研究。Lin等人首次将具有不同曝光度的辅助视点绘制到主视点上，提出了一种基于立体成像的HDR图像合成方法。后续研究者们在该模型基础上做了一系列深入的研究。例如，等人使用双线性插值方法恢复绘制图像中亚像素位置的像素值，然后利用两个视点的多曝光图像序列逐帧合成立体HDR视频。这些方法均提出了有效的视差估计方法，但并没有对绘制图像的空洞区域进行很好的修复，使得产生的多曝光图像存在大量的未知像素。最近，Park等人对绘制图像的空洞填补问题，提出了有效的解决方法。该方法先利用超像素分割对图像进行分块，然后在空洞像素所在的图像块中寻找相似像素点来填补空洞，并用边缘保持滤波等技术对空洞填补后的图像做后处理。尽管该方法在主观评价和客观评价指标上相较于其他现有方法具有一定优越性，但对后处理技术的依赖性较大。

与上述这些方法不同，为了更有针对性地研究绘制过程对合成HDR图像质量的影响，本发明提出了在已知视差的情况下的基于曝光变换的立体高动态范围图像合成方法。与传统的方法相比，本发明需要解决的多视点多曝光图像绘制问题与传统的相同曝光度下的视点绘制不同：传统方法中的视点绘制不提供任何绘制视点处的图像信息，且各辅助视点的曝光度是相同的，所以通常采用双绘制方法去填补空洞。而本发明针对多视点多曝光图像的绘制，在已知了绘制视点处的正常曝光图像、且各辅助视点的曝光度不同的情况下，能够有效地利用这些具有不同曝光度图像来提升绘制图像的质量。

发明内容

本发明所要解决的技术问题是提供一种基于曝光变换的立体高动态范围图像的合成方法，该方法在已知了绘制视点处的正常曝光图像、且各辅助视点的曝光度不同的情况下，能够有效地利用这些具有不同曝光度的图像来提升绘制图像的质量。

本发明所采用的技术方案是，一种基于曝光变换的立体高动态范围图像的合成方法，包括下列步骤：

(1)、将由低曝光的视点、正常曝光的视点1、正常曝光的视点2和高曝光的视点组成的多曝光图像序列，以及低曝光的视点和高曝光的视点的视差图作为系统的输入；

(2)、视点绘制修复部分：首先，设正常曝光的视点1和正常曝光的视点2分别为左、右视点，均为主视点，用视点n表示，其对应的曝光时间为t_n，设低曝光的视点和高曝光的视点为辅助视点，用视点m表示，其对应的曝光时间为t_m，采用d-buffer方法将辅助视点绘制到主视点上；然后，进行绘制视点图像的可靠性检测，即采用直方图匹配的颜色变换方法对主视点n上的正常曝光图像进行曝光变换，得到与绘制视点图像具有相同曝光度的图像，用表示，再根据来判断绘制视点图像的可靠性；

(3)、信息恢复：首先，用曝光变换图像中的像素填充绘制视点图像中的裂纹和空洞区域，得到填充图像然后，利用Sobel算子检测出曝光变换图像的边缘，用表示，利用Sobel算子检测出填充图像的边缘，用S′表示，并以为参考，采用异或运算求取S′中与存在差异的边缘区域Ω，并将中Ω区域的信息传递到中，得到边缘修复后的图像接着，将曝光变换图像与边缘修复后的图像进行融合，以实现边缘修复后的图像的平滑，得到平滑后的图像

(4)、HDR图像合成：根据得到的主视点多曝光图像，利用HDR图像合成方法合成主视点HDR图像。

步骤(2)中，采用d-buffer方法将辅助视点绘制到主视点上的具体过程为：在视图绘制过程中，在重叠绘制的像素点处取具有最大视差的像素点作为正确的绘制图像像素，可以表达为：其中，表示绘制视点图像，(x_j,y_j)表示辅助视点m的像素点坐标，(x′,y′)表示绘制视点的像素点坐标，表示(x_i,y_i)处的水平视差。

步骤(2)中，根据来判断绘制视点图像的可靠性的具体方法为：根据关系式：来做判断，其中，T是设定的阈值，如果绘制图像中的对应像素点(x′,y′)满足该关系式，则保留，否则舍弃。经过这样的可靠性检测可以去除绘制图像中的虚假轮廓和绘制错误的像素，得到可靠的绘制图像。

步骤(3)中，边缘修复后的图像可以表达为：

其中，表示边缘修复后的(x′,y′)点像素，和S′(x′,y′)分别表示和S′在点(x′,y′)处的像素值，表示异或操作。

步骤(3)中，平滑后的图像可以表达为：

步骤(4)中，利用HDR图像合成方法合成主视点HDR图像的具体方法为：先通过最小二乘法估计相机响应函数，再进行逆变换得到逆相机函数g，根据g和曝光时间Δt_j得到第j幅图像的辐照度图，并用加权融合的方式得到HDR图像，表达为：

其中，Z_ij表示第j幅曝光图像第i个像素点的像素值，g表示逆相机响应函数，Δt_j表示第j幅图像的曝光时间，E_i表示合成的HDR图像中第i点的辐照度值，N表示图像个数，ω表示每一个像素点在合成过程中所占的比重，即：其中，Z_max表示像素最大值，Z_min表示像素最小值；左右视点分别根据上式，即可得到左右视点HDR图像，实现立体HDR成像。

步骤(2)中，通过将低曝光的视点到高曝光的视点的视差乘1/3，能够得到低曝光的视点到正常曝光的视点1的视差；通过将低曝光的视点到高曝光的视点的视差乘2/3，能够得到低曝光的视点到正常曝光的视点2的视差；通过将高曝光的视点到低曝光的视点的视差乘2/3，能够得到高曝光的视点到正常曝光的视点1的视差；通过将高曝光的视点到低曝光的视点的视差乘1/3，能够得到高曝光的视点到正常曝光的视点2的视差。

步骤(2)中，T的取值为：T＝10。

本发明的有益效果体现在这三个方面：

1)本发明方法提出d-buffer策略进行视差绘制，在绘制重叠处选取具有最大视差的绘制像素点作为正确的绘制图像像素点，解决了绘制中的重叠问题；

2)本发明方法利用颜色变换得到的曝光变换图像，对绘制图像进行可靠性检测，以去除虚假轮廓和绘制错误的像素；

3)本发明方法根据曝光变换图像，对绘制图像进行有效的信息恢复，即像素填充、边缘修复、图像平滑，以得到高质量多曝光图像序列，有效地利用具有不同曝光度的图像来提升绘制图像的质量。

附图说明

图1为本发明方法的实现框图；

图2为具体实施方式里四种合成方案中的方案一、方案二以及方案三的合成结果图；其中(a)为Art序列的方案一合成结果；(b)为Art序列的方案二合成结果；(c)为Art序列的方案三合成结果；(d)为Moebius序列的方案一合成结果；(e)为Moebius序列的方案二合成结果；(f)为Moebius序列的方案三合成结果；

图3为具体实施方式里四种合成方案中的方案四合成结果与参考图像的对比图；其中(a)为Art序列的方案四合成结果；(b)为Art序列参考图像；(c)为Moebius序列的方案四合成结果；(d)为Moebius序列的参考图。

具体实施方式

以下参照附图并结合具体实施方式来进一步描述发明，以令本领域技术人员参照说明书文字能够据以实施，本发明保护范围并不受限于该具体实施方式。

本发明所采用的技术方案是，一种基于曝光变换的立体高动态范围图像的合成方法，包括下列步骤：

(1)、将由低曝光的视点、正常曝光的视点1、正常曝光的视点2和高曝光的视点组成的多曝光图像序列，以及低曝光的视点和高曝光的视点的视差图作为系统的输入；

(2)、视点绘制修复部分：首先，设正常曝光的视点1和正常曝光的视点2分别为左、右视点，均为主视点，用视点n表示，其对应的曝光时间为t_n，设低曝光的视点和高曝光的视点为辅助视点，用视点m表示，其对应的曝光时间为t_m，采用d-buffer方法将辅助视点绘制到主视点上；然后，进行绘制视点图像的可靠性检测，即采用直方图匹配的颜色变换方法对主视点n上的正常曝光图像进行曝光变换，得到与绘制视点图像具有相同曝光度的图像，用表示，再根据来判断绘制视点图像的可靠性；

(3)、信息恢复：首先，用曝光变换图像中的像素填充绘制图像中的裂纹和空洞区域，得到填充图像然后，利用Sobel算子检测出曝光变换图像的边缘，用表示，利用Sobel算子检测出填充图像的边缘，用S′表示，并以为参考，采用异或运算求取S′中与存在差异的边缘区域Ω，并将中Ω区域的信息传递到中，得到边缘修复后的图像接着，将曝光变换图像与边缘修复后的图像进行融合，以实现边缘修复后的图像的平滑，得到平滑后的图像

(4)、HDR图像合成：根据得到的主视点多曝光图像，利用HDR图像合成方法合成主视点HDR图像。

步骤(2)中，采用d-buffer方法将辅助视点绘制到主视点上的具体过程为：在视图绘制过程中，在重叠绘制的像素点处取具有最大视差的像素点作为正确的绘制图像像素，可以表达为：其中，表示绘制视点图像，(x_j,y_j)表示辅助视点m的像素点坐标，(x′,y′)表示绘制视点的像素点坐标，表示(x_i,y_i)处的水平视差。

步骤(2)中，根据来判断绘制视点图像的可靠性的具体方法为：根据关系式：来做判断，其中，T是设定的阈值，如果绘制图像中的对应像素点(x′,y′)满足该关系式，则保留，否则舍弃。经过这样的可靠性检测可以去除绘制图像中的虚假轮廓和绘制错误的像素，得到可靠的绘制图像。

步骤(3)中，边缘修复后的图像可以表达为：

其中，表示边缘修复后的(x′,y′)点像素，和S′(x′,y′)分别表示和S′在点(x′,y′)处的像素值，表示异或操作。

步骤(3)中，平滑后的图像可以表达为：

步骤(4)中，利用HDR图像合成方法合成主视点HDR图像的具体方法为：先通过最小二乘法估计相机响应函数，再进行逆变换得到逆相机函数g，根据g和曝光时间Δt_j得到第j幅图像的辐照度图，并用加权融合的方式得到HDR图像，表达为：

其中，Z_ij表示第j幅曝光图像第i个像素点的像素值，g表示逆相机响应函数，Δt_j表示第j幅图像的曝光时间，E_i表示合成的HDR图像中第i点的辐照度值，N表示图像个数，ω表示每一个像素点在合成过程中所占的比重，即：其中，Z_max表示像素最大值，Z_min表示像素最小值；左右视点分别根据上式，即可得到左右视点HDR图像，实现立体HDR成像。

步骤(2)中，通过将低曝光的视点到高曝光的视点的视差乘1/3，能够得到低曝光的视点到正常曝光的视点1的视差；通过将低曝光的视点到高曝光的视点的视差乘2/3，能够得到低曝光的视点到正常曝光的视点2的视差；通过将高曝光的视点到低曝光的视点的视差乘2/3，能够得到高曝光的视点到正常曝光的视点1的视差；通过将高曝光的视点到低曝光的视点的视差乘1/3，能够得到高曝光的视点到正常曝光的视点2的视差。

步骤(2)中，T的取值为：T＝10。

为进一步说明本发明方法的有效性，进行如下实验。

本实施例采用Middlebury数据库中的四组多视点多曝光序列。值得一提的是，该数据库中已知低曝光的视点和高曝光的视点之间的视差。因此，选择其中的Aloe、Art、Bowling1、Moebius序列的低曝光视点、正常曝光的视点1和正常曝光的视点2以及高曝光的视点作为实验组合，其中Art和Moebius序列的低/正常/高曝光时间是250ms/1000ms/4000ms，Aloe和Bowling1序列的低/正常/高曝光时间是125ms/500ms/2000ms。通过将低曝光的视点到高曝光的视点的视差乘1/4得到低曝光的视点到正常曝光的视点1的视差，将低曝光的视点到高曝光的视点的视差乘1/2得到低曝光的视点到正常曝光的视点2的视差，将高曝光的视点到低曝光的视点的视差乘3/4得到高曝光的视点到正常曝光的视点1的视差，将高曝光的视点到低曝光的视点的视差乘1/2得到高曝光的视点到正常曝光的视点2的视差。

然后，为了评估所提出方法的每一部分对最终合成的HDR图像质量的影响，制定了四种合成方案进行对比验证。方案一，采用所提出的绘制修复方法进行绘制，但采用传统的左右视点双绘制方法进行信息恢复；方案二，在绘制修复中舍弃了可靠性检测的步骤，并采用基于曝光变换的图像信息填充方法，但不进行边缘修复和图像平滑；方案三，在方案二的基础上添加了可靠性检测的步骤；方案四，即本发明方法，采用了所提出的绘制修复方法和基于曝光变换的像素填充方法，并进行边缘修复和图像平滑。实验将从客观和主观两方面对不同方案合成的HDR图像质量进行评估。

首先，客观评估使用经典的HDR-VDP-2(HDR-Visual Difference Predictor-2)评价准则作为衡量标准。需要说明的是，HDR-VDP-2的值介于0至100，越大表示合成图像与参考图像越接近。其中，参考图像是根据Middlebury库中原始的正常曝光的视点2和正常曝光的视点3的多曝光图像，用Debevec方法合成得到的。另外，由于正常曝光的视点2和正常曝光的视点3的合成方法相同，所以后续只对正常曝光的视点2合成图像的质量进行评估。具体的客观质量评价结果如表1所示。通过方案一和方案三的比较可以看出，方案三的方法得到的HDR图像的HDR-VDP-2值更高，说明相比传统的左右视点双绘制的空洞填补方法，所提的基于曝光变换的像素填充方法更有效。再通过方案二和方案三的比较可以看出，方案三的方法得到的HDR图像的HDR-VDP-2值更高，说明基于可靠性检测的绘制修复方法有助于合成更高质量的HDR图像。最后，通过方案三和方案四的比较可以看出，边缘修复和图像平滑处理能进一步提升合成HDR图像的质量。因此，从客观评估上，这四种方案的对比结果表明，本发明方法中的一系列步骤均有助于合成HDR图像。

表1不同方案合成的HDR图像的HDR-VDP-2值

此外，主观质量上，用经典的色调映射方法将各方案合成的HDR图像转换成色调映射图像，通过比较的色调映射图像及其细节图，来验证本发明方法的有效性。其中，方案一、方案二、方案三的合成HDR图像及其对应的细节图如图2所示。根据Art序列的合成结果，图2(a)、(b)、(c)，可以看出，陶瓷壶手柄处因错位问题导致的失真从方案一到方案二再到方案三逐渐地被去除，而且木棒周围的错误像素也得到了一定的去除，但木棒周围仍存在多余的细纹。根据Moebius序列的合成结果，图2(d)、(e)、(f)，可以看出，第一个细节处的右下角的筛子的信息从方案一到方案二再到方案三逐渐变得完整，但是第一个细节处左边三角形区域以及第二个细节的褶皱处存在一些不连续的像素。从这三个方案的对比中，可以得知可靠性检测和基于曝光变换的像素填充方法的有效性，但在某些细节及边缘处仍存在一定的不足。所以，相比于方案三，方案四添加了边缘修复和图像平滑处理。为了更好地说明方案四的有效性，将方案四的合成图像与参考图像进行细节的比较，实验结果如图3所示。从Art序列的合成结果中可以看出，陶瓷壶手柄处的细节比方案三的合成结果更理想，且更接近于参考图像；木棒的边缘细纹也得到了去除，更接近于参考图像。从Moebius序列的合成结果中可以看出，第一个细节图的左边三角形区域中的黑色噪点得到了很好的去除，且第二个细节图的褶皱区域像素更平滑了，几乎接近于参考图像。因此，从主观上也可以看出本发明方法中一系列步骤均有助于合成高质量的HDR图像。

验证了本发明方法中一系列步骤的有效性后，还对整体方法的优越性进行了评估。以HDR-VDP-2为标准，将所本发明方法与传统的用多视点多曝光图像合成HDR图像的方法进行比较，实验结果如表2所示。由于对比文献的代码未公开，而Park等人对这些算法进行了总结，所以从其论文中获取了Lin、Batz和Park的实验数据是。另外，为了保持对比实验条件的一致性，在数据准备上有两点需要注意：(1)由于以上三种方法都是使用两个视点的多曝光图像合成HDR图像，且Park的实验显示正常曝光和高曝光的图像组合得到的HDR图像质量更好，因此，使用正常曝光的视点1和高曝光的视点图像合成正常曝光的视点1上的HDR图像；(2)使用公共的序列Art、Aloe和Moebius进行合成结果的比较。合成图像的HDR-VDP-2的测量结果如表中的Proposed_comparing列所示，比Lin、Batz、以及Park的方法分别提升了2.67，1.94，0.63。考虑到正常曝光和高曝光的图像不能反映场景的全部信息，所以本发明方法最终采用低曝光、正常曝光、高曝光的组合合成HDR图像，其中合成结果如表2中的Proposed列所示。可以看出相比于Proposed_comparing，所提方法在HDR-VDP-2指标上有了进一步提升。该结果也表明本发明方法的合理性：(1)通过一系列的绘制修复以及图像信息恢复得到主视点下不同曝光度的图像；(2)充分考虑了低曝光、正常曝光以及高曝光的图像信息，从而合成更加真实的HDR图像。

表2基于HDR-VDP-2的各方法质量比较

本发明一种基于曝光变换的立体高动态范围图像合成方法，在合成过程中有效地利用了曝光变换图像的信息。实验结果表明，本发明方法能够合成高质量的HDR图像。其HDR-VDP2可以达到95.33，比目前有代表性的算法提高了1.35。