一种利用图像融合技术消除图像反影的方法

摘要

本发明公开了一种利用图像融合技术消除图像反影的方法，包含如下步骤：S1：在闪光和非闪光的条件下分别采集两幅图像标记为闪光图像 I

说明书

技术领域

本发明属于图像处理技术领域，具体涉及一种利用图像融合技术消除图像反影的方法。

背景技术

当透过透明媒介去拍摄场景的时候，获取的图像往往表现为背景层和反射层的混合叠加，背景层表示所拍摄的目标场景，反射层是由于光线在媒介表面的反射作用而产生的一些未知场景的反射影像，这使得所拍摄的图像质量严重下降。这种情况在日常生活中会经常见到，比如拍摄商场橱窗里展示的时装，柜台里用玻璃保护的首饰品，还有博物馆里展示的字画文物等等。

目前，根据算法输入图像的数量可以将消除图像反影的方法分成两大类，第一类算法只要求输入一幅图像，比如Levin 和 Weiss在2004年提出一种反影消除方法，该方法要求用户先标注出属于背景层和属于反射层的边缘信息，然后将标注信息和图像梯度的稀疏先验信息输入一个优化模型优化求解得到反影消除结果。由于这种方法需要用户交互，而且标注图像边缘信息既费时又枯燥，因此不便于应用。随后， Levin又提出一种自动消除反射的算法，该算法首先构造一个自然图像数据库，然后使用机器学习的思想在图像库中搜索优化出背景层和反射层的最优组合，从而得到消除反射的图像。但是这种基于样例的学习方法对数据库的依赖性比较强，而且当图像中包含比较复杂的结构信息时也会失效。第二类方法要求输入多幅图像，因为多幅图像能够为问题的求解提供更多的有用信息。N.Kong等人在2012年提出一种采用偏振的方法，在相机镜头前面加上偏光镜，通过旋转偏光镜头采集多幅图像，这样采集的图像具有一个特点就是背景层和反射层的混合比例会发生变化，基于这种特点可以用优化方法得到消除反射的图像。A.Agrawal等人在2005年提出的方法中要求分别在不使用闪光灯和使用闪光灯的情况下采集两幅图像，然后采用梯度投影的方法消除反射。这一类方法对拍摄有一定的专业技术要求同时还要求相机在拍摄的时候必须固定，以保证采集的图像能够严格对齐。但是对于业余摄影者来说这些要求显然增加了拍摄的难度，在实践中不便于操作。

发明内容

本发明的目的是提供了一种利用图像融合技术消除图像反影的方法，该方法需要在打开闪光灯和关闭闪光灯的情况下分别拍摄两幅图像。如图2所示，打开闪光灯拍摄图像可以有效抑制反影，但是会受到光斑的“污染”，而关闭闪光灯拍摄的图像虽然不会受到光斑“污染”，但存在反影，所以可以考虑将两幅图像进行融合来消除反影和光斑。

为了实现上述目的，本发明采用如下技术方案：一种利用图像融合技术消除图像反影的方法，其特征在于包含如下步骤：

S1：在闪光和非闪光的条件下分别采集两幅图像标记为闪光图像I_F和非闪光图像I_R；

S2：将非闪光图像I_R与闪光图像I_F对齐后标记为对齐非闪光图像                                               ；

S3：定位闪光图像I_F中光斑的位置并计算光斑直径；

S4：将对齐非闪光图像进行色调变换，使其与闪光图像I_F的色调保持一致；

S5：根据光斑位置及其属性值生成一个高斯掩模，利用该高斯掩模将色调变换后的对齐非闪光图像和闪光图像I_F平滑的融合在一起得到最终消除反影的图像I。

其中，所述步骤S2中，分别计算闪光图像I_F和非闪光图像I_R的ORB特征，然后用PROSAC算法计算得到两幅图像之间的单应性矩阵，根据单应性矩阵对非闪光图像I_R进行投影得到与闪光图像I_F对齐的对齐非闪光图像，其具体步骤为：

S2-1：分别计算闪光图像I_F和非闪光图像I_R带方向信息的FAST特征点，然后用BRIEF描述符对特征点描述得到ORB特征向量；

S2-2：应用PROSAC算法对闪光图像I_F和非闪光图像I_R的ORB特征向量进行匹配，计算得到单应性矩阵F；

S2-3：根据单应性矩阵F对非闪光图像I_R重投影得到与闪光图像I_F对齐的对齐非闪光图像。

所述步骤S3中，闪光图像I_F中光斑的定位和其属性值的计算过程为：

S3-1：用高斯分布建模闪光图像I_F中光斑的亮度分布，生成一个高斯模板；

S3-2：用该高斯模板与闪光图像I_F做卷积运算，响应的最大值P_flash即为光斑的中心位置，其中；

S3-3：由于光斑在图像中的亮度非常高，因此先将图像阈值化得到二值图像，然后对二值图像进行连通操作得到多个连通域；

S3-4：最后选出包含光斑中心位置的连通域并计算其直径作为所求光斑的有效直径d。

所述步骤S4中，由于对同一场景在不同光照条件下成像时图像之间会存在颜色差异，为了使最终融合的图像看起来更自然，需要将对齐非闪光图像的色调进行变换使其与闪光图像I_F的色调保持一致。对于对齐非闪光图像中某个给定的像素x₀，其变换后的颜色值为闪光图像I_F中所有“相邻”像素颜色值的加权求和，其运算公式为：

其中，为闪光图像I_F中像素x的颜色值，权值是度量像素x与x₀“相邻”性的似然值，其满足条件。

像素x与x₀“相邻”性的强弱与三个因素有关：第一个是颜色的相似性，用表示；第二个是距离的相近程度，用表示；第三个是像素x距离光斑的远近程度，用表示。

其中

其中，表示2-范数，表示变换前像素x₀的颜色值，是控制参数。该似然值与两个像素点间的颜色差值成反比，颜色越相似该值越大。

其中，P(x)表示像素x的坐标位置，是控制参数。该似然值与两个像素间的距离成反比，距离越近值越大。考虑距离因素给距离x₀近的像素分配更高的权值可以减少图像中由于非均匀光照带来的影响。

其中，表示前面所求光斑的中心位置，是控制参数。因为光斑是需要消除的，所以距离光斑中心位置越近的点越需要抑制，给这些点分配较低的权值，而给距离光斑中心位置较远的点分配较高的权值。

所述步骤S5中，为了使融合的结果看起来更自然，利用之前计算的光斑属性生成一高斯掩模M，其中心位置为光斑中心位置，值为光斑的有效直径。得到融合后的图像I为

本发明提出的利用闪光和非闪光图像对的融合来消除图像反影的方法，具有算法简单有效、对拍摄者要求低和便于实际应用等特点。

附图说明

    图1是本发明消除图像反影方法的流程图，图2是在非闪光和闪光条件下分别拍摄的非闪光图像I_R和闪光图像I_F，图3是对非闪光图像I_R经过对齐和色调变换得到的图像，图4是图像融合所用的高斯掩模M及融合后的图像I。

具体实施方式

以下通过实施例对本发明的上述内容做进一步详细说明，但不应该将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明上述内容实现的技术均属于本发明的范围。

如图1所示为本发明的一种利用图像融合技术反影消除方法的一个实施例的处理流程框图，包括如下步骤：

步骤S1，输入分别在闪光和非闪光条件下采集的两幅图像标记为闪光图像I_F和非闪光图像I_R，如图2所示。

步骤S2，将非闪光图像I_R与闪光图像I_F对齐后得到对齐非闪光图像，如图3（a）所示。

图像对齐的方法采用先分别检测两幅图像的特征然后对特征进行匹配求解出单应性矩阵F，然后根据矩阵F对其中一幅图像重新投影就可以使其和另一幅图像对齐。其中特征可以使用现有多种特征检测和描述方法，如SHIFT特征、SURF特征、ORB特征等，本实施例中采用ORB特征。单应性矩阵求解可以采用现有多种匹配算法，如RANSAC算法，PROSAC算法，本实施例中采用PROSAC算法。

另外需要说明的是，该步骤中的图像对齐既可以是将非闪光图像I_R与闪光图像I_F对齐，也可以是将闪光图像I_F与非闪光图像I_R对齐，二者本质上是一样的，对结果不会产生本质影响。本实施例是将非闪光图像I_R与闪光图像I_F对齐来进行说明。

步骤S3，定位闪光图像I_F中光斑的位置并计算光斑的直径。

本实施例采用高斯分布建模闪光图像I_F中光斑的亮度分布，为了定位光斑位置，先生成一个高斯模板，其中参数优选为图像宽度的0.01-0.05之间，宽度和高度分别为10*+1，可以得到较好的结果，然后用该高斯模板与闪光图像I_F做卷积运算，其响应的最大值P_flash即为光斑的中心位置

计算光斑直径的方法是先将图像阈值化得到二值图像，然后对二值图像进行连通操作得到一些连通域。最后选出包含光斑中心位置的连通域作为光斑区域，求该区域的直径作为所求光斑的有效直径d。

步骤S4，将对齐非闪光图像进行色调变换，使其与闪光图像I_F色调保持一致，变换后的图像如图3（b）所示。

对于对齐非闪光图像中某个给定的像素x₀，其变换后的颜色值为闪光图像I_F中所有“相邻”像素颜色值的加权求和，

其中，为闪光图像I_F中像素x的颜色值，权值是度量像素x与x₀“相邻”性的似然值，其满足条件。

像素x与x₀“相邻”性的强弱与三个因素有关：第一个是颜色的相似性，用表示；第二个是距离的相近程度，用表示；第三个是像素x距离光斑的远近程度，用表示。

其中

其中，表示2-范数，表示变换前像素x₀的颜色值，是控制参数，取值为0.1。该似然值与两个像素点间的颜色差值成反比，颜色越相似该值越大。

其中，P(x)表示像素x的坐标位置，是控制参数，取值为图像宽度的倒数。该似然值与两个像素间的距离成反比，距离越近值越大。考虑距离因素给距离x₀近的像素分配更高的权值可以减少图像中由于非均匀光照带来的影响。

其中，表示前面所求光斑的中心位置，是控制参数，取值为1/d。因为光斑是需要消除的，所以距离光斑中心位置越近的点越需要抑制，给这些点分配较低的权值，而给较远距离的点分配较高的权值。

步骤S5，根据光斑位置及其属性值生成一个高斯掩模M，利用该高斯掩模将对齐非闪光图像和闪光图像I_F平滑的融合在一起得到最终消除反影的图像I。

利用公式生成一个和输入图像相同大小的高斯掩模M，如图4（a）所示。其中心位置为，值为光斑的有效直径d。融合后的图像I为

如图4（b）所示，融合后的图像有效的消除了反影并且抑制了闪光图像中光斑的“污染”。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。