基于改进SML与导向滤波的多聚焦图像融合方法

摘要

本发明涉及一种基于改进SML与导向滤波的多聚焦图像融合方法，包括步骤：采用改进SML方法对配准后的两幅多聚焦输入图像进行处理，得到两幅聚焦检测图；分别对两幅聚焦检测图进行形态学开闭交替处理得到对应的聚焦区域重构图；比较两幅聚焦区域重构图中相同位的值，从而得到一幅聚焦区域与散焦区域分离的二值分割图；将二值分割图进行小区域滤波处理得到初始融合决策图；使用其中一幅输入图像作为引导图像，初始融合决策图作为导向滤波输入图像，进行导向滤波操作得到精确融合决策图；采用加权融合规则计算出融合图像。本发明方法结合了基于像素与基于区域融合方法的优点，具有计算速度快，保留更多源图像信息的优点。

说明书

技术领域

本发明属于图像处理领域，涉及一种多聚焦图像融合方法，具体涉及一种基于改进SML与导向滤波的多聚焦图像融合方法。

背景技术

图像融合技术广泛应用于遥感、医疗成像、计算机视觉等领域，被用来将多张输入图像组合成单张融合图像，得到的融合图像比任何一张输入图像具有更多的人类或者机器感知信息。多聚焦图像融合是该领域的一个重要分支。在数字摄影应用中，受光学镜头景深限制，像数字单镜头反光相机这样的成像装置通常难以对场景中的所有重要目标聚焦。一个可行的解决方案就是多聚焦图像融合技术，该技术将同一场景中具有不同聚焦设置的多张图像融合成单张全聚焦图像，这样场景中的重要目标均得到聚焦。

现有的图像融合技术可以分为变换域方法和空间域方法两类。基于多尺度变换理论的融合方法是一种经典的变换域图像融合方法。自从拉普拉斯金字塔图像融合方法提出以来，大量基于多尺度变换的融合方法被提出，这些方法大致可以分为分解、融合、重建三个步骤。但是由于其向下采样过程，该方法存在平移变化问题。近年来，一些新的变换域融合方法被提出，与基于多尺度变换的融合方法不同，这些方法将图像变换为单尺度特征域并计算清晰度，利用滑动窗口作近似平移不变融合处理。但是，这些方法因为错误配准的原因，融合图像存在丢失原图像信息的问题。

基于空间域的融合方法又可以分为基于像素方法、基于分块方法和基于区域方法三类。因为只考虑单个像素或局部邻域信息，基于像素方法很容易导致融合图像效果不好，出现对比度降低、伪影等现象。早期的空间域方法通常采用基于分块的融合策略，将源图像分解为相同大小块，然后对每个块进行清晰度检测，显然，块大小对融合结果的质量有很大的影响。与基于像素方法、基于分块方法相比，基于区域的融合方法能保留更多的图像结构信息，该方法首先将源图像分割成多个区域，然后比较相应区域的聚焦度来找出聚焦区域，然而该方法过于依赖分割效果而且计算耗时长。

发明内容

本发明是要解决现有多聚焦图像融合方法存在的源图像信息丢失问题，而提供了基于改进SML(改进拉普拉斯能量Sum of Modified Laplacian，SML)与导向滤波的快速多聚焦图像融合方法，而提高融合图像质量。

本发明提供的基于改进SML与导向滤波的快速多聚焦图像融合方法，包括以下步骤：

步骤一，采用改进SML方法对已配准的多聚焦输入图像I_A(x,y)和I_B(x,y)进行处理，得到两幅聚焦检测图S_A(x,y)和S_B(x,y)，其中(x,y)为图像坐标位置，I_A(x,y)和I_B(x,y)为同一场景聚焦于不同目标的灰度图像；

步骤二，分别对两幅聚焦检测图进行形态学开闭交替处理，得到对应的聚焦区域重构图M_A(x,y)和M_B(x,y)，所述形态学开闭交替处理的实现方式为，

M(x,y)＝(S(x,y)οSE)·SE(4)

其中，其中ο和·分别表示形态学开与闭操作，SE为“disk”结构元素；

步骤三，比较两幅聚焦区域重构图中相同位的值，如果M_A(x,y)>M_B(x,y)，则记为“1”，表示聚焦像素点，反之记为“0”，表示散焦像素点，从而得到一幅聚焦区域与散焦区域分离的二值分割图B(x,y)，

步骤四，将二值分割图进行小区域滤波处理，得到初始融合决策图T(x,y)，

T(x,y)＝SRF(B(x,y),threshold)(6)

步骤五，使用I_A(x,y)作为引导图像，初始融合决策图作为导向滤波输入图像，进行导向滤波操作，得到精确融合决策图D(x,y)，

D(x,y)＝GF_r,ε(I_A(x,y),T(x,y))(7)

其中，GF_r,ε(·)表示导向滤波操作；

步骤六，采用以下加权融合规则计算出融合图像F(x,y)，

F(x,y)＝D(x,y)I_A(x,y)+(1-D(x,y))I_B(x,y)(8)

其中，D(x,y)表示图像坐标(x,y)处的权重。

进一步的，所述改进SML方法对输入图像进行处理得到聚焦检测图的实现方式如下，

其中，N、M分别表示滑动窗口的宽、高，i、j表示图像坐标，ISML的计算过程为，

其中，T为阈值，ML的计算过程为，

其中，step表示可变步长，f(x,y)表示输入图像。

与现有技术相比，本发明方法的优点在于：

(1)本发明利用改进SML与形态学开闭操作，具有测量稳定性，聚焦区域检测结果准确的优点。

(2)本发明利用导向滤波对融合决策图聚焦边缘区域进行一致性校验，准确的分割聚焦边缘位置，使得融合图像与真实场景的一致性更好。

(3)本发明所提出的多聚焦图像融合方法结合了基于像素与基于区域融合方法的优点，具有计算速度快，保留更多源图像信息的优点。

(4)本发明方法可广泛应用于遥感、医疗成像、计算机视觉等领域，具有较大的应用前景和经济价值。

附图说明

图1为本发明实施例流程图；

图2为本发明实施例中输入图像I_A；

图3为本发明实施例中输入图像I_B；

图4为本发明实施例中聚焦检测图S_A；

图5为本发明实施例中聚焦检测图S_B；

图6为本发明实施例中二值分割图B；

图7为本发明实施例中初始融合决策图T；

图8为本发明实施例中精确融合决策图D；

图9为本发明实施例中融合结果图像F。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

如图1所示，本发明提出的基于改进SML与导向滤波的快速多聚焦图像融合方法的具体实施方式包括以下步骤：

步骤一：对已配准的输入图像I_A(x,y)和I_B(x,y)，其中(x,y)为图像坐标位置，I_A(x,y)和I_B(x,y)为同一场景聚焦于不同目标的灰度图像，如图2和图3，图2中男孩在焦面上，清晰度高，细节丰富，而处于散焦区域的女孩和塑像模糊，反之，图3中男孩处于散焦区域而模糊，聚焦区域的女孩清晰而细节丰富；采用改进SML方法(用ISML表示)得到两幅聚焦检测图S_A(x,y)和S_B(x,y)，如图4和图5，聚焦检测图的具体计算公式如下：

其中：N、M分别表示滑动窗口的宽、高，i、j表示图像坐标，ISML的计算过程为：

其中：T为阈值，本实施例中T＝5，ML的计算过程为：

其中：step表示可变步长，本实施例中step＝1，f(x,y)表示输入图像；

步骤二：分别对两幅聚焦检测图进行形态学开闭交替处理，得到对应的聚焦区域重构图M_A(x,y)和M_B(x,y)：

其中：其中和·分别表示形态学开与闭操作，SE为“disk”结构元素，本实施例中结构元素的尺寸为5；

步骤三：比较两幅聚焦区域重构图中相同位的值(相同位的值在每幅聚焦区域重构图中只有一个)，如果M_A(x,y)>M_B(x,y)则记为“1”，表示聚焦像素点，反之记为“0”，表示散焦像素点，从而得到一幅聚焦区域与散焦区域分离的二值分割图B(x,y)，如图6：

步骤四：将二值分割图进行小区域滤波(SRF)处理，得到初始融合决策图T(x,y)，如图7，小区域滤波算法的具体实现可参见文献Criminisi A,Pérez P,Toyama K.Regionfilling and object removal by exemplar-based image inpainting[J].IEEETransactions on image processing,2004,13(9):1200-1212；

T(x,y)＝SRF(B(x,y),threshold)(6)

其中：SRF(·)表示小区域滤波操作，threshold表示小区域阈值，本实施例中threshold取输入图像面积的1/40；

步骤五：使用I_A(x,y)作为引导图像，初始融合决策图作为导向滤波输入图像，进行导向滤波操作，得到精确融合决策图D(x,y)，如图8；以I_A(x,y)作为引导图像，可以将引导图像的结构信息转移到输出图像，从而实现聚焦区域与散焦区域边缘校验，其中决策图D(x,y)的表达式如下：

D(x,y)＝GF_r,ε(I_A(x,y),T(x,y))(7)

其中：GF_r,ε(·)表示导向滤波操作，r和ε为导向滤波的两个参数，本实施例中r与ε分别取3和0.08，该算法的具体实现可参见文献Guided>

步骤六：采用加权融合规则计算出融合图像F(x,y)，得到的图像目标对象在一个焦面上，细节更丰富，视觉效果良好，融合后的图像如图9所示：

F(x,y)＝D(x,y)I_A(x,y)+(1-D(x,y))I_B(x,y)(8)

其中，D(x,y)对应坐标位置的权重。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。