融合SAR图像信息的光学图像去云方法

摘要

本发明提供了一种融合SAR图像信息的光学图像去云方法，包括以下步骤：通过SAR图像及光学图像计算优先级函数，并根据优先级按先后顺序选取待修复样本块；对于选取的待修复样本块，利用对应的SAR图像中的样本块和光学图像样本块中的已知像素点从光学图像已知区域中选取最相似的匹配块；找到最相似的匹配块后，用其中对应的像素点对样本块中缺失像素点进行替换，得到修复后的样本块。本发明从优先级计算及最佳匹配块的搜索方面对基于块相似性的算法进行改进。联合SAR影像辅助光学影像进行云下缺失信息的修复，并引入更多相似性度量准则，从而得到更准确而不仅仅是看起来合理的修复结果。

说明书

技术领域

本发明涉及遥感图像处理技术领域，尤其涉及一种信息融合与光学图像修复的方法。

背景技术

近年来，随着现代遥感技术的飞速发展，人们可获取到的遥感影像数据量迅速增长。然而光学图像中云层的干扰会导致图像信息的丢失，影响其后续解译及应用。目前根据辅助数据源的不同，常见的图像修复算法主要分为三类：基于多光谱的方法、基于空间的方法和基于多时相的方法。

基于多光谱的方法利用多光谱含云波段及部分云穿透能力较强的冗余波段间的相关性，建立相应的经验或物理公式，来进行云层检测和信息重建；基于多时相的方法通过对于同一场景不同时刻的遥感图像，通过无云区域间的组合来实现云层修复，依据云层多存在于低频的特性，对多幅配准图像进行多尺度变换，在低频基于归一化低频指数设置阈值进行云层抑制，高频提取拥有更高能量的地物信息，最后进行反变换即可重构出无云影像；基于空间的方法假设缺失数据和剩余数据共享相同的统计或几何结构，于是使用数据中的已知部分填充缺失的数据区域来进行云层去除。

基于块相似性的算法是一种经典的基于空间的图像修复算法，其结合了纹理合成和扩散填充的优点，可对较大面积的缺失区域进行修复并得到较为自然的结果。其首先在已知区域与缺失区域边界处通过优先级选取像素点，并以此像素点为中心取待修复样本块；然后借助待修复样本块中已知像素点来寻找源区域中匹配的目标块；最后将样本块中缺失像素点用匹配目标块中像素点进行替换，直到整个区域被修复。

合成孔径雷达(Synthetic Aperture Radar，SAR)作为一种主动式微波遥感手段，具有全天时、全天候的观测能力，不受云层、雨雪、光照条件等环境因素影响，于是可借助SAR图像来辅助光学图像进行修复。如现有技术中在传统基于块相似性算法的基础上提出了一种以SAR图像为目标区域内真实结构的光学图像修复方法，将图像分为海陆两部分，利用SAR图像来进行优先级的计算并在对应的光学图像区域选取待修复样本块，然后通过平方差之和在光学图像中寻找对应匹配块进行云下信息的修复。

基于空间的方法对于填补小规模的数据缺失效果较好，但对于较大尺寸的信息缺失，由于缺乏辅助信息，只能得到在视觉上尽可能合理而不是准确的结果。

第一，在优先级计算阶段，基于块相似性的算法中优先权函数由鼓励纹理传播的置信度项和鼓励几何结构的传播的数据项相乘得到。但其同时传播几何和纹理的特点有时会导致图像几何结构的破坏，且置信度项在修复过程中迅速下降到零的缺点也会导致后期修复顺序的错乱。同时，如前一步出现错误的填充，仅利用待修复光学图像来进行优先权函数计算的策略也会导致误差的积累，从而使得修复结果不准确。现有技术的算法虽然利用了SAR图像信息，但由于SAR与光学图像辐射特性存在较大差异，仅利用SAR图像信息的方法对于较复杂的图像修复效果不好。

第二，在最优匹配块的搜索阶段，基于块相似性的算法选取SSD最小作为匹配标准，利用样本块中的已知像素点从源区域选取最相似的匹配块。但此标准较为单一，仅对光谱相似度进行了度量，在要修复区域纹理较为简单时效果较好，但在图像较为复杂时匹配错误的概率明显增大。且仅利用部分已知像素点进行匹配的方法也大大增加了出错率，经过不断的传播累积后仅能得到看似合理而不是准确的修复结果。

发明内容

有鉴于此，本发明的主要目的在于提供一种融合SAR图像信息的光学图像去云方法，以期部分地解决上述技术问题中的至少之一。

为了实现上述目的，作为本发明的一方面，提供了一种融合SAR图像信息的光学图像去云方法，包括以下步骤：

通过SAR图像及光学图像计算优先级函数，并根据优先级按先后顺序选取待修复样本块；

对于选取的待修复样本块，利用对应的SAR图像中的样本块和光学图像样本块中的已知像素点从光学图像已知区域中选取最相似的匹配块；

找到最相似的匹配块后，用其中对应的像素点对样本块中缺失像素点进行替换，得到修复后的样本块。

其中，所述通过SAR图像及光学图像计算优先级函数，并根据优先级按先后顺序选取待修复样本块的步骤包括：

由数据项将图像几何结构传播到目标区域；

由混合项合成纹理。

其中，所述优先级函数的计算公式如下：

其中P(p)为优先级函数，D(p)为数据项，P

其中，在当前运行步数step小于等于

其中，所述数据项D(p)为改进的数据项，由SAR图像数据项与光学图像数据项加权求和得到，所述数据项为边界在p处的单位法向量与等照线强度的乘积。

其中，在当前运行步数step大于

其中，所述混合项由改进的数据项D(p)与正则化后的置信度项加权求和得到。

其中，所述对于选取的待修复样本块，利用对应的SAR图像中的样本块和光学图像样本块中的已知像素点从光学图像已知区域中选取最相似的匹配块的步骤，包括：

SAR图像中最佳匹配块通过平方差之和和结构相似性搜索，光学图像中最佳匹配块通过平方差之和搜索；

对上述两部分进行加权求和；

加入距离因子来使距离缺失块更近的样本块有更高的权重，最终综合得到最相似的匹配块。

其中，先通过联合平方差之和筛选出前n个匹配块，再选出最优匹配快，以此来优化修复时间。

其中，所述光学图像去云方法还包括重复全部步骤直到所有缺失区域修复完成。

基于上述技术方案可知，本发明的光学图像去云方法相对于现有技术至少具有如下有益效果的一部分：

本发明从优先级计算及最佳匹配块的搜索方面对基于块相似性的算法进行改进。联合SAR影像辅助光学影像进行云下缺失信息的修复，并引入更多相似性度量准则，从而得到更准确而不仅仅是看起来合理的修复结果。

1.对于当前基于块相似性的修复算法仅利用光学图像来计算优先权函数从而导致后期修复顺序的错乱的问题，选择加入具有全天时、全天候，不受云层、雨雪等环境因素影响的SAR图像来作为辅助，其在光学图像被云层遮挡的部分仍可以正常成像，所以在计算数据项时加入部分SAR图像信息可以避免前期填充误差导致的后期修复顺序的错乱。

2.基于块相似性的修复算法由鼓励纹理传播的置信度项和鼓励几何结构的传播的数据项相乘得到，但是同时传播几何和纹理的特点有时会导致图像几何结构的破坏，且置信度项在修复过程中迅速下降到零的缺点也会导致后期修复顺序的错乱。本发明选择分离的优先级计算策略，先传播几何结构，再修复纹理部分。在传播几何结构时，因为SAR图像的结构信息更加完整和准确，所以在数据项中使得SAR图像占有更高的权重；在传播纹理时，因为需要使得修复后图像的纹理信息连续性更高，可视性更好，所以在数据项加入更多的光学图像信息。对于置信度项在修复过程中会迅速下降到零的问题，对其进行正则化处理，并将混合项由相乘改为相加，从而使得置信度项快速下降的影响变小。

3.在最优匹配块的搜索阶段，对于仅利用光学图像样本块中的部分已知像素点来进行匹配块选择，导致错误率较高及修复误差的积累，从而仅可以得到看似合理而不是准确的修复结果的问题。选择加入拥有更多信息的SAR图像来辅助其计算，并在匹配标准中加入SSIM来增加其准确性，使得不仅是从光谱，而是从光谱+几何方面来对样本块间的相似度进行度量。同时，因缺失区域往往和距离自己更近位置的像素点共享相似的纹理结构，所以加入距离因子来使距离缺失块更近的样本块有更高的权重，从而得到更合理的修复效果。SAR图像加光学图像及SSD加SSIM的匹配准则保证了在光谱及几何方面修复的准确性、合理性和连续性。

附图说明

图1是本发明实施例提供的融合去云方法的流程图；

图2是本发明实施例提供的采用不同算法所得到的不同的融合去云结果；

图3是本发明实施例提供的采用不同算法所得到的局部放大结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明的目的是针对基于块相似性的修复算法受缺乏先验信息影响等问题，提出一种与SAR图像融合的光学图像云层去除方法，对优先级的计算及最佳匹配块的搜索机制进行改进。

针对光学图像在恢复云下结构时缺乏辅助信息，而SAR图像又具有全天时、全天候，不受云层、雨雪等环境因素影响的特点，选择SAR影像辅助光学影像进行云下缺失信息的修复。在计算优先级时，选择分离的优先级计算策略，先传播几何结构，再修复纹理部分，并自动化的计算转换时的阈值，从而更好的保持图像结构；然后对会迅速下降的置信度项进行正则化处理，并在数据项中加入含有更多信息量的SAR图像来辅助其计算。在搜索最佳匹配块时，引入SAR图像指导匹配图像块的选择，以解决光学图像缺乏辅助信息的缺点，使得缺失区域得到准确而不仅仅是合理的结果；联合平方差之和(Sum of SquaredDifference，SSD)和结构相似性(Structural Similarity Index Measure，SSIM)作为匹配准则，从光谱和结构两个方面来对图像块的相似性进行度量，从而提高匹配块选择的精确程度；因缺失区域往往和距离自己更近位置的像素点共享相似的纹理结构，因而加入距离因子来使距离缺失块更近的样本块有更高的权重。

如图1所示，为本发明提出的融合去云方法的流程图；本发明的具体实施方案如下：

步骤A：通过SAR图像及光学图像计算优先级函数，并根据优先级按先后顺序选取待修复样本块。

此步骤可以分为两个部分，先由数据项将图像几何结构传播到目标区域，再由混合项合成纹理。优先级函数计算的具体公式如下：

其中P(p)为优先级函数，D(p)为数据项，Pcd(p)为混合项，step为当前运行步数，TΩs为步数阈值。

步骤A1：在当前运行步数step小于等于TΩs时，优先级由数据项D(p)确定。

D(p)＝β*Do(p)+(1-β)*Ds(p)为改进的数据项，由SAR图像数据项

SAR图像不受云层遮挡，在云下显示的是真实地物信息，作为辅助加入可防止错误的累计。而依旧保留部分光学数据可以增加修复的连续性，减少SAR与光学图像差异的影响。

步骤A2：在当前运行步数step大于TΩs时，优先级由混合项Pcd(p)确定。

Pcd(p)＝α*C’(p)+(1-α)*D(p)为混合项，由改进数据项D(p)与正则化后的置信度项C’(p)加权求和得到，以修复置信度项会随着迭代次数增加而快速衰减为0的问题。C’(p)＝(1-ω)*C(p)+ω，C(p)为待修复样本块中已知像素点所占比重，ω是控制曲线平滑度的正则化因子，α为控制数据项与置信度项权重的系数。

TΩ为步数阈值。假设

步骤B：对于选取的待修复样本块Ψp，利用对应的SAR图像中的样本块和光学图像样本块中的已知像素点从光学图像已知区域中选取最相似的匹配块Ψ

其中SAR图像中最佳匹配块通过平方差之和(SSD)和结构相似性(SSIM)搜索，光学图像中最佳匹配块通过平方差之和(SSD)搜索。对上述两部分加权求和后，再加入距离因子来使距离缺失块更近的样本块有更高的权重，最终综合得到最相似的匹配块。其具体公式如下：

Ψ′(p)＝arg min d′(Ψ

Dssd

其中：argmin为使得d′(Ψ

Dssd

Dssim

因为SSIM计算较为复杂，所需时间较长，因此先通过联合SSD筛选出前n个匹配块，再通过式上述公式选出最优，以此来优化修复时间。

步骤C：在找到匹配块后，用其中对应的像素点对样本块中缺失像素点进行替换，得到修复后的样本块。

步骤D：重复步骤A～C直到所有缺失区域修复完成。

如图2所示，为采用不同算法所得到的不同的融合去云结果；其中，图2(a)为本实施例所采用的光学图像，图2(b)为SAR图像，图2(c)为模拟云层图像，图2(d)为采用传统块相似性算法进行的去云结果，图2(e)为现有的改进块相似性算法进行的去云结果，图2(f)为采用本发明的方法进行的融合去云结果。

如图3所示，为采用不同算法所得到的局部放大结果；其中，图3(a)为光学图像的局部放大结果，图3(b)为传统块相似性算法的局部放大结果，图3(c)为现有的改进块相似性算法的局部放大结果，图3(d)为本发明的方法的局部放大结果。

本发明通过引入SAR图像结构及辐射信息来指导匹配图像块的选择，包括在计算优先级函数及在寻找最佳匹配块时加入SAR信息，以使得修复区域得到准确而不只是合理的结果。并且依旧保留部分光学图像信息来增加修复结果的连续性，减少SAR与光学图像辐射差异的影响。

在寻找最佳匹配块时，联合平方差之和(SSD)和结构相似性(SSIM)作为匹配准则，并加入距离因子来使距离缺失块更近的样本块有更高的权重，从而提高匹配块选择的精确程度。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。