基于多尺度图像块特征和稀疏表示的SAR图像配准方法

摘要

本发明公开了一种基于多尺度图像块特征和稀疏表示的SAR图像配准方法，主要解决现有配准方法应用于SAR图像配准效果不佳的问题，其实现的步骤是：1)输入两幅SAR图像，任选一幅作为参考图像，将另一幅作为待配准图像；2)选取参考图像特征点；3)利用多尺度图像块特征构建参考图像和待配准图像的特征点描述符；4)建立参考图像和待配准图像间的匹配点对；5)去除匹配点对中异常点；6)根据最终得到的匹配点对，建立仿射变换模型，采用最小二乘法获得几何形变参数，得到配准结果。本发明与现有技术相比，增强了对斑点噪声的鲁棒性，提高了匹配点对的准确性以及配准精度，可用于图像融合和变化检测。

说明书

技术领域

本发明属于图像处理技术领域，具体涉及雷达图像处理中的图像配准方法，可用 于图像融合和变化检测。

背景技术

合成孔径雷达SAR系统因其全天时，全天候，具有穿透性等特点而广泛应用于军事 和民用邻域。SAR图像配准作为SAR图像应用中的关键环节，它是对取自不同时间、不同视角 的同一景物的两幅或多幅SAR图像进行匹配、叠加的过程。

对于图像配准问题，目前提出的方法大致可以分为两类：基于灰度和基于特征的 配准方法。基于灰度的配准方法直接利用图像的灰度信息，通过建立图像像素间的某种相 似性度量测度来寻找到最优匹配时对应的平移、旋转等配准参数。最常用的基于灰度的配 准方法是基于互信息的配准方法。这种方法虽然比较直观，容易实现，但计算复杂度高，容 易陷入局部最优解，而且易受噪声的影响。基于特征的配准方法由于不直接作用于图像灰 度值，而是作用于图像本身的特征，因而对灰度变化有较强的适应能力，且计算量小，能够 处理图像间的配准问题。最常用的基于特征的配准方法是基于尺度不变特征变换SIFT特征 的配准方法。然而由于SAR图像中存在斑点噪声，基于特征的配准方法在处理SAR图像配准 时，很有可能将斑点噪声检测为特征点，从而会带来大量的错误匹配点，导致错误的配准结 果。

发明内容

本发明的目的在于提出一种基于多尺度图像块特征和稀疏表示的SAR图像配准方 法，以解决现有技术中进行SAR图像配准时出现大量错误匹配点，导致配准精度不高的问 题。

实现本发明目的的技术思路是：利用空间相关性选择可靠性强的特征点，采用多 尺度图像块特征形成特征描述符，根据稀疏表示技术计算的最小差异准则获取最佳的匹配 点对，有效地增强对斑点噪声的鲁棒性，其实现步骤包括如下：

(1)输入两幅图像，任选一幅作为参考图像I₁，将另一幅作为待配准图像I₂；

(2)选取参考图像特征点：

(2a)采用SIFT算法提取参考图像I₁的特征点，并将I₁的所有特征点存放在第一集 合R中；

(2b)从参考图像特征点集合R中任意选取一个特征点r_i，利用平稳小波变换方法 计算每个特征点对应的空间相关性ρ(r_i)；

(2c)设置阈值E＝0.05，若得到的ρ(r_i)满足ρ(r_i)≥E，则将参考图像特征点r_i保 留，否则，删除该特征点；

(2d)遍历参考图像所有特征点，重复步骤(2b)-(2c)，得到筛选后的参考图像特征 点；

(2e)分别计算上述筛选后参考图像特征点集合中任意两个特征点间的欧式距离 E_d，若E_d≥15，则保留这两个特征点，否则去除；

(2f)将步骤(2e)得到的特征点集合中的前10个特征点作为最终的参考图像特征 点；

(3)利用多尺度图像块特征构建参考图像特征点描述符：

(3a)任意选取一个参考图像特征点a，取该特征点周围邻域15×15的图像块P(a)；

(3b)采用平稳小波变换对图像块P(a)进行多尺度分解，得到三个不同分解尺度的 图像块P_s(a),s＝3,4,5；

(3c)分别计算上述三个不同分解尺度图像块的灰度直方图矢量H_s(a)，将其作为 特征描述符的灰度特征；

(3d)分别计算上述三个不同分解尺度图像块的梯度方向直方图矢量G_s(a)，将其 作为特征描述符的梯度特征；

(3e)将不同分解尺度图像块对应的灰度特征和梯度特征串联起来，得到参考图像 特征点a对应的特征描述符F(a)＝{H₃(a),H₄(a),H₅(a),G₃(a),G₄(a),G₅(a)}；

(4)对于任意一个待配准图像特征点b，根据步骤(3)同样的操作得到其特征点描 述符F(b)，利用参考图像特征点描述符F(a)与待配准图像特征点描述符F(b)间的相似性， 建立参考图像和待配准图像间的匹配点对；

(5)去除步骤(4)得到的匹配点对中的异常点：

(5a)从步骤(4)得到的匹配点对中任意选取一个参考图像特征点r_c，在已匹配的 参考图像特征点中取该特征点最近邻的3个邻域点，并将所取的这3个邻域点映射到与参考 图像特征点r_c成为匹配点的待配准图像特征点t_c的邻域内，计算该参考图像特征点r_c与其 邻域点间的几何代价

$O(r_c,r_c^k,t_c,t_{m\left(k\right)})=\underset{k=1}{\overset{3}{\Sigma }}\frac{\left|\right|r_c-r_c^k\left|\right|-\left|\right|t_c-t_{m\left(k\right)}\left|\right|}{\left|\right|r_c-r_c^k\left|\right|+\left|\right|t_c-t_{m\left(k\right)}\left|\right|},$

其中，表示参考图像特征点r_c的第k个最近邻点，t_c表示与参考图像特征点r_c相 匹配的待配准图像特征点，m(·)表示匹配函数，||·||表示欧式距离，c表示匹配点对的索 引，其取值范围为1到10，k表示第c个参考图像特征点所取的最近邻点的索引，其取值范围 为1到3；

(5b)遍历所有已匹配参考图像特征点，重复步骤(5a)，得到已匹配参考图像特征 点与其各自的邻域点间的几何代价，将几何代价最小值对应的所有特征点作为基准点集 合，表示为：

$m_{base}=\{(r_c,t_c),(r_c^1,t_{m\left(1\right)}),...,(r_c^k,t_{m\left(k\right)}),...,(r_c^3,t_{m\left(3\right)})\},$

其中，(r_c,t_c)表示匹配点对，t_m(k)表示与邻域点对应的匹配点；

(5c)采用下式计算剩余匹配点到基准点间的几何代价:

$O(r_{c^{\prime }},r_{base}^o,t_{c^{\prime }},t_{m\left(o\right)})=\underset{o=1}{\overset{4}{\Sigma }}\frac{\left|\right|r_{c^{\prime }}-r_{base}^o\left|\right|-\left|\right|t_{c^{\prime }}-t_{m\left(o\right)}\left|\right|}{\left|\right|r_{c^{\prime }}-r_{base}^o\left|\right|+\left|\right|t_{c^{\prime }}-t_{m\left(o\right)}\left|\right|},(r_{c^{\prime }},t_{c^{\prime }})\notin m_{base}$

其中，r_c′和t_c′分别表示已匹配点对中剩余的参考图像特征点和待配准图像特征 点，表示基准点集合中第o个参考图像特征点，t_m(o)表示与集准点集合中第o个参考图像 特征点对应的匹配点，c′表示剩余匹配点对的索引，其取值范围为1到6，o表示基准点的索 引，其取值范围为1到4；

(5d)设置阈值E_o＝0.03，若得到的几何代价满足则将(r_c′,t_c′)作为正确的匹配点，否则，将该匹配点对删除；

(5e)重复步骤(5c)-(5d)，得到参考图像和待配准图像最终的匹配点对；

(6)根据上述得到的最终匹配点对，建立仿射变换模型，计算待配准图像的几何形 变参数，并利用该几何形变参数，将待配准图像进行几何变换，得到配准结果。

本发明与现有技术相比具有以下优点：

第一，由于本发明在对SAR图像配准的过程中，采用空间相关性选择特征点，同时 利用多尺度图像块特征构建特征描述符，克服了现有技术仅采用单一尺度图像块信息无法 准确描述特征点属性的不足，使得本发明提高了特征点的显著性，增强了对斑点噪声的鲁 棒性。

第二，由于本发明利用基于稀疏表示技术的最小差异准则建立匹配点对，同时采 用匹配点与其邻域点间的几何约束关系滤除特征异常点，克服了现有技术采用欧式距离比 方法在建立匹配点对的过程中容易出现错误匹配点的不足，使得本发明提高了匹配点的准 确性。

附图说明

图1是本发明的实现流程图；

图2是本发明的第一组仿真实验结果图；

图3是本发明的第二组仿真实验结果图。

具体实施方式

下面结合附图对本发明做进一步描述：

参照图1，本发明的实施步骤如下：

步骤1，输入两幅图像，任选一幅作为参考图像I₁，将另一幅作为待配准图像I₂。

输入的两幅图像是在某机载雷达获取的不同极化方式或不同时相两幅SAR图像上 分别截取的。

步骤2，选取参考图像特征点。

2.1)采用SIFT算法提取参考图像I₁的特征点，将I₁的所有特征点存放在第一集合R 中；

2.2)从参考图像特征点集合R中任意选取一个特征点r_i，利用平稳小波变换方法 计算每个特征点对应的空间相关性ρ(r_i)；

2.2a)利用平稳小波变换对输入图像进行s个尺度分解，得到输入图像在不同尺度 上3种不同的细节图像；

2.2b)定义任意图像像素点x在s尺度下的幅值M_s(x)表示为：

$M_s\left(x\right)=\sqrt{|W_s^h{|}^2+|W_s^v{|}^2+|W_s^d{|}^2}$

其中，分别表示在s尺度下图像在水平方向，垂直方向和对角线方 向上的细节信息，|·|表示绝对值操作运算；

2.2c)采用下式计算像素点x的空间相关性ρ(x)：

$\rho \left(x\right)=\underset{s=3}{\overset{5}{\Pi }}{M}_s\left(x\right)$

其中，∏(·)表示相乘操作；

2.3)设置阈值E＝0.05，若得到的ρ(r_i)满足ρ(r_i)≥E，则将参考图像特征点r_i保 留，否则，删除该特征点；

2.4)遍历参考图像所有特征点，重复步骤2.2)-2.3)，得到筛选后的参考图像特征 点；

2.5)分别计算上述筛选后参考图像特征点集合中任意两个特征点间的欧式距离 E_d，若E_d≥15，则保留这两个特征点，否则去除；

2.6)将步骤2.5)得到的特征点集合中的前10个特征点作为最终的参考图像特征 点。

步骤3：利用多尺度图像块特征构建参考图像特征点描述符。

3.1)任意选取一个参考图像特征点a，取该特征点周围邻域15×15的图像块P(a)；

3.2)采用平稳小波变换对图像块P(a)进行多尺度分解，得到三个不同分解尺度的 图像块P_s(a),s＝3,4,5；

3.3)分别计算上述三个不同分解尺度图像块的灰度直方图矢量H_s(a)，将其作为 特征点描述符的灰度特征；

3.4)分别计算上述三个不同分解尺度图像块的梯度方向直方图矢量G_s(a)，将其 作为特征点描述符的梯度特征；

3.5)将不同分解尺度图像块对应的灰度特征和梯度特征串联起来，得到参考图像 特征点a对应的特征描述符F(a)＝{H₃(a),H₄(a),H₅(a),G₃(a),G₄(a),G₅(a)}。

步骤4：对于任意一个待配准图像特征点b，根据步骤(3)同样的操作得到其特征点 描述符F(b)，利用参考图像特征点描述符F(a)与待配准图像特征点描述符F(b)间的相似 性，建立参考图像和待配准图像间的匹配点对。

形成匹配点对的方法有很多种，常见的有最近邻方法，欧式距离比等，本实例中采 用但不限于基于稀疏表示技术的最小差异准则建立匹配点对，其具体实施步骤如下：

4.1)从步骤(2)得到的参考图像特征点中任意选取一个特征点r_i，计算其对应的 特征描述符F(r_i)；

4.2)设参考图像和待配准图像间的最大的偏移量为l＝100，在待配准图像中选取 L×L大小的窗口W_i作为特征点r_i的搜索区域，并将该区域内所有像素点{V_q:q＝1,2,…,Q,Q ＝L×L}均作为特征点r_i的候选匹配点，其中L＝2×l+1；

4.3)对于上述的每一个候选匹配点V_q，取该像素点周围邻域20×20的窗口，并将 该窗口内的所有像素点u_n对应的特征描述符F(u_n)作为V_q对应的稀疏字典D_q＝{F(u_n),n＝1, 2,…,J,J＝20×20}；

4.4)利用正交匹配追踪算法求解如下式子，得到特征点r_i在稀疏字典D_q下的稀疏 向量α_q

${\alpha }_q=\underset{{\alpha }_q}{\mathrm{argmin}}\left|\right|F\left(r_i\right)-D_q{\alpha }_q\left|\right|s.t.\left|\right|{\alpha }_q|{|}_0\le C$

其中，argmin(·)表示函数达到最小值时自变量的取值，||·||表示欧式距离，| |·||₀表示零范数，C表示稀疏度；

4.5)遍历窗口W_i内所有像素点，重复步骤4.3)-4.4)，得到特征点r_i在Q个不同的稀 疏字典下的稀疏向量α_q；

4.6)按下式计算特征点r_i与任意候选匹配点V_q间的重构误差，并将具有最小重构 误差的像素点作为特征点r_i的匹配点m(r_i)

$m\left(r_i\right)=\underset{q}{\mathrm{argmin}}\left|\right|F\left(r_i\right)-D_q{\alpha }_q\left|\right|;$

4.7)遍历所有参考图像特征点，重复步骤4.1)-4.6)，得到所有参考图像特征点在 待配准图像内对应的匹配点，将待配准图像的所有特征点存放在第二集合T中。

步骤5：去除步骤(4)得到的匹配点对中的异常点。

5.1)从步骤(4)得到的匹配点对中任意选取一个参考图像特征点r_c，在已匹配的 参考图像特征点中取该特征点最近邻的3个邻域点，并将所取的这3个邻域点映射到与参考 图像特征点r_c成为匹配点的待配准图像特征点t_c的邻域内，计算该参考图像特征点r_c与其 邻域点间的几何代价

$O(r_c,r_c^k,t_c,t_{m\left(k\right)})=\underset{k=1}{\overset{3}{\Sigma }}\frac{\left|\right|r_c-r_c^k\left|\right|-\left|\right|t_c-t_{m\left(k\right)}\left|\right|}{\left|\right|r_c-r_c^k\left|\right|+\left|\right|t_c-t_{m\left(k\right)}\left|\right|},$

其中，表示参考图像特征点r_c的第k个最近邻点，t_c表示与参考图像特征点r_c相 匹配的待配准图像特征点，m(·)表示匹配函数，||·||表示欧式距离，c表示匹配点对的索 引，其取值范围为1到10，k表示第c个参考图像特征点所取的最近邻点的索引，其取值范围 为1到3；

5.2)遍历所有已匹配参考图像特征点，重复步骤5.1)，得到已匹配参考图像特征 点与其各自的邻域点间的几何代价，将几何代价最小值对应的所有特征点作为基准点集 合，表示为：

$m_{base}=\{(r_c,t_c),(r_c^1,t_{m\left(1\right)}),...,(r_c^k,t_{m\left(k\right)}),...,(r_c^3,t_{m\left(3\right)})\},$

其中，(r_c,t_c)表示匹配点对，t_m(k)表示与邻域点对应的匹配点；

5.3)采用下式计算剩余匹配点到基准点间的几何代价:

$O(r_{c^{\prime }},r_{base}^o,t_{m\left(o\right)})=\underset{o=1}{\overset{4}{\Sigma }}\frac{\left|\right|r_{c^{\prime }}-r_{base}^o\left|\right|-\left|\right|t_{c^{\prime }}-t_{m\left(o\right)}\left|\right|}{\left|\right|r_{c^{\prime }}-r_{base}^o\left|\right|+\left|\right|t_{c^{\prime }}-t_{m\left(o\right)}\left|\right|},(r_{c^{\prime }},t_{c^{\prime }})\notin m_{base}$

其中，r_c′和t_c′分别表示已匹配点对中剩余的参考图像特征点和待配准图像特征 点，表示基准点集合中第o个参考图像特征点，t_m(o)表示与集准点集合中第o个参考图像 特征点对应的匹配点，c′表示剩余匹配点对的索引，其取值范围为1到6，o表示基准点的索 引，其取值范围为1到4；

5.4)设置阈值E_o＝0.03，若得到的几何代价满足则将(r_c′,t_c′)作为正确的匹配点，否则，将该匹配点对删除；

5.5)重复步骤5.3)-5.4)，得到参考图像和待配准图像最终的匹配点对。

步骤6：根据最终匹配点对，得到配准结果。

根据上述得到的最终匹配点对建立仿射变换模型，计算待配准图像的几何形变参 数，本实例具体采用最小二乘法计算几何形变参数，并利用该几何形变参数，将待配准图像 进行几何变换，得到配准结果。

下面结合实验仿真对本发明效果做进一步说明。

1.仿真条件：

本发明的仿真实验平台采用Intel(R)Pentium(R)CPUG32403.10GHz，内存为 4GB，运行Windows7的PC机，编程语言为Matlab2011b。

2.仿真内容与结果分析：

仿真1、分别应用基于SIFT-OCT的图像配准方法、基于BFSIFT的图像配准方法，基 于NDSS-SIFT的图像配准方法和本发明对SAR图像进行配准，结果如图2所示，其中图2(a)是 基于SIFT-OCT方法的匹配点连线图，图2(b)是基于BFSIFT方法的匹配点连线图，图2(c)是 基于NDSS-SIFT方法的匹配点连线图，图2(d)是本发明的匹配点连线图。图2中黄色实线表 示正确匹配点对，红色线表示错误匹配点对。

仿真2、分别应用基于SIFT-OCT的图像配准方法、基于BFSIFT的图像配准方法，基 于NDSS-SIFT的图像配准方法和本发明对SAR图像进行配准，结果如图3所示，其中图3(a)是 基于SIFT-OCT方法的匹配点连线图，图3(b)是基于BFSIFT方法的匹配点连线图，图3(c)是 基于NDSS-SIFT方法的匹配点连线图，图3(d)是本发明的匹配点连线图。图3中黄色实线表 示正确匹配点对，红色线表示错误匹配点对。

从图2(a)-2(c)和图3(a)-3(c)可以看出，对于2组实测SAR图像对，SIFT-OCT方法， BFSIFT方法和NDSS-SIFT方法3种算法都存在比较多的错误匹配点。其中，SIFT-OCT方法效 果最差，包含的错误匹配点最多。BFSIFT方法和NDSS-SIFT方法中的错误匹配点对相对较 少。

从图2(d)和图3(d)可以看出，对于2组实测SAR图像对，本发明得到的配准结果更 准确，不包含错误匹配点。这源于本发明利用空间相关性选取可靠的特征点，同时利用多尺 度图像块特征构建特征描述符，增强了特征描述符的显著性和对斑点噪声的鲁棒性。此外， 利用基于稀疏表示技术的最小差异准则建立匹配点对，提高了匹配点对的准确性，从而解 决了现有技术应用于SAR图像配准时出现大量错误匹配点对的问题。