一种基于投影‑相似变换的无人机遥感影像拼接方法

摘要

本发明提供一种基于投影‑相似变换进行无人机遥感图像拼接的方法，特别是针对图像重叠区域小、视场差异大条件下的无人机遥感图像的自动拼接。该方法通过提取图像的特征点，并进行特征点匹配确定投影变换，对重叠区域的投影变换逐渐平滑变换到非重叠区域的相似变换。具体步骤为，首先，对获得的投影变换进行坐标变换；其次，用平行坐标轴的直线将变换后的坐标系空间划分为几个不同子空间；然后，确定参数U1和U2获得新的投影‑相似变换；最后利用获得的变换进行图像拼接生成拼接图像。该变换同时考虑拼接过程中图像重叠区域的配准精度和非重叠区域的视场一致性，使得拼接图像具有高匹配精度并能保持图像的视场来减少图像失真。

说明书

技术领域

本发明属于无人机遥感图像自动化处理领域，具体涉及一种基于投影-相似变换的无人机遥感图像拼接方法。

背景技术

无人机遥感作为遥感的发展趋势之一，在数据获取过程中具有很强的时效性、针对性和高灵活性等优点，是获取遥感数据的重要途径，在应急响应方面有着广泛的应用，可用于森林火灾的监测，地震等自然灾害的应急响应。由于成像范围限制，单幅无人机图像往往无法覆盖整个受灾区域，需对无人机遥感图像进行拼接以获得大范围的观测。

由于无人机平台的稳定性问题，使得相邻图像之间重叠度变化大，旋转角变化大，使得传统拼接方法对于无人机遥感图像的拼接不适用。在无人机图像拼接中需要考虑以下几点：第一，图像的倾斜角过大、航向重叠度小、灰度不一致等使得图像匹配难度大、精度低，给后续处理造成不利影响；第二，图像成像范围小、数量多，造成工作量大、效率低，需要研究高效的、自动化程度高的处理方法。图像拼接广泛的应用于摄影测量与遥感领域，因此对于遥感图像拼接技术的研究有很多，但是针对无人机遥感图像的拼接仍然存在许多技术难题。

图像拼接是通过组合一系列图像获得一幅大的具有更广的视场图像。广泛使用的投影变换方法进行两幅图像拼接是以其中一幅图像作为基准图像，将两幅图像的重叠区域对齐，但这种变换会使得非重叠区域在大小和形状方面产生严重的失真。Hartley等指出采用投影变换能改变观测视点，使得变换后图像为基准视场的扩展，因此获得拼接图像是单视点图像会使得拼接后图像产生较大的形状和大小失真。

具有更宽广视场的单视点图像不可避免的产生形状和大小失真，因此好的图像拼接方案应产生多视点的拼接图像。基本思想是对图像的重叠区域采用投影变换来获得好的几何对齐而在图像的非重叠区域使用相似变换。相似变换由平移、均匀缩放和旋转组成，因此相似变换不会产生形状失真和非均匀缩放，使得视线方向不发发生改变因此能保持图像视点。

在图像拼接方面目前已有一些具有代表性的技术。R.Marzotto等提出了一种自动构建全景拼接图像的方法，该方法利用仿射变换进行全局配准生成全景图。大量的投影模型被提出且目标是使得投影产生的失真最小化，如Brown等在AutoStitch程序中采用的就是球面投影，Zelnik-Manor等使用多个平面投影来替换柱面投影来执行投影变换。Carroll等提出内容保存的投影变换来减少拼接后的广角图像的失真。 重要文献包括：MarzottoR.，Fusiello A.，Murino V.High resolution video mosaicing with global alignment[C].Proceedings of the 2004IEEE Computer Society Conference on ComputerVision and Pattern Recognition，2004；M.Brown and D.G.Lowe.Automatic panoramicimage stitching using invariant features[J].International Journal of ComputerVision，74(1)：59-73，2007等。

图像拼接技术经常利用参数化变换来进行全局或局部图像对齐。Gao提出双单应变换来处理含两个主要平面的场景，该变换函数定义为两个空间变化权重的投影变换的线性组合，但这种变换基于投影变换，形成的图像产生投影失真。Lin等提出平滑变化的仿射变换，这种仿射变换为全局仿射而允许局部变形，其重要文献包括：J.Gao，S.J.Kim，andM.S.Brown.Constructing image panoramas using dual-homography warping[C].InProceedings of IEEE CVPR 2011，pages 49-56，2011等。但这些方法不适应于无人机遥感图像，没有考虑到遥感平台的不稳定性造成的图像视场不一致问题，不适合无人机遥感图像拼接。本发明提供一种基于投影-相似变换的无人机遥感图像拼接方法。

发明内容

本发明所要解决的技术问题在于针对无人机遥感图像成像范围小，视差角度大的问题，提供一种基于一种改进的投影-相似变换进行无人机遥感图像拼接方法。该方法首先根据两幅图像之间的重叠区域估计两幅图像之间的投影变换。获得图像投影变换后，对投影变换通过新的外推策略来确定非重叠区域的相似变换来保持图像的视场。提出的变换函数使得拼接图像有高的匹配精度并能保持图像的视场来减少图像失真。

本发明的思路为：通过对传统的投影变换进行坐标变换后，并分析其性质的基础上，提出了对原始的投影变换的改进。将重叠区域的投影变换，通过外推策略逐渐过渡到非重叠区域的相似变换，使得重叠区域有良好的几何配准精度，同时非重叠区域的图像通过相似变换来保持图像的视场来减少图像失真。

本发明的技术方案提供了一种基于改进的投影-相似变换进行无人机遥感图像拼接方法，其特征在于以下的实施步骤：

1)对图像序列提取尺度不变特征-SIFT特征；

2)利用获得的SIFT特征进行图像特征匹配，在特征匹配过程中采用RANSAC算法剔除误匹配点对；

3)图像间相互对应的特征点完成匹配之后，确定对应的几何变换模型，即投影变换H；

4)对投影变换进行坐标系变换，通过旋转变换到使原来的(x，y)坐标系变换到新的(u，v)坐标系；

5)对新的坐标系下投影变换性质分析，并用两条线U1和U2将空间进行划分分为R_H，R_T和R_S三个子空间；

6)对参数U1和U2进行求解，并确定最终的投影-相似变换w；

7)利用变换函数w对图像执行变换，进行几何拼接；

8)利用线性加权进行图像融合，获得最终的拼接图像。

上述实施步骤的特征在于：获得图像序列的投影变换后，在对投影变换分析的基础上，将重叠区域的投影变换逐渐变换到非重叠区域的相似变换，产生新的投影-相似变换。投影-相似变换既能保证重叠区域的匹配精度，同时也能保证非重叠区域的视场一致来减少图像失真。

针对无人机遥感图像成像范围小，视差角度大的特点，本发明提供一种新的变换即投影-相似变换进行无人机遥感图像拼接。首先根据两幅图像之间的重叠区域估计两幅图像之间的投影变换。获得图像投影变换后，对投影变换通过新的外推策略来确定非重叠区域的相似变换来保持图像的视场。提出的变换函数使得拼接图像有高的匹配精度并能保持图像的视场来减少图像失真。

附图说明

图1基于投影-相似变换的无人机遥感图像拼接流程图

图2投影变换和提出的变换的比较结果图

其中图2(A)是原始图像，图2(B)是投影变换，图2(C)是提出的变换；

图3不同变换的拼接结果图

其中图3(A)是投影变换进行拼接结果图，图3(B)AutoStitch拼接结果图，图3(C)提出的变换拼接结果图；

图4对重叠区域小且存在视场不一致图像的拼接结果图

图4(A)和图3(B)中的重叠区域为红色标记部分，图4(B)和图4(C)中的重叠区域为黄色标记部分，图4(A)中成像过程为相机位于图像的左上角成像，图4(B)相机位于图像的左下角成像，图4(C)为理想正视成像情况，图4(D)提出的变换对这三幅图像进行拼接结果图；

图5对图像序列拼接结果图

图5(A)原图，图5(B)提出变换进行图像序列拼接结果图

具体实施方式

下面结合附图对本发明的具体实施方式描述如下：

图像序列提取特征点和特征描述符-SIFT特征，并将提取到的特征点对应起来进行特征匹配。

图像匹配中的误匹配点会严重影响几何变换参数的精度，在进行投影变换求解前，需将误匹配点对剔除，采用RANSAC算法剔除误匹配点对。

对剔除误匹配点对后的正确匹配点对求解投影变换矩阵

对投影变换矩阵进行分析

投影函数定义为在齐次坐标下的线性变换

则(x，y)到(x′，y′)的映射为：

将原始坐标系(x，y)变换到新坐标系(u，v)：

坐标系变换后，新的投影变换矩阵H为新坐标系下点(u，v)到(x′，y′)的映射

其中：

则坐标系变换后，新的坐标映射关系表示为

映射H为u和v的函数，即[x′，y′]^T＝H(u，v)＝[H_x(u，v)，H_y(u，v)]^T。坐标变换的主要优点是新的投影变换映射中，分母项仅有一个坐标u，便于分析。

坐标变换后的变换矩阵的性质：

(1)缩放变化。对投影变换H能分解为一个仿射变换矩阵和一个纯投影变换。(u，v)的局部区域变化通过映射H在点(u，v)的雅可比行列式J(u，v)来度量：

其中s_A是一个和u，v不相关常数。局部区域变化的缩放因子仅仅依赖参数u，特别是，当坐标u变大，H的局部面积变大，导致大的区域变形失真。图2(b)给出了一个投影失真例子，其中区域失真沿u坐标正方向上变得更大。

(2)H的线性关系。通过坐标系变换后，从公式5中看出，如果u＝u₀是一个固定常量，则H_x(u₀，v)和H_y(u₀，v)为v的线性函数，有

(3)直纹曲面。直纹曲面参数形式描述为s(u，v)＝p(u)+v·r(u)，H_x(u，v)和H_y(u，v)能写为f(u)v+g(u)的形式，它们的图形为直纹曲面。

对获得的投影变换矩阵充分利用坐标变换后的属性构造新的投影-相似变换。使得新的变换在图像的重叠区域为投影变换，在非重叠区域为相似变换。使得在重叠区域有高的匹配精度，在非重叠区域的图像通过相似变换来保持图像的视场来减少图像失真。

构建新的投影-相似变换

首先对原始的投影变换矩阵进行坐标变换，使原始坐标系(x，y)变换到新坐标系(u，v)。并用一条线u＝u₁将平面空间R²划分为两个半空间：R_H＝{(u，v)|u≤u₁}和R_L＝{(u，v)|u＞u₁}。

对(u，v)∈R_H的点，u值小，采用原始变换H进行投影变换。对(u，v)∈R_L，因为H在R_L上会产生大的形变失真，采用相似变换S来替代H。

提出的投影-相似变换函数w必须是连续的，否则，沿着R_H和R_L的边界u＝u₁将会产生明显的裂缝。为了构造连续的变换函数，需要使得在分割线u＝u₁上所有的点(u，v)满足S(u₁，v)＝H(u₁，v)。H(u₁，v)为v的线性函数，则相似变换S唯一确定为：

获得的投影-相似变换函数是连续的(C⁰连续)。但在线u＝u₁处会存在弯曲。要使得拼接后的图像是平滑变化的，要求变换的变换函数是C¹连续的。

对变换函数w优化，使其是连续可微的(C¹)函数使得信息是平缓变化的。通过引入缓冲区，在该区域内使得重叠区域的投影变换平滑过渡到相似变换使得变换函数w是连续可微的(C¹连续的)。

将R_L进一步划分为过渡区域R_T＝{(u，v)|u₁＜u＜u₂}和相似变换区域R_S＝{(u，v)|u₂＜u}。变换函数为：

其中，u₁和u₂为变换函数中的参数，T(u，v)为从投影变换H(u，v)逐渐变换到相似变换S(u，v)的函数。

H(u，v)和S(u，v)都能表示为f(u)v+g(u)的形式，为了保证获得的变换函数w是连续可微的(C¹)函数，则T(u，v)形式为：

变换函数w。H(u，v)和S(u，v)形式确定后，为了使得变换函数w是连续可微的(C¹)函数，则变换函数w形式为：

其中

确定参数u₁和u₂。提出的变换函数的目的是在对齐图像的同时尽可能保持每幅图像的视点，所以希望在拼接过程中每幅图像尽可能进行相似变换。

给每个待拼接图像I_i分配一个代价函数E_i用来度量变换函数w_i和最接近的相似变换的差异的Frobenius范数。

图像对进行拼接时，总代价函数为E(u₁，u₂)＝E₁(u₁，u₂)+E₂(u₁，u₂)，为参数为u₁和u₂的非线性函数。

参数u₁和u₂的求解。通过对(u₁，u₂)的参数空间进行正则采样对总的代价函数进行最优化处理，估计每个采样点的代价并选取具有最小代价的点(u₁，u₂)为最优参数。

利用变换函数w对图像执行变换。对第n幅图像I_n由获得的变换函数w进行变换，图像I_i由>

采用线性加权进行图像融合获得最终的图像拼接结果

图3给出了利用投影变换，AutoStitch和提出的投影-相似变换对两幅大小为6000*4000无人机遥感图像进行拼接的结果。结果显示提出的投影-相似变换在减少投影失真同时能保持每幅图像的视点

图4是对重叠区域小且存在视场不一致图像的拼接结果。无人机遥感图像相邻的图像会存在重叠度低，且由于平台的不稳定会产生视场不一致。图中三幅待拼接图像的重叠区域较少和视场不一致。图4(a)和图4(b)中的重叠区域为红色标记部分，图4(b)和图4(c)中的重叠区域为黄色标记部分。图4(a)为相机位于图像的左上角成像，而图4(b)相机位于图像的左下角成像，图4(c)为理想正视成像情况。

图5为提出的变换对图像序列进行拼接结果。从实验结果中可以看出提出的投影-相似变换能有效对无人机遥感图像中待拼接图像重叠区域小，且存在视场不一致情况进行拼接，具有高匹配精度和良好的视场一致特征。从实验结果看出，使用提出的方法拼接后的图像有较好的对齐精度且拼接后图像视场一致，使得拼接后的图像更符合真实场景。