无需POS辅助的低空遥感影像快速自动拼接方法

摘要

本发明公开了一种无需POS辅助的低空遥感影像快速自动拼接方法，包括步骤：步骤1，低空遥感影像测区的全自动恢复；步骤2，根据精匹配种子点对预处理后的影像进行精匹配获得精匹配结果；步骤3，对精匹配结果进行自由网平差迭代获得平差结果；步骤4，根据差结果内插生成影像的数字地面模型，根据平差结果获取影像在自由网坐标系下的相对外方位元素，基于数字地面模型和相对外方位元素对各影像进行正射纠正，同时生成测区的正射影像拼接图。本发明无需POS数据辅助，可实现全自动、快速生产正射影像拼图，能满足遥感影像准实时处理要求，适用于灾害应急响应、军事保障等领域。

说明书

 

技术领域

本发明属于测绘科学与技术领域，涉及一种无需POS辅助的低空遥感影像快速自动拼接方法，主要应用于低空遥感影像数据处理。

背景技术

航空遥感影像数据目前已广泛应用于城市规划、国土资源、测绘、农业、林业、交通、环保等领域。而在应对地震、洪水、火灾等自然灾害及国家安全的突发事件方面，则需要更快速、实时、精确的数据及其产品，中低空遥感影像将起着主导作用。中低空无人飞行器是快速获取高分辨率、高精度遥感影像的有效手段，具有起降条件宽松、机动灵活、数据采集效率高、可完全摆脱云层遮挡的影响等优势，但是中低空无人飞行器携带的传感器获取的POS（机载定位定向系统）数据精度较低，甚至有些影像的POS数据缺失没有记录，而现有的遥感数据处理与加工大部分依然是由人工完成，完全不能满足灾害应急、军事保障等新兴地理信息应用行业日益增长的快速、实时处理需求。因此迫切需要研究自动化、高效率、准实时处理与加工中低空遥感数据的方法。

基于现有摄影测量理论，目前航空遥感数据处理的主要流程仍然按照传统的数字摄影测量生产流程，即建立工程、输入参数、影像匹配、区域网平差、生产DEM/DOM（数字地面模型/正射影像），但是整个流程需要有人值守和较多人工操作。在建立工程这一步，大部分摄影测量方法都需要人工排列航线恢复测区，部分摄影测量方法能够自动恢复测区，但是需要提供正确完整的POS数据，否则无法建立工程。在区域网平差这一步，则需要经验丰富的操作人员添加、删除匹配点，进行迭代平差。近年来基于计算机视觉理论的全景影像拼接技术得到了快速发展，虽然这种快速拼接技术不需要POS数据、相机参数等，但是试验表明这种全景影像拼接技术只能应对几十张近景影像的拼接，完全无法满足几百张、上千张低空遥感影像的实际应用。因此迫切需要在现有的摄影测量理论基础上寻求自动化程度和处理效率更高的低空遥感数据处理方法。

发明内容

本发明的目的是提供一种无需POS辅助的低空遥感影像快速自动拼接方法，该方法在不需要POS数据的情况下可全自动快速地生产低空遥感影像的正射影像拼图。

为达到上述目的，本发明提供的无需POS辅助的低空遥感影像快速自动拼接方法，包括步骤：

步骤1，低空遥感影像测区的全自动恢复，本步骤进一步包括子步骤：

1.1 对原始低空遥感影像序列中各影像进行缩小，获取缩小影像的特征点，所述的原始低空遥感影像序列按照影像拍摄时飞行轨迹排列；

1.2根据特征点对缩小影像按序列进行粗匹配获得粗匹配结果，根据航带内影像与航带间影像的匹配结果差异，获得测区的所有航带及各航带内缩小影像的粗匹配结果；

1.3对航带间缩小影像进行粗匹配，结合各航带内缩小影像粗匹配结果，确定测区缩小影像的相对位置关系和旋转角度，即获得原始低空遥感影像的相对位置和旋转角度；

1.4 对原始低空遥感影像序列中各影像进行预处理，所述的预处理包括畸变改正和旋转，将相邻影像的匹配点坐标换算到预处理后的影像上作为精匹配种子点；

步骤2，根据精匹配种子点对预处理后的影像进行精匹配获得精匹配结果；

步骤3，对步骤2获得的精匹配结果进行自由网平差迭代获得平差结果，本步骤进一步包括子步骤：

3.1 首次自由网平差时，输入初始平差数据和初始中误差阈值进行自由网平差处理获得平差结果，初始平差数据为步骤2获得的精匹配结果；初始中误差阈值根据经验设定，并保证首次自由网平差时收敛，所述的收敛指平差结果的中误差小于当前中误差阈值；

3.2 对上一次自由网平差的平差结果进行粗差剔除，将粗差剔除后的平差结果作为本次自由网平差输入的平差数据，并按预设规则减小上一次自由网平差的中误差阈值，对输入的平差数据进行自由网平差处理获得平差结果，并根据当前中误差阈值判断是否收敛，若不收敛，结束迭代，输出本次自由网平差的平差结果；否则，重复执行本子步骤；

步骤4，根据步骤3获得的平差结果内插生成影像的数字地面模型，根据平差结果获取影像在自由网坐标系下的相对外方位元素，基于测区的数字地面模型和影像在自由网坐标系下的相对外方位元素对各影像进行正射纠正，同时生成测区的正射影像拼接图。

子步骤1.1中所述的对原始低空遥感影像序列中各影像进行缩小，具体为：

采用统一缩小比例尺将原始低空遥感影像序列中各影像缩小为1000像素*X像素或X像素*1000像素，X表示自然数。

子步骤1.2中所述的根据航带内影像与航带间影像的匹配结果差异，获得测区的所有航带，具体为：

逐一计算粗匹配结果中相匹配的两幅影像的相对旋转角，若相对旋转角度为90°或180°，则该两幅影像为不同航带内影像，即航带间影像，断开该两幅影像；否则，该两幅影像为同一航带内影像。

子步骤1.3具体为：

根据步骤1.2获得的各航带内影像的粗匹配结果进行测区航带排序和航带内影像排序，即，将同一航带内的影像按从左到右的重叠进行排序，将航带间的影像按从上到下的重叠进行排序，获得原始低空遥感影像序列的相对位置；

根据航带排序对相邻航带间的影像进行粗匹配，获得相邻航带间的最近邻影像；

根据航带内影像和航带间影像的粗匹配结果的匹配点点集计算各影像的旋转角度。

步骤2进一步包括子步骤：

2.1 根据精匹配种子点和实际的精匹配参数确定影像匹配的搜索范围，实际的精匹配参数包括影像水平重叠度、影像垂直重叠度和精匹配搜索范围参数值，根据精匹配种子点计算获得；

2.2 采用尺度不变特征转换匹配法对预处理后的影像进行粗匹配，匹配部分同名匹配点；

2.3 基于粗匹配结果采用相关系数法和最小二乘影像匹配法进行精匹配。

步骤2中所述的精匹配采用CPU并行进行。

步骤3中所述的自由网平差为光束法平差。

在子步骤3.2中，每次自由网平差完成后，根据平差结果中影像相对外方位元素计算航带内相邻影像外方位元素的欧式距离，根据欧式距离判断是否存在“较短”的基线，若存在“较短”的基线，则在下一次自由网平差时，重新构建自由网；否则，无需重新构建自由网；所述的“较短”的基线为长度小于预设长度值的基线。

步骤4中所述的根据步骤3获得的平差结果内插生成影像的数字地面模型，具体为：

对平差结果的三维点云进行大粗差剔除，对大粗差剔除后剩下的三维点构建狄洛尼三角网，按照给定的数字地面模型格网大小，采用共面公式在狄洛尼三角网中内插数字地面模型格网的高程值；在数字地面模型格网中对高程进行中值滤波。

步骤4中所述的基于测区的数字地面模型和影像在自由网坐标系下的相对外方位元素对各影像进行正射纠正，同时生成测区的正射影像拼接图，进一步包括子步骤：

4.1 根据测区影像的数字地面模型和设定的正射影像地面分辨率，计算正射影像拼接图大小，创建空白拼接影像；

4.2 根据泰森多边形获得各影像在正射影像拼接图上的有效范围，本子步骤具体为：

根据影像在自由网坐标系下的外方位元素，把各影像的像主点投影到数字地面模型的平均高程面上，获得像主点投影点集；对像主点投影点集构建狄洛尼三角网，对狄洛尼三角网内部各点，分别获取经过内部各点的所有三角形边的中点，连接这些中点得到各影像的泰森多边形，即各影像在正射影像拼接图上的有效范围； 

4.3按照预设的地面范围进行正射纠正，即，求解地面范围角点在子步骤1.4预处理后的影像上的坐标，地面范围中间像素采用放射变换法进行采样获得对应的影像块，将影像块填充至空白拼接影像，完成测区影像纠正并获得正射影像拼图。

 

本发明只需要输入所需信息，无需任何人工干预即可自动实现正射影像快速拼接。在完成全自动测区恢复后，对影像进行精确匹配，然后进行自由网平差迭代，将传统正射影像生产过程中需要较多人工操作的步骤实现了自动化处理。

和现有技术相比，本发明具有如下特点：

1、无需POS数据辅助，可实现全自动、快速生产正射影像拼图，能满足遥感影像准实时处理要求，适用于灾害应急响应、军事保障等领域。

2、处理效率和稳定性都具有一定保障，能在15分钟内完成200幅2000万像素影像的全自动处理，见表1。

附图说明

图1为本发明提出的无需POS辅助的低空遥感影像全自动测区恢复流程图；

图2为本发明自动测区恢复的结果示意图；

图3为本发明提出的无需POS辅助的低空遥感影像正射影像自动拼接流程图；

图4为苏州某区域低空遥感影像的正射影像拼图；

图5为九寨某区域低空遥感影像的正射影像拼图；

图6为新疆某区域低空遥感影像的正射影像拼图。

具体实施方式

下面将结合附图进一步说明本发明的技术方案。

本发明方法首先对原始低空遥感影像序列进行匹配，无需POS辅助实现全自动恢复测区；然后，按照传统数字摄影测量生产流程全自动生产低空遥感影像正射影像拼图。

见图1，本发明提出的无需POS辅助的低空遥感影像全自动测区恢复主要包括步骤：

（1）    输入原始低空遥感影像序列目录、相机参数和测区参数。

输入的原始低空遥感影像序列需按照影像拍摄时飞行轨迹排列。测区参数包括影像水平重叠度、影像垂直重叠度、精匹配搜索范围、DEM格网大小和DOM分辨率。影像水平重叠度、影像垂直重叠度、精匹配搜索范围、DEM格网大小和DOM分辨率的初始值均为默认值，影像水平重叠度、影像垂直重叠度、精匹配搜索范围参数值完成测区恢复后根据种子点位置调整为实际值。

（2）根据原始低空遥感影像序列目录提取原始低空遥感影像序列，对各原始低空遥感影像进行缩小，并提取缩小影像的特征点。

采用统一缩小比例尺对各幅原始低空遥感影像进行缩小处理，使缩小影像大小为1000像素*X像素或X像素*1000像素 ，提取缩小影像的特征点，以影像名称命名输出特征点文件。

（3）根据特征点对缩小影像按序列进行粗匹配获得粗匹配结果，并根据粗匹配结果获得测区的全部航带。

飞机在直线飞行时拍摄的影像序列，称为一条航带内的影像序列。根据原始低空遥感影像序列及各幅影像的特征点，对缩小影像进行粗匹配，本步骤的具体实施中采用尺度不变特征转换匹配法（SIFT）进行影像粗匹配。

根据影像粗匹配结果与航带间影像匹配结果的差异，逐一判断两幅影像是否为同一航带内的影像，如果不是同一航带内的影像，则断开该两幅影像，从而得到整个测区的全部航带。上述航带内影像与航带间影像的匹配结果差异为：同一航带内影像的相对旋转角是0°左右，而航带间影像的相对旋转角是90°或者180°。

（4）对航带间的缩小影像进行粗匹配，结合步骤（3）获得的航带内影像粗匹配结果，确定测区缩小影像的相对位置关系和旋转角度，即原始低空遥感影像序列的相对位置和旋转角度。

首先，根据步骤（3）获得的序列影像粗匹配结果进行航带排序和航带内影像排序，即，将同一航带内的影像按从左到右的重叠进行排序，将航带间的影像按从上到下的重叠进行排序。然后，根据航带排序对相邻航带间的影像进行匹配，从而却确定相邻航带间的最近邻影像。根据匹配结果的匹配点点集计算各影像的旋转角度。

本步骤的具体实施中采用尺度不变特征转换匹配法（SIFT）进行影像粗匹配。

（5）原始低空遥感影像预处理，并输出相邻低空遥感影像的粗略种子点。

本步骤中所述的预处理包括根据相机参数对原始低空遥感影像进行畸变改正和旋转预处理，畸变改正用来提高平差精度，旋转是为了使得航带内的影像能左右重叠、航带间的影像能上下重叠；然后根据航带内影像和航带间影像的粗匹配结果，将相邻影像的匹配点坐标换算到预处理后的影像上作为下一步精匹配的种子点，根据种子点位置计算实际的影像水平重叠度、影像垂直重叠度、精匹配搜索范围参数值等精匹配参数，并输出种子点。

（6）建立测区的工程文件，并根据工程文件生成匹配任务。

在本发明的全自动测区恢复过程中，影像缩小、特征提取、影像匹配及影像预处理都采用CPU并行加速。

在测区恢复步骤中，仅需输入原始低空遥感影像序列目录、相机参数和测区参数，即可由计算机程序自动完成测区恢复，并建立测区的工程文件。图2为自动测区恢复的结果示意图，其中，位于同一行的影像表示同一航带内影像。

图3为本发明提出的无需POS辅助的低空遥感影像正射影像自动拼接流程图，该低空遥感影像正射影像拼图生产流程包括步骤：

步骤1，按照上述步骤（1）~（6）对原始低空遥感影像序列进行全自动测区恢复，建立测区的工程文件，并根据工程文件生成匹配任务。

步骤2，根据匹配任务对预处理后的低空遥感影像进行精匹配。

根据测区工程文件生成匹配任务，根据种子点和实际的精匹配参数确定影像匹配的搜索范围，采用尺度不变特征转换匹配法（SIFT）进行影像粗匹配，匹配部分同名匹配点；然后，基于粗匹配结果采用相关系数法和最小二乘影像匹配法进行精匹配。本具体实施方式中对预处理后的低空遥感影像采用CPU并行进行精匹配，匹配完成后，将测区的同名匹配点按照预先设计好的数据结构组织起来，并按照预设格式输出串联的同名匹配点文件，即精匹配结果；如果匹配失败，则终止流程，人工进行调整。

步骤3，根据测区工程文件和精匹配结果进行迭代自由网平差。

本具体实施方式中的迭代自由网平差基于光束法平差实现，具体实现方式如下：

将上一次迭代的自由网平差结果作为本次迭代输入的自由网平差数据，平差数据初始值即步骤2获得的精匹配结果，迭代过程中逐渐减小中误差阈值，并根据像点残差大小，剔除像点残差较大的匹配点，如果自由网平差在给定的中误差阈值条件下不能收敛时，平差通过，输出自由网平差结果，所输出的自由网平差结果包括影像的相对外方位元素和相对坐标系下的三维点云；否则平差失败，终止流程，人工进行调整。

本步骤采用的迭代自由网平差策略为：首次自由网平差时根据经验设置初始中误差阈值，设定的初始中误差阈值较大，保证首次迭代时收敛，本具体实施中初始中误差阈值设置为10倍影像像素，平差获得影像的相对外方位元素，根据影像相对外方位元素计算航带内相邻影像的外方位元素的欧式距离，并根据外方位元素的欧式距离判断是否存在“较短”的基线，“较短”的基线的判断方法为：计算所有的基线长度，求平均值，如果有某一个基线的长度小于十分之一的平均值，则认为是“较短”基线；如果存在“较短”的基线，在下一次迭代平差时，再次构建自由网；如果不存在较短的基线，则以影像相对外方位元素作为下一次迭代的自由网平差初始值，同时根据上一次迭代的平差结果，剔除残差较大的匹配点，把经粗差剔除后剩下的匹配点带入下一次迭代平差。每迭代一次，按照预设规则逐步减小中误差阈值，并不断剔除残差较大的匹配点，为最后一次平差收敛提供保障。

步骤4，数字地面模型（DEM）的生成与低空遥感影像正射影像的拼接。

根据自由网平差结果的加密点的三维坐标，对三维点云进行简单的中值滤波处理，剔除三维点云的粗差三维点，由三维点云内插生成数字地面模型（DEM）。根据自由网平差结果获取影像在自由网坐标系下相对外方位元素和测区的数字地面模型（DEM）对各影像进行CPU并行正射纠正，同时生成整个测区的正射影像拼接图。

具体实施中，首先根据测区的数字地面模型（DEM）和设定的正射影像地面分辨率，计算正射影像拼接图大小，并新建一张空白拼接影像。再对各影像进行间接法正射纠正。为提高处理效率，正射纠正的处理单元是影像面元，同时根据影像的Voronoi图（泰森多边形图）确定各正射影像在正射拼图上的有效范围，将纠正后影像的有效范围填充进空白影像，从而完成整个测区正射影像拼图的拼接。

4.1 数字地面模型（DEM）的内插生成

先对三维点云进行大粗差剔除，大粗差剔除原理是：将三维点分别投影到X、Y、Z三个方向，获取三个方向的直方图；然后，根据给定的阈值截去头尾上的点，即大粗差点，在X、Y两个方向剔除的是平面大粗差，Z方向剔除的是高程大粗差；对大粗差剔除后剩下的点构建Delaunay（狄洛尼）三角网，接着按照给定的DEM格网大小在Delaunay三角网中内插方格网的高程值，内插公式采用共面公式；最后，在DEM方格网中对高程Z进行一次中值滤波，为避免剔除过多的正确点，中值滤波过程中采用自适应阈值限定，只有大于阈值的点才认为是大粗差点。

4.2、正射纠正方法

一般普通相机采用的都是中心投影方式，中心投影方式获得的影像，距离像主点越远，地物高产生的投影差就越大，因此应尽可能选离主点近的影像位置来采集正射影像。这样采集的正射影像投影差最小，可得到最好的正射影像。

对于测区的多张影像，根据以上理论，每一张影像都要选择离主点最近的位置采集正射影像，此时可以考虑使用“图论”中的 “Voronoi图”来解决最优位置。具体方法是：首先，根据影像的外方位元素，把各影像的像主点投影到DEM的平均高程面上，这样就得到了一个点集。从Delaunay三角网的定义和Voronoi图的定义可知们互为偶图，对于该点集，只要建立正确的Delaunay三角网，就可以很容易的获得其Voronoi图。所以，对该点集构建Delaunay三角网。对于三角网内部的各点，获取经过该点的所有三角形边的中点，连接这些中点就可以得到Voronoi多边形；而对于三角网边缘的各点，向外扩至无穷远。获得Voronoi图之后，即获得了各影像上的有效采集范围。根据设定的正射影像像元的地面分解率，通过共线条件方程计算各地面点在影像上的位置，然后采用双线性内插获得该位置的灰度值。

为加快处理效率，本发明不进行逐像素纠正，而是按照预设大小的地面范围（如5m*5m）进行纠正，即，求解地面范围四个角点的在预处理后的低空遥感影像上的坐标，地面范围中间像素采用放射变换法进行采样，将放射变换后的影像块填充进空白拼接影像，对整个测区完成纠正，同时可以得到正射拼图。

上述步骤2~4各步骤结束时都会输出一些文件，可通过检查这些文件判断该步骤是否处理失败。导致失败的原因有两种：一种是因为误操作或计算机异常，这种情况必须终止程序；另一种是因为处理的数据质量很差，以至于无法进行自动处理，这种情况下在终止程序后采用人工解决。

另外本发明步骤中，若某步骤处理失败，可以进行人工操作后，输入人工操作后的数据后继续执行下一步骤。

 

另外在整个流程中，多个步骤采用CPU并行加速，正射影像快速拼接也采用快速算法，大大提高了处理效率。

本发明可提高低空遥感影像处理的自动化程度和效率，实验证明本发明自动拼接法的拼接效率比传统逐像素纠正快1个数量级，能满足准实时处理需求，适用于应对灾害应急响应。本发明仅需人工输入原始低空遥感影像序列目录、相机参数和测区参数等必要信息，在不再需要任何人工干预和POS数据辅助情况下就可自动化完成影像拼接。

图4~6为采用本发明方法获得的低空遥感影像正射影像拼图，其中，图4为苏州某区域低空遥感影像的正射影像拼图，图5为九寨某区域低空遥感影像的正射影像拼图，图6为新疆某区域低空遥感影像的正射影像拼图。图4~6的相关信息见表1。

表1图4~6对应的相关信息

 影像数量影像大小处理时间拼接结果苏州1304288*28487分33秒见图4九寨1965616*374414分23秒见图5新疆4957304*547843分38秒见图6