一种动态提取图像控制点的遥感卫星图像自动正射纠正的框架和方法

摘要

本发明提供一种动态提取图像控制点的遥感图像自动几何纠正的系统框架和方法。该框架包含一个区域级参考图像集和一个遥感图像自动几何纠正的执行模块。自动几何纠正的执行模块主要包括四个步骤：利用待纠正图像的四个角点坐标信息和系统校正误差的估算值，提取与待纠正图像地理范围基本重合的参考图像与DEM，提取的参考图像作为控制图像，DEM数据用于正射纠正；将控制图像与待纠正图像进行自动匹配，获得控制点；基于控制点建立待纠正图像和控制图像之间的纠正模型，对图像进行纠正；再次利用图像自动匹配方法将纠正后的图像与控制图像进行自动配准，利用匹配的控制点自动计算相对纠正误差。

说明书

技术领域

本发明涉及遥感图像处理中的图像几何纠正技术，尤其是遥感图像的几何精纠正或正射 纠正技术。

背景技术

遥感图像在成像时，由于成像投影方式、传感器外方位元素变化、传感介质的不均匀、 地球曲率、地形起伏、地球旋转等因素的影响，使获得的遥感图像相对于地表目标存在一定 的几何变形。所有的遥感图像在应用前必须进行几何处理，使处理后图像上的像元点与地表 的地理位置或地图严格对准，该过程称为遥感图像的几何纠正。

遥感图像的几何纠正通常包括两个过程：系统校正或几何粗纠正、几何精纠正或正射纠 正。系统校正是纠正遥感图像在几何位置上的系统性形变。系统性几何变形是有规律的和可 以预测的，可以通过模拟遥感平台及遥感器内部变形的数学公式或模型来预测，但由于可精 确模拟和预测的系统性形变的精确度有限，导致系统误差改正后影像上还存在剩余形变。剩 余形变一般认为是非系统性的形变，是由遥感平台的高度、经纬度、速度和姿态等不稳定因 素或地球曲率变化等引起的，是难以预测的，一般借助地面控制点(GCP，Ground Control  Points)作进一步的几何处理，实现图像与标准参考图像或地图的配准，这种对剩余形变的 纠正就是几何精纠正。进一步地，利用GCP、数字高程模型(DEM，Digital Elevation Model) 或数字地形模型(DTM，Digital Terrain Modal)结合纠正模型纠正因地形起伏、太阳高度 角和成像视角引起的几何形变，就是正射纠正。

显然，不管是几何精纠正还是正射纠正都是建立在GCP基础之上的，而控制点的采集是 需要经验且繁重的工作。不考虑野外采集GCP的模式，常规的采集GCP的工作是由人工对照 地图和图像来完成的，而且控制点的精度依赖于采集者个人的认识水平和技能，这使得采集 控制点的工作耗时长，严重影响几何纠正的效率。因此提高控制点的采集速度是许多遥感图 像几何纠正着力解决的问题。其中基于控制点库的几何纠正是许多商业系统为提高几何纠正 效率实际运行所采用的处理方式，如PCI软件系统。

假定控制点库中已经存储了控制点的经纬度坐标和以控制点为中心的图像片。基于控制 点库进行几何精纠正或正射纠正的过程为：根据待纠正影像四个角点的经纬度从数据库中查 询出落入该范围的已知控制点片，并根据其地理坐标计算映射到待纠正影像的大致位置，然 后在待纠正影像上进行控制点图像片的匹配检测并定位控制点的位置。

使用控制点库纠正图像有优点也有缺点。优点是：控制点图像片都是以特征点为中心选 取的，在匹配时会得到较高的匹配度；控制点图像片是局部数据，整体误差对控制点片匹配 的影响较小；一定区域内控制点片的数量有限且分布相对均匀，因此匹配的效率较高。缺点 是：需要大量的人工工作以采集充实控制点库；某些区域内控制点片的数量可能太少且分布 密度太低；不同空间分辨率和光谱波段的遥感图像可能需要分辨率和谱段不同的控制点片； 人工采集的控制点与计算机可识别的控制点特征点可能不一致，导致实际应用时控制点片与 图像不一定能匹配上。

发明内容

本发明针对现有技术中存在的缺陷和不足，提出一种新的动态提取图像控制点的遥感卫 星图像自动纠正的框架，该框架没有使用控制点库而是一种利用几何精度满足要求的参考数 据为基准图像对新图像进行几何纠正的系统和方法。它通过在参考图像上和待纠正图像进行 自动匹配动态获得控制点，继而通过控制点建立图像形变模型来纠正图像。

本发明的技术方案如下：

一种基于区域级参考图像对遥感卫星图像自动纠正的框架和方法。其特征在于包括以下 步骤：

(1)包含一个区域级参考图像集。参考数据集主要包括两类数据：有准确地理编码的遥 感图像和同区域的DEM数据，数据的范围可以是局部区域或全球范围的数据，至少包括待纠 正图像的区域。地理编码的遥感图像通常选用已经经过正射纠正，认为几何精度满足要求可 作为基准图像的图像组成；

(2)基准图像管理。按照地理编码对参考数据进行分幅管理。通过分幅把区域数据或者 全球数据分成若干数据块，每个数据块以特定的规则命名，并存储在同一个文件夹中。分幅 方法与数据的投影方式相关。对于不同投影方式的数据，采用不同的分幅方法进行管理。

(3)与待纠正图像地理范围基本重合的控制图像的提取。待纠正图像是经过系统纠正的 图像，它的四个角点坐标是包含了系统校正误差的地理坐标，以此为参考，加上系统误差的 估算值，可将对应于待纠正图像的参考图像和DEM提取出来，参考图像作为控制图像，DEM 数据用于正射纠正；

(4)图像自动匹配。将控制图像与待纠正图像进行自动匹配，获得控制点；

(5)图像纠正。基于控制点建立待纠正图像和控制图像之间的纠正模型，继而利用纠正 模型对待纠正图像进行纠正。

(6)纠正精度自动评价。再次利用图像自动匹配方法将纠正后的图像与控制图像进行自 动配准，利用匹配的控制点自动计算相对纠正误差。

本发明与现有技术相比具有下列优点：直接利用参考图像动态提取图像控制点进行纠正， 无需人工工作采集充实控制点库；控制点的分布和数量可以依据需要进行调节；可将参考数 据集中存储在本地或异地，从而支持网络环境下并行的几何纠正作业。

附图说明

图1遥感图像自动纠正框架和基本流程图

图2利用待纠正图像的角点坐标确定控制影像区域的示意图

图3模板匹配模板窗口和搜索窗口示意图

图4待纠正图像和控制图像自动匹配流程图

图5NCC快速算法中和表s(u，v)和s²(u，v)递推关系示意图

具体实施方式

下面结合附图通过实施例对本发明作进一步的详细说明。

图1是遥感图像自动纠正框架和基本流程图。它包括一个参考数据集和一个自动几何纠 正的执行模块。

参考数据集包括两类数据：有准确地理编码的遥感图像和同区域的DEM数据，数据的范 围可以是局部区域或全球范围数据，至少包括待纠正图像的区域；地理编码的遥感图像通常 选用任何已经经过正射纠正，认为几何精度满足要求，可作为基准图像的图像组成。

参考数据集管理的基本方法是按照地理编码将区域或全球的参考数据分幅管理。通过分 幅把区域数据或者全球数据分成若干数据块，每个数据块以特定的规则命名，并存储在同一 个文件夹中。分幅方法与数据的投影方式相关。对于不同投影方式的数据，采用不同的分幅 方法进行管理。

对于有地理编码的遥感图像，以常用的UTM投影的图像为例，其分幅和命名的方法如下： 首先按照标准的UTM带进行划分，形成多个图像条带，每个图像条带的分区按照纬度进行 划分，南纬和北纬都从0度开始进行网格划分，每5度一个网格，起始网格编号为0，下一 个网格编号为5，依次往后累加5，最终把图像分幅为多个图像块。每个图像块命名方式如下： 第一个元素标识图像所处的半球，N表示图像在北半球，S表示图像在南半球，第二元素是 UTM代号，第三个元素是所在网格的纬度编号，元素之间用“-”分开，然后是图像文件后 缀名。命名示例如下：N-15-25.gif，表示图像数据在北半球，UTM的15带，纬度在25度到 30度之间，图像以TIF格式进行存储。

对于经纬度投影的DEM数据，其分幅和命名的方法如下：直接按经纬度进行网格分幅， 首先从本初子午线开始从西经进行网格划分，每5度一个网格，纬度从北纬开始网格划分，5 度一个网格，起始网格编号为1，依次往后累积加1。如此，按照经纬度网格，将DEM分幅 为不同的图像块。图像块命名方式如下：第一个元素是图像块的经度索引，第二个元素是图 像块的纬度索引，元素之间用“-”分开，然后是图像文件后缀名。命名示例如下：59-10.gif， 表示图像块在经度编号为59，纬度编号为10的网格。

自动几何纠正的模块包括四个步骤：

(1)与待纠正图像地理范围基本重合的控制图像与DEM的提取。待纠正图像是经过系统 纠正的图像，系统纠正图像的四个角点坐标是包含了系统校正误差的地理坐标，以此为参考， 加上系统误差的估算值，可将对应于待纠正图像的参考图像和DEM提取出来，其中的参考图 像作为可控制图像，DEM数据可用于图像正射纠正。控制图像的区域覆盖待纠正图像区域含 系统性误差的范围，如附图2所示。附图2中图像的四个角点坐标分别是C₁，C₂，C₃，C₄，由于 是系统校正，每个坐标含有误差，假设横向和纵向误差范围不超过e，则控制图像的范围是 图2中矩形A的范围，DEM也取A的范围。A的范围覆盖了待纠正图像的区域范围。

(2)控制图像与待纠正图像的自动匹配。该步骤是整个发明的核心部分，包含五个处理 单元，如图3所示。

单元100利用待纠正图像和控制图像的空间分辨率信息调整待纠正图像的空间分辨率， 使待纠正图像的空间分辨率与控制图像的空间分辨率相等。调整方法采用图像重采样方法。 另外可依据待纠正图像的定向信息对图像重新定向使其与控制图像具有相同或相似的定向。 图像重新定向本质是对图像旋转，也采用重采样方法。一般可将分辨率调整和图像定向在一 个过程中完成。

单元110是特征点提取单元。实际应用中常常要求自动提取的控制点和人工选择的控制 点有尽可能多相似的特征，如控制点的候选点应具备以下特征：容易精确定位；稳定、不易 发生变化；有明显的视觉特征；角点、道路的拐点、交叉点等都是具有上述特征的点。为此 采用特征提取算子可以生成控制点候选点。遥感图像处理中常见的特征点提取算子有Moravec 算子、算子、Harris算子等。可以选择其中任何一个算子来提取特征点。在本发明 的实施例中，我们选择算子提取特征点，分别在待纠正图像和参考图像上提取特征 点。

单元120是特征点匹配单元。经过单元100的处理，待纠正图像和参考图像具有同样的 空间分辨率和几乎相同的定向。特征点匹配一般采用模板匹配方法。模板匹配分别以待纠正 图像和参考图像上的特征点为中心，在两幅图像中提取模板窗口和搜索窗口。模板窗口通常 选用方形窗口，窗口大小可以预先给定，比如取值129*129；搜索窗口通常也为方形窗口， 窗口尺寸宽一般至少取模板尺寸与2e的和，e是系统误差中横向和纵向误差的最大值。

模板匹配的过程就是模板窗口在搜索窗口中逐点移动，利用相似性判别准则计算模板和 其重叠区域的相似度或匹配度，找到相似度最大的位置，如果相似度大于设定的阈值，就认 为找到了一个匹配点。为忽略因亮度因素造成的图像差异，本发明一个实施例采用归一化相 关系数γ(NCC，Normalized Cross Correlation)作为相似性判断准则，并使用NCC快速算 法计算归一化相关系数γ。归一化相关系数的计算公式如下：

$\gamma =\frac{{\Sigma }_{x,y}[f(x,y)-{\bar{f}}_{u,v}][t(x-u,y-v)-\stackrel{\text{-}}{t}]}{\sqrt{{\Sigma }_{x,y}{[f(x,y)-{\bar{f}}_{u,v}]}^2{\Sigma }_{x,y}{[t(x-u,y-v)-\bar{t}]}^2}}$

式中，如附图4所示，，(u，v)为当前模板窗口左上角相对于搜索窗口左上角的坐标偏移， 即当前模板位置，f(x，y)，t(x，y)分别为搜索窗口和模板窗口灰度分布函数，和分别为 待纠正图像和参考图像在搜索窗口和模板窗口范围内的像元灰度均值。

NCC快速算法是一种空间域计算的方法，核心是在搜索窗口预先计算图像像素及其像素 平方的两个和表以简化γ的计算过程，大幅度减少γ和下面两个和值

${\bar{f}}_{u,v}=\frac{1}{N_x{N}_y}\underset{x=u}{\overset{u+N_x-1}{\Sigma }}\underset{y=v}{\overset{v+N_y-1}{\Sigma }}f(x,y)$

$e_f(u,v)=\underset{x=u}{\overset{u+N_x-1}{\Sigma }}\underset{y=v}{\overset{v+N_y-1}{\Sigma }}{[f(x,y)-{\bar{f}}_{u,v}]}^2$

的时间开销。在本发明的实施例中，取N_x＝M_y＝N。NCC快速算法的计算步骤是：

1)递推计算和表s(u，v)和s²(u，v)，递推关系如附图5所示，其中

$s(u,v)=\underset{i=0}{\overset{u-1}{\Sigma }}\underset{j=0}{\overset{v-1}{\Sigma }}f(i,j)=f(u,v)+s(u-1,v)+s(u,v-1)-s(u-1,v-1)$

${\bar{f}}_{u,v}=\frac{1}{N_x{N}_y}{\Sigma }_{x,y}f(x,y)$

$=\frac{1}{N_x{N}_y}[s(u+N_x-1,v+N_y-1)-s(u-1,v+N_y-1)-$

$-s(u+N_x-1,v-1)+s(u-1,v-1)]$

$e_f(u,v)={\Sigma }_{x,y}{[f(x,y)-{\bar{f}}_{u,v}]}^2$

$={\Sigma }_{x,y}{f}^2(x,y)-2{\bar{f}}_{u,v}{\Sigma }_{x,y}f(x,y)+{\Sigma }_{x,y}{{\bar{f}}^2}_{u,v}$

$={\Sigma }_{x,y}{f}^2(x,y)-\frac{2}{N_x{N}_y}{{[\Sigma }_{x,y}f(x,y)]}^2+N_x{N}_y{{\bar{f}}^2}_{u,v}$

$={\Sigma }_{x,y}{f}^2(x,y)-\frac{1}{N_x{N}_y}{{[\Sigma }_{x,y}f(x,y)]}^2$

$=[s^2(u+N_x-1,v+N_y-1)-s^2(u-1,v+N_y-1)-$

$-s^2(u+N_x-1,v-1)+s^2(u-1,v-1)]-$

$-\frac{1}{N_x{N}_y}[s(u+N_x-1,v+N_y-1)-s(u-1,v+N_y-1)-$

$-s(u+N_x-1,v-1){+s(u-1,v-1)]}^2$

单元130是误匹配点剔除单元。图像匹配过程完成后，可以在控制影像和待纠正影像中找 到足够数量多的特征点对。这些特征点对中包括很多误匹配的特征点对，即不是真正的匹配 点对。因此需要对这些特征点对进行检查，剔除误匹配的特征点对。剔除误匹配点对的方法 大多都利用几何约束进行剔除。一种方法是将配准生成的特征点对通过最小二乘方法利用一 次或二次多项式建模来剔除粗差，此时认为所有匹配点对应当满足模型关系，因此各匹配点 对在水平和垂直方向上的位置偏差应当在一定的阈值范围内，对超出此范围的特征点对认为 是误匹配点对予以剔除，这是比较传统的方法；剔除误匹配点对最有效的方法是 RANSAC(Random Sample Consensus)方法，该方法采用随机抽样一致性原理对误匹配特征点进 行检测。它是一种鲁棒性的参数估计方法，在图像匹配中剔除误匹配点方面应用得很成功。 它的基本思想就是从一套观察数据中估计出一个数学模型。由于我们假定图像之间的匹配模 型可以用某个低阶多项式或透视变换模型来拟合，于是RANSAC可充分利用所有的初步匹配点， 根据一个容许误差将所有的匹配点对分为内点和外点，利用内点数据比较准确的特点来进行 模型参数估计，从而剔除不准确的匹配点。RANSAC方法和传统的优化方法的区别在于：传统 的基于最小二乘的方法先把全部的数据点作为内点而计算出初始参数值，然后重新计算并统 计内点和外点；而RANSAC随机采样方法利用部分数据作为内点得到初始值，并记录满足约束 的内点数量，如此过程迭代执行，选取对应内点数最大的，并且把满足约束的内点作为最终 的内点，也就是我们所说的正确的匹配点对，不符合条件的点对作为误配点对，予以剔除

单元140是控制点均匀化单元。基于特征点提取算子所提取的特征点分布与地物特征的分 布有紧密关联，导致在地物结构特征复杂的地域特征点聚集度很高，而在地物结构平坦的地 域特征点分布稀疏，使得整幅图像控制点分布不均匀。控制点均匀化的目的是使匹配后的控 制点有相对均匀的分布，使得基于控制点的纠正的图像有更高的精度。控制点均匀化一般可 结合网格剖分进行。首先将输入的待纠正的图像进行网格剖分，网格大小为M×M，M值可 以依据图像的宽、高确定，也可以由预期控制点总数估算得出，尽可能保证大部分网格都有 控制点；然后考察每个网格内的控制点数。如果网格内仅有一个控制点，则保留该控制点； 如果网格内控制点数目大于1，则保留匹配度最高的控制点。经过控制点均匀化处理后，图像 上的控制点会呈近似均匀分布的状态。

(3)图像纠正。基于控制点建立纠正模型，利用纠正模型对待纠正图像进行纠正；结果 DEM数据，就可以基于控制点建立正射纠正模型，利用正射纠正模型对待纠正图像进行正射 纠正。

(4)纠正精度自动评价。再次利用图像自动匹配方法将纠正后的图像与控制图像进行自 动配准，利用匹配的控制点自动计算相对纠正误差。

参考数据集可以存储在本地或异地。当参考数据存储在异地时，可以基于网络调用。因 此本发明支持网络环境下并行的几何纠正作业。

本发明的实施例在Windows平台或Linux平台实现，经过实验验证，不需任何中间过程 的人工干预，可以自动完成遥感卫星图像的几何精纠正和正射校正。

应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明，但不 以任何方式限制本发明。因此，尽管本说明书参照附图和实施方式对本发明已进行了详细的 说明，但是，本领域技术人员应当理解，仍然可以对本发明进行修改或者等同替换，而一切 不脱离本发明的精神和技术实质的技术方案及其改进，其均应涵盖在本发明专利的保护范围 当中。