一种多控制点自动提取与聚合的无人机地面目标实时定位方法

摘要

本发明公开了一种多控制点自动提取与聚合的无人机地面目标实时定位方法，属于无人机侦察图像处理领域，包括以下步骤：第一步，获取N(N≥3)幅满足一定条件的无人机目标侦察图像；第二步，提取并修正各侦察图像准地面控制点（GCP）坐标，形成准GCP组；第三步，通过图像拼接算法建立全景遥感影像，实现准GCP的聚合；第四步：基于准GCP实现全景图像的几何校正；第五步：计算侦察目标的地理经纬度坐标，实现目标定位。本算法通过引入多图像坐标提取机制，有效克服了现有无人机目标定位算法在实时性与定位精度之间的矛盾，在保证算法实时性的同时，有效提高了定位精度。

说明书

技术领域

本发明属于遥感图像处理技术领域，具体涉及一种多控制点自动提取与聚合的无人机地 面目标实时定位方法。

背景技术

无人机目标定位作为一种先进的遥感数据获取方式，在历次局部战争中发挥着越来越重 要的作用。在以“信息主导、火力主战”为核心作战思想的指导下，无人机目标定位精度已 成为影响该装备能否用于实战、能否充分发挥其作战效能的关键的技术。据公开资料显示， 美军“全球鹰”无人机在20000米高空下，通过光电/红外图像可实现小于20米圆概率误差 （Circular Error Probable，CEP）的目标定位精度；美国APL战略系统实验室开发的多图像 坐标提取技术，更是实现了5米CEP的目标定位精度。目前国内基于无人机侦察平台的目标 定位方法主要有以下三种：

一是基于空间交会的目标定位方法。该方法通过对地面同一目标进行连续激光测距，构 建空间交会模式，利用交会模型进行平差计算进行目标定位。该方法目标定位精度高，但高 精度的目标跟踪和激光测距设备限制了该方法的使用。

二是基于图像匹配模式的目标定位。该方法在建立预先基准图像的条件下，将无人机侦 察图像与基准图像进行匹配，进而实现目标定位。该方法具有定位精度高、可多点同时定位 等突出优点；然而，非实时的工作方式制约了其应用范围。

三是基于无人机单次遥测数据的目标定位方法。该方法直接将无人机对目标定位瞬间的 位置、姿态信息和侦察平台的转角信息等输入定位解算模型，具有实时性好的突出优点，固 被现役无人机定位系统采用。然而，由于受无人机位置、姿态等测量误差的影响大，该方法 定位精度较低，通常大于100米CEP。

从上述对比分析可以看出，现有基于无人机侦察平台的目标定位方法在定位精度和实时 性之间存在矛盾，难以满足现代战场对实时、高精度目标定位的需求。

发明内容

本发明为克服现有无人机目标定位方法在实时性和目标定位精度之间的矛盾，在不增加 机载侦察设备的前提下，提出了一种多控制点自动提取与聚合的无人机地面目标实时定位方 法，通过多图像坐标采集、信息关联实现目标定位。实验结果表明，本发明在保证目标定位 实时性的前提下，有效提高了目标定位精度。

本发明以中心投影构像相机成像模型作为研究对象，通过多帧图像准地面控制点（GCP） 提取、修正、聚合以及几何校正等步骤，最终实现目标定位。

本发明的一种多控制点自动提取与聚合的无人机地面目标实时定位方法，包括如下几个 步骤：

第一步，获取N(N≥3)幅满足一定条件的无人机目标侦察图像。

为进行侦察目标定位，本发明要求无人机侦察平台在捕获到地面目标信息后，对目标进 行多方位侦察成像，该任务可由单机顺序完成，也可由多机协同完成。

第二步，提取并修正各侦察图像准地面控制点（GCP）坐标，形成准GCP组。

准GCP精度对最终目标定位精度起决定性作用。由于受系统误差及传感器成像姿态等因 素影响，准GCP相对于理想位置会发生位置偏移。为提高目标定位精度，本发明从准GCP 偏移成因入手，对准GCP予以修正，包括：1）基于成像姿态的一次修正；2）基于系统误差 的二次修正。

第三步，通过图像拼接算法建立全景遥感影像，实现准GCP的聚合。

本方法通过图像拼接将分散到各侦察图像中的多个准GCP聚集到一幅全景遥感影像中， 形成联合准GCP组，从而有利于后期图像几何校正。准GCP聚合后，需记录并更新各准GCP 在全景图像中的坐标。

第四步，基于准GCP实现全景图像的几何校正。

基于准GCP对全景图像几何畸变进行数学模拟，实现全景图像的几何校正。

第五步，计算侦察目标的地理经纬度坐标，实现目标定位。

通过人机交互确定侦察目标在全景图像中的坐标位置，借助校正后全景图像地理信息解 算目标地理经纬度坐标，实现目标定位。

本发明具有以下优点：

1)通过多帧图像坐标提取，有效解决了现有无人机目标定位算法在定位精度和实时性之 间的矛盾，目标定位精度高，实时性好；

2)可实现目标聚集区的多目标同时定位。

附图说明

图1为本发明的模型图；

图2为本发明方法总体流程图；

图3为航摄像片成像原理示意图；

图4为准GCP修正前后对比效果图；

图5为准GCP修正前后定位精度对比图；

图6为改进SIFT特征点匹配效果图；

图7为准GCP聚合效果示意图；

图8为基于准GCP的几何校正结果。

具体实施方式

下面结合附图，对本发明的具体实施方法进行详细说明。

本发明是一种多控制点自动提取与聚合的无人机地面目标实时定位方法，通过对侦察目 标及其相邻区域获取的多幅侦察图像进行准GCP提取、修正、聚合以及几何校正等步骤，实 现侦察目标的地理定位。方法模型如图1所示，在地面指挥控制站的控制人员人员的辅助参 与下，无人机侦察设备将捕获到的目标图像及成像位置、姿态信息等遥测数据下传至地面指 挥控制站，地面图像处理平台处理并分析侦察图像及相关遥测数据，最终得到目标的地理坐 标。图2给出了方法整体流程图，具体实施方法包括以下步骤：

第一步，获取N(N≥3)幅无人机目标侦察图像。

为进行侦察目标定位，本发明要求无人机侦察平台在捕获到地面目标信息后，对目标进 行多方位侦察成像，该任务可由单机顺序完成，也可由多机协同完成。多机协同工作不仅有 利于目标信息的快速获取，更降低了因单机盘旋或过顶侦察时带来的危险。为实现高精度目 标定位需求，本发明要求至少获取3幅侦察图像，且要求拍摄角度尽量分散，其中一幅为主 定位图像，其余多幅为辅助定位图像。其中，主定位图像定义为目标偏离侦察图像中心的最 小的图像，辅助定位图像要求与主定位图像有重叠区域，且尽量包含侦察目标。

第二步，提取并修正各侦察图像准地面控制点（GCP）坐标，形成准GCP组。

由于在引入了准GCP的概念，首先对准GCP予以介绍。区别于GCP（直接或间接测量 得到），准GCP是指通过计算得到的无人机侦察图像中具有相机成像时刻地理经纬度坐标的 图像坐标。在理想情况下，即成像时刻传感器俯仰角与滚转角均为0、地理位置记录仪安装 在物镜中心处、系统误差为零时，侦察图像的中心位置地理坐标P_{IMG_CENTER}(latitude,longitude) 与成像时刻相机记录地理坐标P_SENSOR(latitude,longitude)相同。然而，由于受成像姿态、系统 误差等因素影响，侦察图像中心位置的地理坐标P_{IMG_CENTER}通常与成像瞬间记录的地理经纬度 坐标P_SENSOR存在差距。准GCP精度对最终目标定位精度起决定性作用。因此，为保证目标定 位精度，本发明在已知传感器成像模型和辅助遥测数据的参与下，从准GCP偏移成因入手， 对准GCP予以修正，包括：1）基于成像姿态的一次修正；2）基于系统误差的二次修正。

（1）基于成像姿态的一次修正

当无人机高空侦察拍摄时，各地物点均通过相机物镜中心（投影中心）与底片（投影面） 相交，产生地物点影像，成像原理满足中心投影共线方程。

图3给出了成像原理示意图，其中S为物镜中心，o为成像平面中心点，H为成像高度。 受成像姿态影响，准GCP会发生明显偏移，其中俯仰角造成图像坐标y方向的偏移，滚转 角ω造成图像坐标x方向的偏移。如图3所示，以俯仰角为例，偏移量Δy₁可由几何关系：

同理可知，滚转角ω引起的x方向的偏移量Δx₁为：

${\mathrm{\Delta x}}_1=\frac{f}{u}\tan \left(\omega \right)---\left(2\right)$

当把偏航角k考虑在内时，各方向偏移量Δx、Δy还需旋转k角度，得到：

其中，f为相机焦距，u为像元尺寸。因此，经一次修正后的准GCP坐标为： (X¹_GCP,Y¹_GCP)＝(X_{IMG_CENTER}+Δx₁,Y_{IMG_CENTER}+Δy₁)，其中(X_{IMG_CENTER},Y_{IMG_CENTER})为图像中心坐 标。

（2）基于系统误差的二次修正

由于成像设备固有误差及遥感平台安装误差存在，经成像姿态修正的准GCP坐标与实际 测量值仍有一定差距。通常无人机执行一次侦察任务时，机载侦察设备安装位置和系统固有 误差相对固定，因此可通过对部分已知地理信息的侦察图像做统计平均，获取侦察系统固有 误差[Δx₂,Δy₂]^T，

$\left(\begin{array}{c}{\mathrm{\Delta x}}_2\\ {\mathrm{\Delta y}}_2\end{array}\right)=\frac{1}{N}\left(\begin{array}{c}\underset{i=1}{\overset{N}{\Sigma }}{x}_i\\ \underset{i=1}{\overset{N}{\Sigma }}{y}_i\end{array}\right)---\left(4\right)$

其中，N为测试的图像数目，(x_i,y_i)为第i幅测试图像经一次准GCP修正后的残留误差。 获得[Δx₂,Δy₂]后即可对目标区域侦察图像准GCP进行二次误差补偿，此时准GCP坐标为 (X²_GCP,Y²_GCP)＝(X_{IMG_CENTER}+Δx₁-Δx₂,Y_{IMG_CENTER}+Δy₁-Δy₂)，即：

图4给出了一幅典型图像准GCP修正前后在图像中的位置表示，其中黑点标注位置为修 正前的准GCP图像坐标位置，灰色点标注位置为修正后的准GCP图像坐标位置，白色点为 地理坐标在图像中对应的真实位置。可以看出与修正前相比，修正后的准GCP坐标位置误差 大大减小。据测量，修正前误差为120米，修正后误差降为22米。图5给出了经两次修正前 后的实验图像准GCP精度对比图，其中无人机飞行高度为2000米左右，实验图像为220幅。 其中，图4测量数据体现为下图中的第49帧。从上图实验结果可知，经修正后的准GCP定 位精度有了明显提高。实验数据中，修正后的准GCP定位误差达到16米CEP，修正前约为 60米，从而证明准GCP修正算法的有效性。

第三步，通过图像拼接方法建立全景遥感影像，实现准GCP的聚合。

准GCP聚合是指将分散到多幅侦察图像中的多个准GCP聚集到一张遥感影像中，形成联 合准GCP组的过程。为此，本发明采取了基于改进SIFT（尺度不变特征转换，Scale-invariant  feature transform）特征匹配的图像拼接方法，以达到了准GCP聚合的目的。首先，针对无人 机侦察影像特点，对SIFT特征点提取算法进行了优化改进，实验结果表明，当设置组 octvs=2、层intvel=3时，在提取约85%特征点总数的同时，平均耗时减少50%，大大提高 了特征点检测效率，保证了算法的实时性。其次，在特征点匹配方面，本发明采用基于kd_tree （k-d树）搜索的最近次近距离比值法，即：r＝d₀/d₁，其中d₀为最近距离，d₁为次近距离； 实验结果表明，当取r＝0.25时，可获得大于95%的匹配精度。图6给出了两幅典型的无人机 侦察图像匹配效果图，其中r取0.25，误匹配率为2.7%。

在图像合成阶段，本发明针对无人机目标侦察图像特点，采用了8参数透视变换模型， 实验结果表明该模型能有效减小拼接错位，符合准GCP聚合要求。设图像i相对于主定位图 像的变换关系为H_i，则经二次修正后的第i幅图像的准GCP坐标(X²_{GCP_i},Y²_{GCP_i})在全景图像 中的坐标(X_{′GCP_i},Y_G′_{CP_i})满足下列关系：

(X′_{GCP_i},Y_G′_{CP_i},1)^T＝H_i·(X²_{GCP_i},Y²_{GCP_i},1)^T   （6）

图7给出了一幅含4个准GCP聚合后的全景图，其中黑色圆点标注处为准GCP，矩形框 标注出为侦察目标。

第四步，基于准GCP实现全景图像的几何校正。

在准GCP聚合的基础上，为实现目标定位，需基于准GCP组对拼接后的全景图像进行几 何校正。基于准GCP组的几何校正算法与经典的基于地面控制点的几何精校正算法相似，用 于生成一幅符合大地坐标系要求的新图像。主要包括两个环节：一是像素坐标的转换，即将 图像坐标转换为地面坐标；二是对坐标变换后的像素亮度值进行采样。本发明采用了经典的 多项式校正法，回避了成像的空间几何过程，直接对图像变形进行数学模拟。利用准GCP的 图像坐标和其同名的地面坐标，通过平差原理计算多项式系数，然后利用该多项式对图像进 行几何校正。

一般的多项式校正公式为:

x＝a₀+(a₁X+a₂Y)+(a₃X²+a₄XY+a₅Y²)+...(7)

y＝b₀+(b₁X+b₂Y)+(b₃X²+b₄XY+b₅Y²)+...

式中，x、y为某像素原始坐标；X、Y为同名像素的地面坐标。

多项式的项数N与其阶数n有着固定的关系：

$N=\frac{1}{2}(n+1)(n+2)---\left(8\right)$

多项式系数a_i、b_i(i＝0,1,2,...,N-1)可按最小二乘法原理求解。本发明采用二次多项式进 行几何校正，取得了较好的校正效果。图8给出了图7基于准GCP组几何几何校正后的结果 及其地理信息。

第五步，计算侦察目标的地理经纬度坐标，实现目标定位。

设侦察目标在正射影像中的像素坐标为(x_goal,y_goal)，则侦察目标的二维地理坐标 (Latitude_goal,Longitude_goal)可由下式计算得到：

${\mathrm{Latitude}}_{\mathrm{goal}}={\mathrm{Lat}}_{\mathrm{north}}-\frac{({\mathrm{Lat}}_{\mathrm{north}}-{\mathrm{Lat}}_{\mathrm{south}})}{\mathrm{Height}}{y}_{\mathrm{goal}}$(9)

${\mathrm{Longitude}}_{\mathrm{goal}}=\frac{({\mathrm{Lng}}_{\mathrm{east}}-{\mathrm{Lng}}_{\mathrm{west}})}{\mathrm{Width}}{x}_{\mathrm{goal}}+{\mathrm{Lng}}_{\mathrm{west}}$

其中，Lat_north、Lat_south、Lng_east、Lng_west分别为正射影像的北纬、南纬、东经和西经边界值， Width、Height分别为正射影像的宽和高（单位为像素）。