基于多无人机实时视频图像的地图拼接构建的系统及方法

摘要

本发明提供了一种基于多无人机实时视频图像的地图拼接构建系统及方法，包括以下步骤：S1：接收多个无人机下传的多路视频图像；S2：计算视频图像帧中若干点位的地理目标定位坐标；S3：实时计算图像至正射影像的单应性变换矩阵；S4：对图像进行单应性矩阵变换和异构化处理，获取单幅正射瓦片；S5：加载单幅正射瓦片，对重叠区域的单幅正射瓦片进行特征点提取、匹配进而进行精配准；S6：对精配准后的单幅正射瓦片进行合并，获取实时场景拼接地图。本发明具有高时效性，可以针对多无人机视频图像进行实时的地图拼接构建，同时保持良好的地图构建精度。

说明书

【技术领域】

本发明涉及雷达设计技术领域，尤其涉及一种基于多无人机实时视频图像的地图拼接构建的系统及方法。

【背景技术】

多无人机视频图像地图构建技术，需要着重解决三个问题：首先，多无人机视频图像由于无人机数量的增长造成单个无人机侦察数据下传时带宽受限，从而数据比特率较低，为计算带来难度；其次，多无人机视频图像通常存在不连通性，图像间重叠率低或无重叠是常态，为图像匹配带来了困难；最后，多无人机视频图像地图构建数据量大，对实时性要求较高，这对如何高效的整合多无人机视频图像带来了挑战。

无人机视频图像地图拼接技术，目前来看有两种技术手段，一种是基于图像特征点匹配的图像拼接来构建地图，另一种是基于SFM(Structure From Motion)技术构建场景结构来指导图像的地图映射。

基于图像特征点匹配的拼接构建地图方法，存在累计误差造成的漂移问题，同时在应对多机视频图像时，侦察区域的不连通性使得图像间无特征点，可能造成算法匹配失败；基于SFM技术的图像构建地图方式，在图像质量较高时往往能够获取最佳的地图构建效果，但缺陷同样很明显：SFM技术本身计算实时性较差，同时多无人机侦察图像又受限于数据带宽，图像实时下传质量往往无法满足SFM结构计算，从而造成计算失败。

因此，有必要研究一种基于多无人机实时视频图像的地图拼接构建的系统及方法来应对现有技术的不足，以解决或减轻上述一个或多个问题。

【发明内容】

有鉴于此，针对多无人机视频图像地图拼接构建存在的特点和难点，本发明提供了一种基于多无人机实时视频图像的地图拼接构建的系统及方法，具有高时效性，能够实时构建同时不存在漂移误差的多无人机视频图像地图拼，该方法融合了图像地理目标定位技术、单应性矩阵图像变换、特征点匹配精配准等计算方法，从而可以针对多无人机视频图像进行实时的地图拼接构建，同时保持良好的地图构建精度。

一方面，本发明提供一种基于多无人机实时视频图像的地图拼接构建方法，所述地图拼接构建方法包括以下步骤：

S1：接收多个无人机下传的多路视频图像；

S2：计算视频图像帧中若干点位的地理目标定位坐标；

S3：实时计算图像至正射影像的单应性变换矩阵；

S4：对图像进行单应性矩阵变换和异构化处理，获取单幅正射瓦片；

S5：加载单幅正射瓦片，对重叠区域的单幅正射瓦片进行特征点提取、匹配进而进行精配准；

S6：对精配准后的单幅正射瓦片进行合并，获取实时场景拼接地图。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S2具体为通过融合IMU、卫星定位、载荷内参数和载荷外参数进行地理目标定位坐标计算。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S4具体为：通过异构加速变换，完成图像像素空间至地图正射图像的变换，获取图像单幅正射瓦片数据。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S5中匹配过程为根据瓦片数据的自身定位参数进行粗略瓦片合并。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S5中精配准为对存在对齐误差的重叠邻域瓦片进行精配准调整，通过对特征点变换矩阵进行指导变换，获取空间地理坐标系下的位置变换，从而得到对应的空间地理坐标系的精配准变换矩阵，完成瓦片的精配准矩阵变换。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S3中具体为获取图像上点位地理坐标的基础后，构建地理坐标定位参数至视频图像的单应性矩阵映射关系，对图像进行逐像素的变换操作。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S1中从无人机中接收信息的方法包括但不限于4G通信、5G通信和卫星通信。

如上所述的方面和任一可能的实现方式，进一步提供一种基于多无人机实时视频图像的地图拼接构建系统，所述地图拼接构建系统包括：

信息接收单元，用于接收多个无人机下传的多路视频图像；

坐标计算单元，用于计算视频图像帧中若干点位的地理目标定位坐标；

矩阵变换单元，根据坐标计算单元的结果实时计算图像至正射影像的单应性变换矩阵；

单幅正射瓦片获取单元，对图像进行单应性矩阵变换和异构化处理，获取单幅正射瓦片；

特征点提取单元，加载单幅正射瓦片获取单元中输出的单幅瓦片，对重叠区域的单幅瓦片进行特征点提取；

精准匹配单元，根据特征点提取单元提取的结果进行匹配和精配准；

地图拼接单元，对精配准后的单幅瓦片进行合并，获取实时场景拼接地图。

如上所述的方面和任一可能的实现方式，进一步提供一种可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行任一项所述的地图拼接构建方法的步骤。

如上所述的方面和任一可能的实现方式，进一步提供一种地图构建装置，包括存储器、处理器和显示器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述显示器显示处理器的运行结果，所述处理器运行所述计算机程序时执行任一项所述的地图拼接构建方法的步骤。

与现有技术相比，本发明可以获得包括以下技术效果：

(1)初始的瓦片地理位置参数计算依赖于飞行器平台IMU、卫星定位、图像载荷内外参数，鲁棒性更高，避免了基于图像特征点累计误差漂移问题和不连通带来的匹配失败问题，单应性变换矩阵解算的成功率较高；

(2)受限于带宽，多无人机多路视频图像难以同时下传，多采用单路视频实时下传或多路视频降帧频下传的方式进行；

(3)本发明能够适应低帧频视频图像数据，相比基于SFM三角化投影地图构建技术，速度得到极大的提高，同时避免了SFM技术低帧频图像数据计算成功率不高的问题。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有技术效果。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明一个实施例提供的多无人机视频拼接基本计算流程图；

图2是本发明一个实施例提供的地理坐标定位坐标与图像坐标系的对应和单应性矩阵变换关系图；

图3是本发明一个实施例提供的瓦片数据合并过程中的重叠区域特征精确配准和变换图；

图4是本发明一个实施例提供的飞行数据测试数据集图；

图5是本发明一个实施例提供的一大场景的图像拼接构建地图结果(左图)与卫星影像地图(右图)比对。

【具体实施方式】

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

本发明提供一种基于多无人机实时视频图像的地图拼接构建方法，所述地图拼接构建方法包括以下步骤：

S1：接收多个无人机下传的多路视频图像；

S2：计算视频图像帧中若干点位的地理目标定位坐标；

S3：实时计算图像至正射影像的单应性变换矩阵；

S4：对图像进行单应性矩阵变换和异构化处理，获取单幅正射瓦片；

S5：加载单幅正射瓦片，对重叠区域的单幅正射瓦片进行特征点提取、匹配进而进行精配准；

S6：对精配准后的单幅正射瓦片进行合并，获取实时场景拼接地图。

所述S2具体为通过融合IMU、卫星定位、载荷内参数和载荷外参数进行地理目标定位坐标计算。

所述S4具体为：通过异构加速变换，完成图像像素空间至地图正射图像的变换，获取图像单幅正射瓦片数据。

所述S5中匹配过程为根据瓦片数据的自身定位参数进行粗略瓦片合并。

所述S5中精配准为对存在对齐误差的重叠邻域瓦片进行精配准调整，通过对特征点变换矩阵进行指导变换，获取空间地理坐标系下的位置变换，从而得到对应的空间地理坐标系的精配准变换矩阵，完成瓦片的精配准矩阵变换。

所述S3中具体为获取图像上点位地理坐标的基础后，构建地理坐标定位参数至视频图像的单应性矩阵映射关系，对图像进行逐像素的变换操作。

所述S1中从无人机中接收信息的方法包括但不限于4G通信、5G通信和卫星通信。

一种基于多无人机实时视频图像的地图拼接构建系统，所述地图拼接构建系统包括：

信息接收单元，用于接收多个无人机下传的多路视频图像；

坐标计算单元，用于计算视频图像帧中若干点位的地理目标定位坐标；

矩阵变换单元，根据坐标计算单元的结果实时计算图像至正射影像的单应性变换矩阵；

单幅正射瓦片获取单元，对图像进行单应性矩阵变换和异构化处理，获取单幅正射瓦片；

特征点提取单元，加载单幅正射瓦片获取单元中输出的单幅瓦片，对重叠区域的单幅瓦片进行特征点提取；

精准匹配单元，根据特征点提取单元提取的结果进行匹配和精配准；

地图拼接单元，对精配准后的单幅瓦片进行合并，获取实时场景拼接地图。

一种可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行任一项所述的地图拼接构建方法的步骤。

一种地图构建装置，包括存储器、处理器和显示器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述显示器显示处理器的运行结果，所述处理器运行所述计算机程序时执行任一项所述的地图拼接构建方法的步骤。

本发明克服了无人机视频图像地图拼接构建存在的特点和难点，融合了图像地理目标定位技术、单应性矩阵图像变换、特征点匹配精配准等计算方法，从而可以针对多无人机视频图像进行实时的地图拼接构建，同时保持良好的地图构建精度。

本发明所述方法的流程(参见图1、图2)如下：

S1：接收多无人机下传的多路视频图像；

S2：计算视频图像帧中若干点位的地理目标定位坐标，该过程需要融合IMU、卫星定位、载荷内参数和外参数；

S3：实时计算图像至正射影像的单应性变换矩阵；

S4：针对图像进行单应性矩阵变换的硬件加速计算，获取单幅正射瓦片(GeoTif)；

S5：加载上一步骤中输出的单幅瓦片，对重叠区域的瓦片进行特征点提取、匹配进而进行精配准；

S6：精配准后的瓦片进行合并，获取实时场景拼接地图。

本发明中基于图像的地理目标定位技术：

多无人机视频图像地图拼接的GeoTiff数据定位方式基于图像的地理目标定位技术方法，该技术方法融合了飞行器平台、传感器和视频图像载荷内参数和外参数，同时为了获取较为精确的定位，结合数字高程数据(DEM)进行高程误差修正。

计算公式为：

P＝R

R

R

R

R

其中R

本发明中针对图像的硬件加速的单应性矩阵变换：

在获取了图像上一定点位地理坐标的基础上，可以构建地理坐标定位参数至视频图像的单应性矩阵映射关系，该过程涉及到了针对图像逐像素的变换操作，为了满足实时性的变换需求，单应性矩阵变换采用了异构加速的方式，在完成变换的同时极大的降低了图像像素变换操作计算时间。

经过该异构加速(GPU)变换，完成了图像像素空间至地图正射图像的变换，也就获取了该幅图像正射瓦片GeoTiff数据。

已知若干的图像点位图像坐标和对应上一过程的地理目标定位算法得出的对应地理坐标，存在如下关系：

(P

其中P

在GPU加速逐像素变换中，像素着色器中进行上述逐像素变换，并完成渲染输出瓦片。该数据为下一过程的瓦片合成和匹配的依据。

本发明中特征点匹配精配准：

在获取了多无人机正射瓦片数据的基础上，需要对瓦片进行合并整合。

首先根据瓦片数据的自身定位参数进行粗略的瓦片合并，由于各个瓦片本身都存在一定的误差，该过程整合后的瓦片地图会存在一定的对齐误差，对存在对齐误差的重叠邻域瓦片进行精配准调整，可以有效约束对齐误差，同时这种基于各自瓦片的合并过程，也避免了过分依赖特征点匹配拼接带来的大场景地图拼接漂移误差问题。

如图3所示，各个瓦片合并入整体地图中可能存在一定的重叠区域，由于各个瓦片的顶角坐标已经由上几个过程的地理目标定位和单应性矩阵变换进行了初步的计算和位置约束，因此该过程的计算更多在于尽量降低地图纹理的错位误差，从而生成更优的拼接地图。

一种待匹配瓦片的特征点存在如下公式：

(x

T＝f(T)

其中(x

T为图像坐标系下特征点偏移变换矩阵，该特征点变换矩阵指导变换获取空间地理坐标系下的位置变换f，从而得到对应的空间地理坐标系的精配准变换矩阵T′，从而完成瓦片的精配准矩阵变换。

本发明中实验结果比较分析：

参考上述的附图说明，最终根据实际飞行时的多无人机飞行视频数据处理实验结果处理得出了较大场景的地图拼接结果，处理过程满足了多无人机大数据量视频数据的实时处理的要求，同时根据最终地图拼接产品结果点位的定位数据比对分析得出，该方法的多无人机视频图像地图拼接的地图构建误差在15米以内，满足大场景地图拼接构建的需求。

实验中本发明针对一平方公里的区域进行了地图拼接，数据如图4所示，并与基于图像特征匹配的拼接技术和SFM技术(如开源的OpenDroneMap)进行了比对，见表1所示。图5所示完成了实验测试，并采集了点位进行了误差比对。

表1基于图像的拼接地图构建方法实验比较

以上对本申请实施例所提供的一种基于多无人机实时视频图像的地图拼接构建的系统及方法，进行了详细介绍。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

如在说明书及权利要求书当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求书当中所提及的“包含”、“包括”为一开放式用语，故应解释成“包含/包括但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求书所界定者为准。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求书的保护范围内。