一种基于多无人机编队的航拍相机姿态外部动态标定以及测绘方法

摘要

一种基于多无人机编队的航拍相机姿态外部动态标定以及测绘方法，属于图像地理信息标定技术领域。本发明在多无人机编队主机相机的航拍图像中，多架协作无人机的全局绝对坐标信息及其在主无人机相机图片中像素位置信息相结合，反演计算出主无人机相机的姿态视角，从而进行测绘，以克服现有技术精度低的问题。本发明建成对图像特征点依赖性低、测绘精度高、动态拍摄精度高、效率高的无人机航拍系统，突破传统图像拼接技术对图像可用特征的依赖性。

说明书

技术领域

本发明属于图像地理信息标定技术领域，具体是实现一种不依赖飞行姿态的多无人机编队航拍图像地理信息标定方法。

背景技术

对于缺乏可有效识别的图像特征的航拍图像，即缺乏可识别和参照的光学特征，往往导致基于特征匹配的图像拼接方法失效，严重影响着环境识别、探测和建模的精确度和一致性等指标。无姿态数据在精度、效率、频次以及实时性等方面要求较高，需要较高的硬件成本，不适用于低配置的无人机系统。同时，实现时间同步、空间同步是一个难题。

当面临比较复杂的航拍环境时，需要拼接的图像中会包括很多特征点，但是在面对湖泊航拍时，航拍对象中图像特征稀疏，机载光学测绘对航拍图像的姿态精度要求高，传统的标定方法内部惯性传感器和罗盘定位精度无法满足高精度的航拍测绘需求，因此是无法完成的，所以亟待寻找一种精度高的方法来解决现有技术存在的这一问题。

发明内容

本发明提供一种不依赖于飞行姿态的多机编队航拍图像地理信息标定方法，建成对图像特征点依赖性低、测绘精度高、动态拍摄精度高、效率高的无人机航拍系统，突破传统图像拼接技术对图像可用特征的依赖性。

一种基于多无人机编队的航拍相机姿态外部动态标定以及测绘方法，标定方法是由动态飞行无人机协作编队标定系统实现的，标定系统包括一架主无人机和三架以上协作无人机；标定以及测绘方法具体如下：

步骤一、对主无人机和协作无人机进行合理编队和航迹规划，确保协作无人机全部处在主无人机拍摄的图像范围内，并与主无人机构成一定的空间几何关系。多架协作无人机的全局绝对坐标信息(即GPS定位等)对应着多机实际空间几何关系。各个无人机时间同步，坐标实时同步共享。

步骤二、主无人机和协作无人机保持队形和高度不变，同步按照规划的航迹飞行，主无人机在需要测绘的坐标点对协作无人机和测绘区域拍摄；

步骤三、拍摄完成后，由于两种几何关系的形状与主机相机的姿态视角直接相关，所以将多架协作无人机在主无人机相机拍摄的图像中的像素位置信息及其全局绝对坐标信息相结合获得主无人机相机的姿态视角；即首先识别多架协作无人机在主无人机相机图像中的像素位置信息以确定相机视角中多机几何关系，其次基于多架协作无人机的全局绝对坐标信息以确定多机实际空间几何关系，然后利用上述两个几何关系的投影变换关系反演计算出主无人机相机的姿态视角，所述的姿态视角包括俯仰角、横滚角和偏航角；

步骤四、在采集到的主机相机的拍摄图像中，利用协作无人机在主无人机相机图像中的像素位置信息以及其全局定位坐标，结合主机相机的全局坐标以及步骤三所确定的姿态视角，通过对图像各像素点进行旋转正射投影处理，反演出该图像中除了协作无人机像素点之外的像素点对应的全局绝对坐标信息，从而完成对于原始图像的处理。

步骤五、结合航拍数据的全局绝对坐标数据，将多无人机编队、多帧航拍测绘反演后的正射投影图像数据拼接，形成统一坐标系下的完整图像信息和坐标一致性映射数据。采用黎曼流形空间描述方式，在流形空间内对图像和坐标数据进行标定，可有效提高图像像素标定精度和一致性。

进一步地，所述的无人机均为四旋翼无人机。

进一步地，四旋翼无人机包括机体碳纤维支架、电机、碳纤维螺旋桨叶片、可充电锂电池、无线数传通信模块、GPS模块、Pixhawk飞控模块和firefly相机云台。所述的无线数传通信模块、GPS模块、Pixhawk飞控模块和firefly相机云台的功能：

无线数传通信模块：无人机实时传送航拍图、航拍图的GPS信息、无人机的姿态数据；无人机间数据共享，以保持阵型；

GPS模块：通过GPS确定无人机及载荷位置和姿态数据；

Pixhawk飞控模块：自动保持飞机的正常飞行姿态；

firefly相机云台：平衡与稳定相机，可调整相机俯仰角度。

本发明的有益效果：本发明在多无人机编队主机相机的航拍图像中，多架协作无人机的全局绝对坐标信息及其在主无人机相机图片中像素位置信息相结合，反演计算出主无人机相机的姿态视角(俯仰角、横滚角、偏航角)，从而进行测绘，以克服现有技术精度低的问题。

附图说明

图1为主无人机、协作无人机和照片上协作无人机投影的几何关系图。

图2为主无人机相机不用姿态下各协作无人机在图像中的位置示意图。

具体实施方式

本发明将通过对软件程序的设计以及硬件设备的改造与配置达到上述效果。

一架主无人机于500米高空，用于图像拍摄。三架协作无人机于主无人机正下方的图像范围内100米位置。对三架协作无人机进行合理编队，使其构成空间的几何关系。当主无人机拍摄完第一张图像后，四架无人机同时平移，并进行高速连拍。利用三架协作无人机的GPS坐标，可以反演出其他图像，最后，将多无人机、多帧航拍测绘反演数据拼接形成统一坐标系下的完整图像信息和坐标一致性映射数据。从而实现不依赖于飞行姿态的多机编队航拍图像地理信息标定。软件操作部分：

1.设置多无人机编队具体操作：在Mission Planner地面站中右键点击选择“Connection Optic”并采用TCP将4架无人机均连接上Mission Planner地面站，在“Temp”中选择“Swarm”，设置主无人机，其余无人机将会自动进入“Guided”模式。选择任意从机，点击Takeoff，3架从机将会起飞至设定高度，因为是四旋翼无人机，我们可以直接设置为100米，然后切换至主无人机，在地图界面上单击右键，选择takeoff，我们同样可以直接将其升至500米，也可以先使其起飞至低空，随后再进行攀升。在“Control”面板中，我们可以控制主无人机与从机组成需要的队形，随后就可以只通过控制主无人机，其余从机会自动保持队形，跟随主无人机执行任务。

2.多无人机编队降落操作：控制主无人机回到降落点上空，其余从机将跟随主无人机保持原队形回到降落点上空，随后需要单独控制每架从机进行降落，最后再将主无人机降落。

3.多无人机间的时间同步与空间同步问题：将多无人机组成编队后，其时间同步问题将得到很好的解决，绝对时间下，主无人机与各从机的GPS坐标都是统一的。我们只需要计算出主无人机与其中任一从机显示屏上的相对时间差，就能算得主无人机所拍照片对应的绝对时间。至于空间同步问题，多无人机编队的算法有较好的鲁棒性，通过图像与从机GPS结合，我们可以推算出主无人机的GPS坐标与位姿数据，将推算数据与飞控日志数据进行比对，可以计算出相对误差，以保证达到空间同步与测绘精度。

4.图像拼接算法：在主无人机所拍摄照片中，三架从机即为图像的光学特征，将各图中它们的GPS坐标数据统一处理后，可以采用简单的算法进行基于光学特征的图像拼接，并且能保持较高的精度。

5.精度的提高：可以采用激光雷达标定或RTK定位的方法协作提高GPS定位的精确度。

在硬件方面，本专利发明选择使用四旋翼无人机而不是固定翼无人机。原因是四旋翼无人机较易改装，操作较为容易，且相对于固定翼无人机在水域环境监测方面有很大的优势。固定翼无人机适用于大面积航拍、航测，无法做到精确的停留定点，而且其飞行速度较快，不太适合静态图像的高质量采集。而本发明作为一种不依赖于飞行姿态的多机编队航拍图像地理信息标定方法，对水域环境地理图像信息采集的要求是定点、静态图像采集，而四旋翼无人机可以更好地满足要求，故采用四旋翼无人机。

本发明使用的四旋翼无人机硬件部分包括机体碳纤维支架、电机、碳纤维螺旋桨叶片、可充电锂电池、无线数传通信模块、GPS模块、Pixhawk飞控模块、firefly相机云台等。