一种基于移动平台的旋翼无人机自主降落系统及方法

摘要

本发明公开了一种基于移动平台的旋翼无人机自主降落系统及方法，通过设计一种多尺度嵌套组合标志，满足单目相机在不同距离梯度下的识别，保证了无人机单目相机在降落过程中在不同高度均有可识别的标识，同时通过辅助降落系统，计算估计出移动平台速度、位姿与获取的无人机速度、位姿用于辅助无人机降落。该种旋翼无人机自主降落系统及方法通过GPS导航、视觉巡航、视觉导航三种基本状态的切换实现无人机在移动平台上自主降落，具有降落效率高、稳定性强的特点。

说明书

技术领域

本发明属于无人机控制技术领域，具体涉及一种基于移动平台的旋翼无人机自主降落系统及方法。

背景技术

近年来，无人机智能技术发展迅速，无人机常常作为辅助设备出现在监测环境、探索自然、救灾抢险等相关场合。而无人机在执行任务后，其降落回收环节的事故率远超其他环节。因此，为最大程度保证无人机的复飞能力，无人机在运动目标上实现精准自主降落已经成为无人机技术领域的研究热点。

无人机的自主降落依赖导航技术，而传统的导航技术大多依赖GPS导航、惯性导航等组合导航。其中，GPS导航误差较大，缺少完整的姿态信息，无法实现精准降落；惯性测量单元又会由于误差积累进而导致精度降低，传统导航技术无法满足精准定位的需求。随着技术发展，视觉导航由于其抗干扰性强、低成本高精度等优点被海内外机构所认可，被广泛应用于无人机着陆领域。

申请号201810735398.1的发明专利申请提供了一种面向移动平台的无人机自主着陆控制系统及方法。该系统包括设置在无人机上的视觉模块、着陆目标检测模块、无人机位姿估计模块和参数对比模块；无人机着陆时,通过视觉模块获得实时影像,对图像进行阈值分割进行图像处理，根据处理结果解算出无人机相对于着陆目标的旋转矩阵和平移矩阵，最终获得姿态角,实时估计无人机位姿信息, 判断并调整自身的飞行。但是其相机固连于机体，无人机抖动或将影响位姿估计数据。

申请号201911396466.7的发明专利申请提供了一种基于GPS与视觉的无人机自主着陆系统和着陆方法。无人机通过接收到一键返航指令，保持正常飞行高度,采用GPS定位系统开始飞往着陆点正上方，之后以5m/s的垂直速度下降到距离目标正上方高度5米；随后无人机以1m/s的垂直速度下降到地面,此过程采用 openmv视觉定位系统进行导航。但是该方法只是通过简单的颜色识别，并只以颜色目标中心和无人机坐标差值作为控制误差较大，整个方法中也未曾体现提及 GPS导航与视觉导航之间的过渡方式。

无人机的自主降落过程随着降落过程判断标准需要不断调整，现有技术中无人机降落过程稳定性较差。

发明内容

发明目的：本发明的目的在于提供一种基于移动平台的旋翼无人机自主降落系统，本发明的目的在于提供一种基于移动平台的旋翼无人机自主降落方法。

技术方案：本发明所述的一种基于移动平台的旋翼无人机自主降落系统，用于被无人机的视觉系统识别的组合标志包括黑色方形图案，所述的黑色方形图案内嵌白色H形图案，所述的白色H形图案内嵌小尺度二维码和两组大尺度二维码，所述的两组大尺度二维码位于小尺度二维码两侧。

优选的，视觉系统包括单目相机和能够对单目相机俯仰角进行控制的云台。

优选的，组合标志与移动平台连接，所述的移动平台设置有用于采集无人机和移动平台速度差和位置差的辅助降落系统。

进一步的，组合标志采用漫反射白色软胶材质作为嵌套图案的背景，能满足单目相机在不同距离下的识别效果，并贴于所述移动平台平面上。

进一步的，辅助降落系统内部集成GPS导航模块，姿态传感器，远程通讯模块，扬声器，将GPS导航模块、姿态传感器进行数据融合，实时估计当前移动平台速度和位姿信息。远程通讯模块能够将接受无人机的位置数据和速度数据，并将无人机和移动平台速度差和位置差发送给无人机，指导无人机朝向移动平台运动。

进一步的，视觉系统中的云台为单轴云台，单目相机为广角相机，云台固定于无人机正下方，单目相机固定于云台，保持单目相机初始视野始终向下，单轴云台能够进行俯仰控制，用于搜寻所述组合标志及视觉引导降落。

进一步的，黑色方形图案内嵌的白色H形图案的中心与黑色方形图案中心重合，小尺度二维码位于黑色方形图案中心，小尺度二维码和两组大尺度二维码横向排列，大尺度二维码位于小尺度二维码两侧，大尺度二维码的边长大于小尺度二维码，二维码为aruco二维码。

进一步的，自主降落系统还包括遥控器，遥控器用于发送一键降落指令或取消降落指令手动控制无人机。

本发明所述的一种基于移动平台的旋翼无人机自主降落方法，该方法包括步骤如下：

(1)无人机飞行过程中接收到返航指令后，根据无人机和移动平台的位置差和速度差，控制无人机以最大速度飞向移动平台；

(2)无人机根据移动平台位置数据飞至移动平台周围后，利用视觉系统对位于移动平台表面的组合标志进行目标检测，直至发现目标组合标志；

(3)无人机通过视觉系统识别组合标志获取无人机与移动平台相对位置距离，无人机通过激光传感器获取与移动平台的相对高度位置；无人机下降过程中，水平方向上采用位置和速度的串级PID方式飞至移动平台，所述的位置为对无人机视觉系统采集到的组合标志图像处理得到的相对位置；高度方向上采用速度分段的方式逐渐降落至移动平台。

优选的，无人机下降过程的末段实时判断无人机的俯仰角度差和横滚角度差，当俯仰角度差或横滚角度差超出预设值时，无人机飞至下降末段起始高度重新执行下降末段降落过程。

优选的，所述的组合标志包括黑色方形图案，所述的黑色方形图案内嵌白色 H形图案，所述的白色H形图案内嵌小尺度二维码和两组大尺度二维码，所述的两组大尺度二维码位于小尺度二维码两侧，所述的组合标志的识别方法具体步骤如下：

(a)通过激光传感器获取无人机与地面或组合标志的相对高度；

(b)图像预处理，采用局部阈值方法对无人机视觉系统采集到的图像进行图像二值化处理；

(c)提取候选轮廓，筛选出四边形轮廓及其四个顶点，当无人机高度在第一高度范围时，判断四边形轮廓内是否存在H形图案的轮廓，如果存在则保留四边形轮廓和H形图案的轮廓，如果不存在则舍弃该候选轮廓；当无人机高度在第二高度范围时，在H形图案的轮廓内增加对二维码的筛选；无人机高度在第三高度范围时仅做二维码识别；

(d)出透视矩阵，设置以四边形对角线长度最小的值做为透视变换后新图像的边长，求出透视矩阵；

(e)目标识别，根据无人机相对高度，对于候选轮廓中的H形图案轮廓和二维码进行识别。

优选的，步骤(e)中对于H形图案轮廓的识别方法具体步骤如下：

(S1.1)将候选轮廓中保留的十二边型轮廓点进行透视变换，在新图像上投影；

(S1.2)H形图案轮廓识别，采用缩放不变矩通过欧氏距离法与模板轮廓匹配，进行两次判断，第一次为原始图像，第二次将图像旋转90°；

(S1.3)以识别到的轮廓点为基准，进行最小矩形拟合，提取拟合后的四个顶点；

(S1.4)通过透视矩阵逆变换求出该四个顶点在原始图像的位置，作为四个内角点；

(S1.5)以原四边形四个顶点作为外角点，得到有序的八个角点。

优选的，步骤(e)中对于二维码的识别方法具体步骤如下：

(S2.1)将四边形灰度图像投影在新图像上；

(S2.2)对图像比特位处理进行提取和修正；

(S2.3)完成二维码解码识别；

(S2.4)以识别到的四边形轮廓点为其四个角点。

优选的，步骤(3)中无人机降落期间如果目标丢失，则无人机按照设定速度上升，并执行视野增大机制用于提高视觉系统的纵向识别范围和横向识别范围。

进一步的，无人机在飞行过程中接收到返航指令后，保持当前飞行高度，通过GPS导航模块进行定位，记无人机当前速度V

进一步的，由于无人机和移动平台的GPS定位存在误差，无人机通过视觉寻找一定平台的过程为：无人机保持视相机野竖直向下获取图像进行目标检测，判断组合标志是否在视野范围内，若未识别到目标则云台控制相机向前下30°方向，无人机下降至离地面高度8.5米位置并偏转机身进行巡航，此过程依旧根据 GPS位置信息进行导航，直至发现目标组合标志。

进一步的，无人机实时对目标进行识别跟踪，无人机在降落过程中，当无人机处于2～10米时，无人机下降速度为3m/s；当无人机处于1～2米时，无人机下降速度为0.5m/s；当无人机处于0.3～1米时，无人机下降速度为0.3m/s；当无人机处于0.1～0.3米时，无人机下降速度为0.1m/s；此过程实时判断俯仰和横滚的角度差δ

进一步的，无人机按照距离梯度分别识别组合标志的嵌套图案。当无人机处于2～10米时，无人机进行远距离识别，由于远距离二维码精度较差仅识别“方中H”标志，首先识别黑色方形背景，再去识别白色H标志。当无人机处于1～2 米之间时，“方中H”和大尺度二维码两种标志都能较为清晰识别到，此为第二阶段识别，此时两者同时识别；由于大尺度二维码在此高度范围识别精度不够而“方中H”标志容易占满相机屏幕，考虑到距离相机边界越近畸变越大，因此以远距离识别数据为主，以近距离识别数据为辅，两者进行数据融合。当无人机处于 0.3～1米时，无人机进行近距离识别，仅仅识别二维码，当无人机处于0.3～1米时，优先选取大尺度二维码识别的数据，当无人机处于0.1～0.3米时，受限于相机视野仅能识别小尺度二维码。无人机降落过程中无人机以与移动平台最短距离方向进行移动。

进一步的，如果降落过程中若目标丢失，则无人机以4m/s速度上升，并引入视野增大机制，视野增大机制是利用单目广角相机识别组合标志，采用PD控制方法，对云台进行俯仰角度进行控制，使得相机光轴始终对准所识别到的嵌套标志，扩大纵向识别范围。设计的组合标志中二维码横向排列，可以进一步扩大广角相机横向识别范围。

进一步的，组合标志识别方法的步骤(a)中，无人机在移动过程中，激光传感器的激光光束可能照射在地表或者移动平台上的组合标志，且实时数据只对应其中一种情况，因此通过可激光传感器获取无人机与地面或组合标志的相对高度。

进一步的，步骤(b)中，图像预处理过程中，为减少光照不均的影响采用局部阈值方法进行图像二值化，可采用中值法来确定自适应的阈值。

进一步的，步骤(c)中，第一高度范围为2～10米，第二高度范围为1～2 米，第三高度范围为0.1～1米，相对应的再步骤(d)中，根据无人机相对高度，选择不同的识别方法，识别方法包括“方中H”标志和aruco二维码两种识别方法。当相对高度为2～10米时，采用“方中H”标志识别算法，当为1～2米时，两种方法同时进行，当相对高度为0.1～1米时，采用aruco二维码识别算法。

进一步的，经过目标识别算法后可得到角点的像素坐标，经过坐标系变换得到目标在相机坐标系下的相对位置姿态信息。可利用世界坐标系中坐标点 (X

解算出世界坐标系映射到相机坐标系的平移矩阵T＝(T

是世界坐标系映射到相机坐标系的旋转矩阵，T＝(T

云台固连与机体下方，相机固连于云台，相机坐标系和云台坐标系重合，由于云台可进行俯仰变化，因此还需计算云台坐标系到机体坐标系的变换关系，其中。无人机读取云台姿态和自身姿态信息并作差得到横滚偏差α’、俯仰偏差β’、偏航偏差θ’，因此

是云台坐标系映射到机体坐标系的旋转矩阵；R

由上述旋转矩阵R

有益效果：本发明公开设计的组合标志可以满足无人机在垂直10米高度范围内单目相机的识别效果，能够使用单目相机相对距离变化导致的视野范围变化，可以在任何移动平台上放置组合标志作为移动降落点，通过系统运算由扬声器提示降落条件，可避免由于移动平台速度未知而导致无人机降落失败，增加了自主降落的稳定性。在视觉降落过程中，通过云台俯仰增大纵向视野范围，采用广角相机配合组合标志中横向排列的二维码标志增大横向视野范围，在一定程度上减小了丢失目标的概率。通过GPS导航、视觉巡航及视觉降落三步，完善了移动降落的过程。

附图说明

图1为本发明组合标志平面示意图；

图2为本发明基于移动平台的旋翼无人机自主降落方法的流程图；

图3为本发明δ

图4为本发明组合标志识别方法流程图。

具体实施方式

下面结合附图和实施例对本发明的技术方案做进一步详细说明。

一种基于移动平台的旋翼无人机自主降落系统包括组合标志、辅助降落系统、视觉系统、遥控器。

组合标志采用漫反射白色软胶材质作为嵌套图案的背景，嵌套图案为平面多尺度图案，能满足单目相机在不同距离下的识别效果，并贴于所述移动平台平面上。为了保证在不同高度均可使用组合标志引导着陆,将组合标志设计为H型与二维码嵌套的形式。如图1所示，组合标志以白色为衬底，上设黑色方形图案，黑色方形图案内嵌白色H形图案，白色H形图案内嵌小尺度二维码和两组大尺度二维码，黑色方形图案内嵌的白色H形图案的中心与黑色方形图案中心重合，小尺度二维码位于黑色方形图案中心，小尺度二维码和两组大尺度二维码横向排列，大尺度二维码位于小尺度二维码两侧，大尺度二维码的边长大于小尺度二维码，二维码为aruco二维码。

本实施例中，组合标志的具体设计尺寸如下：白色方形衬底边长为500mm；黑色方形图案边长为440mm；白色H形标志有两个长为380mm、宽为120mm 的矩形和一个长为220mm、宽为140mm的矩形组成；大尺度二维码边长为 105mm；小尺度二维码边长为35mm。

本实施例中，辅助降落系统固定于黑色立方体外壳内部，放置于组合标志中白色H形标志上下部黑色空隙处，内部集成GPS导航模块，姿态传感器，远程通讯模块，扬声器，将GPS导航模块、姿态传感器进行数据融合，实时估计当前移动平台速度和位姿信息，通过远程通讯获取无人机速度、位姿信息。记无人机当前速度V

本实施例中，视觉系统包括云台和单目相机，其中云台采用单轴云台，进行俯仰角度控制，单目相机采用广角相机。将云台固定于无人机正下方，将单目相机固定于云台上，保持单目相机初始视野始终向下，用于搜寻所述组合标志及视觉引导降落。

本实施例中，遥控器与无人机信号连接，用于发送一键降落指令或取消降落指令手动控制无人机。

利用该种基于移动平台的旋翼无人机自主降落系统的降落方法，如图2所示，具体步骤如下：

步骤1，无人机在正常飞行过程中收到返航指令后，保持当前飞行高度，通过GPS导航模块进行定位，若GPS位置差值为δ

步骤2，无人机和移动平台的GPS定位存在误差，此时需进行视觉巡航寻找移动平台，其过程为：无人机保持视相机野竖直向下获取图像进行目标检测，判断组合标志是否在视野范围内，若未识别到目标则云台控制相机向前下30°方向，无人机下降至离地面高度8.5米位置并偏转机身进行巡航，此过程依旧根据GPS 位置信息进行导航，若发现目标则进入步骤3。

步骤3，无人机实时对目标进行识别跟踪，通过单目相机识别组合标志获取无人机与移动平台相对位置距离，通过激光传感器获取高度位置。在水平方向上采用位置和速度的串级PID方式飞至移动平台，所述速度为δ

本实施例中，步骤2和步骤3中，利用视觉系统识别组合标志的策略为先读取无人机当前距离组合标志或者地面高度，然后根据距离梯度分别识别组合标志的嵌套图案。当无人机处于2～10米时，无人机进行远距离识别，由于远距离二维码精度较差仅识别“方中H”标志，首先识别黑色方形背景，再去识别白色H标志。当无人机处于1～2米之间时，“方中H”和大尺度二维码两种标志都能较为清晰识别到，此为第二阶段识别，此时两者同时识别，以远距离识别数据为主，以近距离识别数据为辅，采用加权平均法进行数据融合。当无人机处于0.3～1米时，无人机进行近距离识别，仅仅识别二维码，当无人机处于0.3～2米时，优先选取大尺度二维码识别的数据，当无人机处于0.1～0.3米时，受限于相机视野仅能识别小尺度二维码。

进一步的，步骤3中引入的视野增大机制，利用单目广角相机识别组合标志，采用PD控制方法，对云台进行俯仰角度进行控制，使得相机光轴始终对准所识别到的嵌套标志，扩大纵向识别范围，其中以嵌套标志在像素坐标系下离图像像素中心的像素差作做为输入参数。由于设计的组合标志中二维码横向排列，可以进一步扩大广角相机横向识别范围。

本实施例中，无人机降落过程中无人机飞至移动平台遵循无人机以与移动平台最短距离方向进行移动的原则。

本实施例中，无人机降落过程中对组合标志识别算法如图4所示，具体步骤如下：

步骤S1：通过所述激光传感器获取无人机与地面或组合标志的相对高度。

步骤S2：图像预处理。为减少光照不均的影响采用局部阈值方法进行图像二值化，本实施例中采用中值法来确定自适应的阈值。

步骤S3：提取候选轮廓。采用多边形逼近算法筛选出四边形轮廓及其四个顶点，并按顺时针排序。同时根据相对高度判断是否存在四边形轮廓的子轮廓，其中子轮廓指有十二条边的轮廓，当高度在1～10米时，可识别到“方中H”标志，则需进行判断，如果存在则保留四边形轮廓和其子轮廓，如果不存在则舍弃该候选轮廓。当高度在0.1～1米时，仅识别aruco二维码，则无需进行判断。

步骤S4：求透视矩阵。设置以四边形对角线长度最小的值做为透视变换后新图像的边长，求出透视矩阵。

步骤S5：目标识别。根据相对高度，选择不同的识别方法，包括“方中H”标志和aruco二维码两种识别方法。当相对高度为2～10米时，采用“方中H”标志识别算法，当为1～2米时，两种方法同时进行，当相对高度为0.1～1米时，采用aruco二维码识别算法。

经过目标识别算法后可得到角点的像素坐标，经过坐标系变换得到目标在相机坐标系下的相对位置姿态信息。可利用世界坐标系中坐标点(X

解算出世界坐标系映射到相机坐标系的平移矩阵T＝(T

是世界坐标系映射到相机坐标系的旋转矩阵，T＝(T

云台固连于机体下方，相机固连于云台，相机坐标系和云台坐标系重合，由于云台可进行俯仰变化，因此还需计算云台坐标系到机体坐标系的变换关系，其中。无人机读取云台姿态和自身姿态信息并作差得到横滚偏差α’、俯仰偏差β’、偏航偏差θ’，因此

是云台坐标系映射到机体坐标系的旋转矩阵；R

由上述旋转矩阵R

进一步的，对于“方中H”的识别方法如图4所示，具体步骤如下：

(S1.1)将候选轮廓中保留的十二边型轮廓点进行透视变换，在新图像上投影；

(S1.2)H形图案轮廓识别，采用缩放不变矩通过欧氏距离法与模板轮廓匹配，进行两次判断，第一次为原始图像，第二次将图像旋转90°；

(S1.3)以识别到的轮廓点为基准，进行最小矩形拟合，提取拟合后的四个顶点；

(S1.4)通过透视矩阵逆变换求出该四个顶点在原始图像的位置，作为四个内角点；

(S1.5)以原四边形四个顶点作为外角点，得到有序的八个角点。

进一步的，对于二维码的识别方法如图4所示，具体步骤如下：

(S2.1)将四边形灰度图像投影在新图像上；

(S2.2)对图像比特位处理进行提取和修正；

(S2.3)完成二维码解码识别；

(S2.4)以识别到的四边形轮廓点为其四个角点。

综上，本发明设计了一种多尺度嵌套组合标志，满足单目相机在不同距离梯度下的识别，保证了无人机单目相机在降落过程中在不同高度均有可识别的标识，同时通过辅助降落系统，计算估计出移动平台速度、位姿与获取的无人机速度、位姿用于辅助无人机降落。该种旋翼无人机自主降落系统及方法通过GPS导航、视觉巡航、视觉导航三种基本状态的切换实现无人机在移动平台上自主降落，具有降落效率高、稳定性强的特点。