一种基于二维码地标识别的无人机视觉辅助定位与飞控系统及方法

摘要

本发明公开了一种基于二维码地标识别的无人机视觉辅助定位与飞控系统及方法，该系统包括无人机本体、传感器模块、跟踪轨迹生成模块、视觉处理模块、传感器更新模块、飞行控制模块、视觉辅助控制切换模块、指令输出模块以及摄像头，通过对航线特定位置上布置的二维码标志物进行视觉提取，融合惯性导航系统进行精确位置和姿态信息的计算，进而辅助和提高传统GPS组合导航系统的精度，同时通过二维码编码信息为无人机提供多元化信息指引，拓展飞行任务的多样性，另外，提出一种基于偏差的自适应补偿控制的级联飞行控制系统，实现标志物识别状态和未识别状态的平滑过渡，提高飞行控制的稳定性，进而提高识别的精准度和快速性。

说明书

技术领域

本发明属于无人飞行器技术领域，更具体地，涉及一种基于二维码地标识别的无人机视觉辅助定位与飞控系统及方法。

背景技术

近年来随着智能科学与控制科学的发展，无人机成为了当前比较热门的一个研究话题。目前无人机广泛应用于航拍、大地测绘、地质救援、火灾救援、交通监控等领域。无人机不但具有实际的社会应用价值，在工程和学术也有重要的研究意义，例如农业植保、电力巡检、森林防火、检灾等领域，具有广阔的发展前景。

在无人机的自动飞行中，传统的组合导航技术受限于GPS精度问题，在位置精度上约为±2m左右，在对航线飞行、悬停精度要求比较高的场合，例如快递物流投送，救灾支援，上舰作战，自动返回充电等应用，往往需要采用其他设备来辅助以提高飞行时抵达目标点的精度，具有一定的局限性。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于二维码地标精准识别的无人机视觉辅助定位与飞控系统，在航线的特定位置上布置若干个以二维码形式的标志物作为关键点，通过对二维码标志物进行视觉提取，融合惯性导航系统进行精确位置和姿态信息的计算，进而辅助和提高传统GPS组合导航系统的精度，同时通过二维码的编码信息为无人机提供多元化信息指引，拓展飞行任务的多样性。另外，提出一种基于偏差的自适应补偿控制的级联飞行控制系统，实现标志物识别状态和未识别状态的平滑过渡，提高飞行控制的稳定性，进而提高识别的精准度和快速性，由此解决现有技术中传统组合导航技术受限于GPS精度问题，位置精度较低，需要采用其他设备来辅助以提高飞行时抵达目标点的精度的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于二维码地标识别的无人机视觉辅助定位与飞控系统，其特征在于，包括：无人机本体、传感器模块、跟踪轨迹生成模块、视觉处理模块、传感器更新模块、飞行控制模块、指令输出模块、视觉辅助控制切换模块以及摄像头：

所述传感器模块用于获取所述无人机本体的位置信息以及所述无人机本体的第一运动速度矢量；

所述跟踪轨迹生成模块用于根据预设的任务航点信息生成航线跟踪轨迹，并对所述航线跟踪轨迹进行离散处理得到N个期望航点，N为正整数；

所述视觉处理模块用于根据所述摄像头获取得到的二维码标志物的图像获取所述二维码标志物的位置信息、姿态信息以及编码信息，由所述位置信息、姿态信息以及编码信息得到所述摄像头相对于所述二维码标志物的偏离距离矢量以及所述摄像头相对于所述二维码标志物的第二运动速度矢量；

所述传感器更新模块用于利用所述无人机本体的位置信息、所述第一运动速度矢量、所述偏离距离矢量以及所述第二运动速度矢量通过卡尔曼滤波算法进行多传感器信息融合，得到经卡尔曼滤波算法滤波后的无人机本体的目标位置信息、目标第一运动速度矢量、目标偏离距离矢量以及目标第二运动速度矢量；

所述飞行控制模块用于利用目标期望航点的期望位置、目标期望航点的期望速度矢量、所述目标位置信息、所述目标第一运动速度矢量、所述目标偏离距离矢量以及所述目标第二运动速度矢量通过偏差自适应补偿生成制导指令，将所述制导指令发送给所述指令输出模块，其中，所述目标期望航点为无人机当前正在前往的航点，所述制导指令包括横滚角和俯仰角；

所述视觉辅助控制切换模块，用于在所述二维码标志物处于识别状态时，控制所述飞行控制模块根据所述传感器模块和所述视觉处理模块得到的信息计算制导指令，在所述二维码标志物处于未识别状态时，控制所述飞行控制模块仅根据所述传感器模块得到的信息计算制导指令；

所述指令输出模块用于输出所述制导指令。

优选地，所述摄像头位于所述无人机本体的底部，并且所述摄像头的视场方向垂直朝下。

优选地，所述视觉处理模块包括图像灰度化模块、图像二值化模块、二值图处理模块、二维码信息提取模块以及位置姿态获取模块，

所述图像灰度化模块用于将所述二维码标志物的图像转化为单通道灰度图；

所述图像二值化模块用于根据单通道灰度图设定一个固定阀值，将灰度图转化为二值图；

所述二值图处理模块用于对所述二值图进行轮廓检测，遍历所述二值图中所有边个数为4的多边形，并剔除面积小于预设阈值的多边形，然后将剩余的边个数为4的多边形进行正交投影，得到标准的正方形图像；

所述二维码信息提取模块用于按照预设的编码信息规则提取所述正方形图像中的二进制编码信息和角点信息；

所述位置姿态获取模块用于根据提取的二进制编码信息和角点信息得到所述摄像头相对于所述二维码标志物的偏离距离矢量以及所述摄像头相对于所述二维码标志物的第二运动速度矢量。

按照本发明的另一方面，提供了一种基于二维码地标识别的无人机视觉辅助定位与飞控方法，其特征在于，包括：

S1：获取无人机的位置信息以及无人机的第一运动速度矢量；

S2：根据预设的任务航点信息生成航线跟踪轨迹，并对所述航线跟踪轨迹进行离散处理得到N个期望航点，N为正整数；

S3：根据摄像头获取得到的二维码标志物的图像获取所述二维码标志物的位置信息、姿态信息以及编码信息，由所述位置信息、姿态信息以及编码信息得到所述摄像头相对于所述二维码标志物的偏离距离矢量以及所述摄像头相对于所述二维码标志物的第二运动速度矢量；

S4：利用所述无人机的位置信息、所述第一运动速度矢量、所述偏离距离矢量以及所述第二运动速度矢量通过卡尔曼滤波算法进行多传感器信息融合，得到经卡尔曼滤波算法滤波后的无人机的目标位置信息、目标第一运动速度矢量、目标偏离距离矢量以及目标第二运动速度矢量；

S5：利用目标期望航点的期望位置、目标期望航点的期望速度矢量、所述目标位置信息、所述目标第一运动速度矢量、所述目标偏离距离矢量以及所述目标第二运动速度矢量通过偏差自适应补偿生成制导指令，其中，所述目标期望航点为无人机当前正在前往的航点，所述制导指令包括横滚角和俯仰角；

S6：输出所述制导指令。

优选地，所述摄像头位于所述无人机的底部，并且所述摄像头的视场方向垂直朝下。

优选地，步骤S3具体包括以下子步骤：

S301：将所述二维码标志物的图像转化为单通道灰度图；

S302：根据单通道灰度图设定一个固定阀值，将灰度图转化为二值图；

S303：对所述二值图进行轮廓检测，遍历所述二值图中所有边个数为4的多边形，并剔除面积小于预设阈值的多边形，然后将剩余的边个数为4的多边形进行正交投影，得到标准的正方形图像；

S304：按照预设的编码信息规则提取所述正方形图像中的二进制编码信息和角点信息；

S305：根据提取的二进制编码信息和角点信息得到所述摄像头相对于所述二维码标志物的偏离距离矢量以及所述摄像头相对于所述二维码标志物的第二运动速度矢量。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要有以下的技术优点：

(1)通过对地面特定位置上布置的二维码标志物进行识别，利用二维码的编码技术获取地标信息，并融合多种传感器信息，来提高无人机的定位精度，从而辅助和提高传统GPS组合导航系统的精度，同时由于二维编码能够提供丰富的地标信息且具有加密能力，能够为无人机提供多元化信息指引，进而扩展飞行任务的多样性；

(2)在标志物识别状态和未识别状态采用同一个级联的飞行控制系统，并提出了一种基于偏差的自适应补偿控方法，在标志物目标识别状态下对获取到的额外位置信息进行补偿，能够实现标志物识别状态和未识别状态的平滑过渡，提高飞行控制的稳定性，保证旋翼无人机在各种干扰环境下都能实现快速精准识别。

附图说明

图1为本发明实施例公开的一种无人机高精度自主飞行的硬件结构图；

图2为本发明实施例公开的一种基于二维码地标识别的无人机视觉辅助定位与飞控系统的结构示意图；

图3为本发明实施例公开的一种基于二维码地标识别的无人机视觉辅助定位与飞控系统各模块的信息交互图；

图4为本发明实施例公开的一种基于二维码地标识别的无人机视觉辅助定位与飞控方法的流程示意图；

图5为本发明实施例公开的一种无人机高精度自主飞行的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1所示为本发明实施例公开的一种无人机高精度自主飞行的硬件结构图，在图1所示的硬件结构图中，图1左上部分为导航传感器集合，可以包括加速度计、陀螺仪、超声波传感器、气压计、磁力计以及GPS模块等，其中各传感器可以通过IIC和SPI接口与图1左下部分的飞行控制主板通讯，图1右下部分为无人机上的摄像头，可以通过USB2.0接口与图1右上部分的视觉处理主板通讯，视觉处理主板可以通过TTL串口与飞行控制主板通讯。

其中，飞行控制主板可以采用STM32F407嵌入式处理器，运行主频为168Mhz。导航传感器具体可以包括：MPU6050陀螺仪和加速度计，MS5611高精度气压计，M8NGPS接收机，US100超声波测距仪。视觉处理主板可以采用S5P4418高性能处理器，运行主频为1.4Ghz，具有1GB DDR3运行内存。摄像头可以为KS2A17，与视觉处理主板通信方式可以为USB2.0，在640×480分辨率下，最大帧率为120fps。视觉处理主板与飞行控制主板可以用TTL串口连接的方式进行数据通信。

图2为本发明实施例公开的一种基于二维码地标识别的无人机视觉辅助定位与飞控系统的结构示意图，图3为本发明实施例公开的一种基于二维码地标识别的无人机视觉辅助定位与飞控系统各模块的信息交互图。如图2和图3所示，本发明所述系统包括无人机本体、传感器模块、跟踪轨迹生成模块、视觉处理模块、传感器更新模块、飞行控制模块、指令输出模块、视觉辅助控制切换模块以及摄像头。

其中，上述传感器模块用于获取无人机本体的位置信息以及无人机本体的第一运动速度矢量；

上述跟踪轨迹生成模块用于根据预设的任务航点信息生成航线跟踪轨迹，并对上述航线跟踪轨迹进行离散处理得到N个期望航点，N为正整数；

上述视觉处理模块用于根据摄像头获取得到的二维码标志物的图像获取该二维码标志物的位置信息、姿态信息以及编码信息，由上述位置信息、姿态信息以及编码信息得到摄像头相对于二维码标志物的偏离距离矢量以及摄像头相对于二维码标志物的第二运动速度矢量；

其中，摄像头位于无人机本体的底部，并且摄像头的视场方向垂直朝下。

其中，视觉处理模块包括图像灰度化模块、图像二值化模块、二值图处理模块、二维码信息提取模块以及位置姿态获取模块，

上述图像灰度化模块用于将二维码标志物的图像转化为单通道灰度图；

上述图像二值化模块用于根据单通道灰度图设定一个固定阀值，将灰度图转化为二值图；

上述二值图处理模块用于对二值图进行轮廓检测，遍历二值图中所有边个数为4的多边形，并剔除面积小于预设阈值的多边形，然后将剩余的边个数为4的多边形进行正交投影，得到标准的正方形图像；

上述二维码信息提取模块用于按照预设的编码信息规则提取正方形图像中的二进制编码信息和角点信息；

上述位置姿态获取模块用于根据提取的二进制编码信息和角点信息得到摄像头相对于二维码标志物的偏离距离矢量以及摄像头相对于二维码标志物的第二运动速度矢量。

其中，二维码标志物的尺寸为m厘米×m厘米，得到的二维码标志物的角点信息表示在摄像头的图像坐标下的位置信息，由于后续主要是对航点飞行误差进行补偿，因此统一规定二维码标志物的四个角点现实世界坐标分别为(m,m,0)，(m,0,0)，(0,m,0)，(0,0,0)，摄像机成像原理：s·m'＝A·[R|T]·M，其中A为摄像头内参矩阵，可以通过实验标定得到，m＇为摄像头在摄像头坐标系下的位置，M为摄像头在现实世界坐标系下的位置，[R|T]为旋转平移矩阵，也就是摄像头在现实世界坐标系下相对于某一个点的位置和姿态，即可求出摄像头相对于二维码标志物的偏离距离矢量以及摄像头相对于二维码标志物的第二运动速度矢量。

上述传感器更新模块用于利用无人机本体的位置信息、第一运动速度矢量、偏离距离矢量以及第二运动速度矢量通过卡尔曼滤波算法进行多传感器信息融合，得到经卡尔曼滤波算法滤波后的无人机本体的目标位置信息、目标第一运动速度矢量、目标偏离距离矢量以及目标第二运动速度矢量。

其中，可以通过设计卡尔曼滤波器对多传感器信息进行融合，来提高测量精度。卡尔曼滤波器的状态更新公式为：

其中，θ、γ为旋转矩阵R中的俯仰角和横滚角，V是现实世界坐标下的无人机速度矢量，a是现实世界坐标下的无人机加速度矢量，a^b是无人机坐标下的加速度矢量，可以由无人机中的加速度计测量得到，w^b是无人机坐标下的角速度矢量，可以由无人机中的陀螺仪测量得到，Δt为滤波器更新间隔时间。

上述飞行控制模块用于利用目标期望航点的期望位置、目标期望航点的期望速度矢量、目标位置信息、目标第一运动速度矢量、目标偏离距离矢量以及目标第二运动速度矢量通过偏差自适应补偿生成制导指令，将该制导指令发送给指令输出模块，其中，目标期望航点为无人机当前正在前往的航点，制导指令包括横滚角和俯仰角；

其中，高精度飞行的控制目标就是使得无人机的位置收敛到目标期望航点集合的足够小的邻域内。在有视觉辅助的高精度飞行阶段时，由于视觉设备测量的精度优于传统导航设备，此时需要对控制器中的输入量进行补偿：

V_err(t)＝[V^d(t)-w₃·V(t)]-w₄·V_vision(t)

其中，P^d(t)，V^d(t)分别为无人机的期望位置和期望速度输入矢量，P_err(t)，V_err(t)分别为位置外环控制器和速度内环控制器的误差输入向量，P(t)，V(t)分别为传统GPS组合导航系统计算得到的无人机的位置向量和运动速度向量，T(t)，V_vision(t)分别为视觉处理模块计算得到的无人机相对目标二维码标志物的偏离距离向量和运动速度向量，w₁，w₂，w₃，w₄为补偿权重系数，一般可取w₁＝w₂，w₃＝w₄，补偿权重系数可以取固定值，也可以采用自适应的方式确定：

w₂＝1-w₁

在无人机飞行过程中，受到摄像头视场范围限制和实际飞行环境干扰影响，会对无人机的标志物提取信息精准度带来影响，传统无人机控制系统在地面标志物未识别过程和识别成功后的控制中分别采用不同的控制策略，因此，飞行控制模块会在地面标志物识别和未识别两种状态下频繁切换，造成控制不稳定。本发明在地面标志物识别状态和未识别状态采用同一个级联的飞行控制模块，即采用一个飞行控制模块，并提出了一种基于偏差的自适应补偿控制方法，在地面标志物识别状态下对获取到的额外位置和运动速度信息进行补偿。能够实现地面标志物识别状态和未识别状态平滑过渡，提高飞行控制的稳定性，保证无人机在各种环境下都能实现高精准度飞行。

上述指令输出模块用于输出上述制导指令。

图4为本发明实施例公开的一种基于二维码地标识别的无人机视觉辅助定位与飞控方法的流程示意图，其中，图4所示的方法包括以下步骤：

S1：获取无人机的位置信息以及无人机的第一运动速度矢量；

S2：根据预设的任务航点信息生成航线跟踪轨迹，并对所述航线跟踪轨迹进行离散处理得到N个期望航点，N为正整数；

S3：根据摄像头获取到的预先布置的二维码标志物的图像进行精准识别；

其中，步骤S3的实现方式为：根据摄像头获取到的预先布置的二维码标志物的图像获取该二维码标志物的位置信息、姿态信息以及编码信息，由上述位置信息、姿态信息以及编码信息得到摄像头相对于二维码标志物的偏离距离矢量以及摄像头相对于二维码标志物的第二运动速度矢量；

S4：利用识别的二维码标志物的信息、无人机的位置信息以及第一运动速度矢量通过卡尔曼滤波算法进行多传感器信息融合；

其中，步骤S4的具体实现方式为：利用无人机的位置信息、第一运动速度矢量、偏离距离矢量以及第二运动速度矢量通过卡尔曼滤波算法进行多传感器信息融合，得到经卡尔曼滤波算法滤波后的无人机的目标位置信息、目标第一运动速度矢量、目标偏离距离矢量以及目标第二运动速度矢量。

S5：利用卡尔曼滤波后得到的信息生成制导指令，其中制导指令中包括横滚角和俯仰角；

其中，步骤S5的具体实现方式为：利用目标期望航点的期望位置、目标期望航点的期望速度矢量、目标位置信息、目标第一运动速度矢量、目标偏离距离矢量以及目标第二运动速度矢量通过偏差自适应补偿生成制导指令，其中，目标期望航点为无人机当前正在前往的航点，制导指令包括横滚角和俯仰角。

S6：输出上述制导指令。

图5为本发明实施例公开的一种无人机高精度自主飞行的流程示意图。在图5中有三个任务航点，其中任务航点(n)和(n+1)为关键航点，并在地面布设有标志物：二维码1和二维码2。无人机在飞经航点(n-1)时，仅采用传统的GPS组合导航系统。在飞经任务航点(n)和(n+1)时，会对地面标志物的位置、姿态和编码信息进行提取，以辅助传统的GPS组合导航系统。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。