基于强化学习的桥梁检测无人机自主导航与稳定控制方法

摘要

本发明公开了一种基于强化学习的桥梁检测无人机自主导航与稳定控制方法，包括：步骤一、基于牛顿‑欧拉法对检测桥梁的四旋翼无人机进行动力学建模；步骤二、考虑待检桥梁周围环境信息和检测约束条件，提出基于神经网络强化学习实现无人机自主避障飞行；步骤三、采用桥梁建筑信息模型辅助下的双目视觉与IMU组合自主导航；步骤四、系统内环控制采用自抗扰算法进行姿态控制，外环控制采用PID控制进行位置控制，实现桥梁检测无人机在强风干扰下的稳定控制。解决了针对无人机桥梁检测技术存在的桥下定位信号缺失、强风干扰下无法稳定飞行控制的问题。

说明书

技术领域

本发明属于桥梁检测技术领域，具体涉及基于强化学习的桥梁检测无人机自 主导航与稳定控制方法。

背景技术

我国交通基础设施建设飞速发展，桥梁建设以平均每年2万座的速度快速地 增长，截止2018年底，我国已建成大跨度桥梁9万余座，特大跨度桥梁5千余 座，其中主跨超过400米的特大跨度桥梁105座。既有桥梁安全问题成为关系国 民经济、国家安全的核心问题。

当前，我国桥梁检测作业多数仍采用3种传统的技术方式：

(1)桥梁检测车：是当前桥梁检测的主题手段，该类方法借助于桥梁检测车， 登高车或搭设支架，将检测人员送到被观测对象附近，进行抵近检查和 测量，缺点是费时费力，对正常交通干扰较大。

(2)桥底检测通道：与桥梁同期建设，检测工作对交通影响小，但检测范围 有限。同时受年限限制，检测通常在设计年限内发生老化，失去作用。

(3)桥梁综合检测车：主要依靠汽车搭载的检测设备，以超声波、振动等手 段穿透桥面检测桥梁，优点是对交通干扰小，但其检测波穿透能力有限， 准确性难以保证，无法实现对桥梁、桥柱的检测。在检测效率方面。

总之，上述传统桥梁检测方式存在费用高、专业性强等特点，不适合管养部 门作为日常检测技术手段加以应用。此外，采用上述方式的检测人员通常处于数 十米的高空中，受风力、桥梁振动影响大，属高危作业，安全隐患高。

桥梁检测无人机以其机动性强、体积小、效率高、使用成本较低、模块化维 修保养方便、安全风险低等优势，近年来受到桥梁养护业界的广泛关注。具体来 说，相比于传统检测手段，无人机桥梁检测优势如下：

(1)技术层面：无人机挂载测量设备在空中进行工作，机动性能好，可到达 传统设备难以抵达的盲区，弥补常规检查死角与短板；

(2)操作层面：由于无人机的构造比较简单，质量轻、体积小，运输和维护 比较容易，同时无人机可实现快速拆装，操作方便；

(3)经济层面：无人机检测设备相比于传统专业检测设备成本低，，同时其 检测过程中无需封闭交通，不影响现有行车秩序；

(4)安全层面：无人机可替代检测人员进行高空作业，检测人员在安全位置 操控无人机即可，无人身安全隐患。

完整的无人机桥梁检测系统由无人机、数据传输系统、任务载荷系统、地面 站系统、分析处理系统等组成。桥梁检测无人机可挂载各类检测设备，如全球定 位系统模块(GPS)、惯性测量单元(IMU)、距离传感器(TOF)、高清摄像装置 等，数据传输系统用于系统控制信号、检测数据的传输。地面站系统用于实时监 控无人机飞行、分析处理系统负责对采集数据进行分析、诊断和量化病害程度， 对桥梁实施评估。

桥梁检测无人机，弥补了传统桥梁检测存在盲区、费用高、检测人员安全风 险大的弊端，以其良好的机动性、安全性和经济性广受业界关注，但其也存在 技术瓶颈，主要包括：

(1)桥下定位信号缺失：对于桥梁检测无人机，由于桥梁结构的遮挡，特别 是当无人机在大跨度、宽幅桥下检测时，易导致无人机GPS设备在检 测中通信失联，无法收到信号，导致系统瘫痪；再者，桥梁多采用钢筋 混凝土结构或钢结构，结构内钢筋网产生的强磁场严重影响无人机磁罗 盘性能，也会导致系统的准确性及鲁棒性降低；

(2)复杂环境下的多源干扰：无人机桥梁检测远距离飞行中，存在着对于同 时来源于外部环境、传感器噪声和模型误差的多源干扰。长距离桥检过 程中，发动机的不对称高频振动，穿越冷/暖气团、强阵风、小尺度湍 流等多类干扰源同时作用，将影响无人机导航与控制系统的精度。

非结构化环境下的自主导航与控制：在复杂环境下，特别是桥梁附近的强风 场对无人机桥梁检测易产生较大的干扰，不但降低了无人机的检测效率，也增加 了无人机碰壁风险。同时，大跨度复杂桥梁结构形式，特别是钢桁架等空间结构， 对桥梁检测无人机的避障能力提出了更高的要求。

发明内容

本发明的目的是提供基于强化学习的桥梁检测无人机自主导航与稳定控制 方法，以解决针对无人机桥梁检测技术存在的桥下定位信号缺失、强风干扰下无 法稳定飞行控制的问题。本发明对四旋翼无人机在桥梁检测中自主导航和飞行控 制方法进行了分析，提出了包含运动规划、导航和控制的闭环系统，无人机桥梁 检测闭环系统模型结构如附图1所示。

本发明采用以下技术方案：基于强化学习的桥梁检测无人机自主导航与稳 定控制方法，包括：

步骤一：基于牛顿-欧拉法对检测桥梁的四旋翼无人机进行动力学建模；

步骤二：考虑待检桥梁周围环境信息和检测约束条件，提出基于神经网络强 化学习实现无人机自主避障飞行；

步骤三：采用桥梁建筑信息模型辅助下的双目视觉与IMU组合自主导航；

步骤四：系统内环控制采用自抗扰算法进行姿态控制，外环控制采用PID控 制进行位置控制，实现桥梁检测无人机在强风干扰下的稳定控制。

进一步的，步骤一的具体方法为：

为确定无人机飞行中的位置，建立机体坐标系E-XYZ，其原点是无人机起飞 时的质心，X轴的正方向是无人机头的航向正方向，Y轴的正方向是无人机水平 向左的方向，Z轴的正方向是无人机垂直向上的方向；

为确定四旋翼无人机的姿态，建立机体坐标系B-X'Y'Z'，其原点是无人机的 质心，X'轴的正方向是机头的方向，Z'轴的正方向是垂直于机体平面向上，Y'轴 的正方向由右手准则确定；

则，四旋翼无人机的动力学模型如下：

其中，m为无人机质量，x,y,z为距四旋翼中心点的平移位置；φ为桥梁检测 无人机的横滚角，其角速度为p；θ为桥梁检测无人机俯仰角；ψ为桥梁检测无人 机偏航角，其角速度为r，n

进一步的，步骤二中基于神经网络强化学习的方法具体为：

步骤1：初始化神经网络和运行中所用到的参数；

步骤2：初始化用于桥梁检测的无人机的状态；

步骤3：获得无人机的当前状态信息s

步骤4：把当前状态信息输入到步骤1的神经网络中，根据获得的Q值选择 动作；

步骤5：执行动作使得无人机达到一个新的状态s

步骤6：训练神经网络；

步骤7：重复步骤3-6直到学习完毕。

进一步的，步骤二中自主避障的方法为：

采用Boltzmann分布实现无人机初始阶段对动作随机选择，某个动作被选择 的概率为：

式中，T为虚拟问题，随着T增加，选择的随机性越强；

随着学习的进行，Q值慢慢趋向于所期望的状态-动作值，根据贪婪策略来选 择动作，即选择最大Q值所对应的动作；

s为强化学习系统接受环境状态的输入，a为系统输出相应的行为动作。

进一步的，步骤三中自主导航算法的具体方法为：

根据桥梁检测无人机系统导航的框架模型，给出建筑信息模型辅助下的无人 机双目视觉导航系统中相机坐标系到世界坐标系的转换，然后确定特征点的三维 坐标，最后确定非线性优化所需要的初速度、陀螺仪的零偏，以及重力方向。

进一步的，步骤四的具体方法为：基于桥梁桥底的实时风场估计，桥检无人 机控制系统内环采用自抗扰算法进行姿态控制，外环采用PID方法进行位置控 制，实现强风场干扰下的快速稳定控制。

本发明的有益效果是：(1)本发明采用BIM模型辅助下的无人机双目视觉 鲁棒SLAM导航方法，可实现无人机卫星定位信号缺失条件下的自主导航与定 位；(2)本发明基于实时风场估计，内环采用自抗扰算法进行姿态控制，外环采 用PID方法进行位置控制，实现了强风场干扰下的快速稳定飞行控制。

附图说明

图1为本发明基于强化学习的桥梁检测无人机自主导航与稳定控制方法的无 人机桥梁检测闭环系统模型结构示意图；

图2为本发明基于强化学习的桥梁检测无人机自主导航与稳定控制方法的桥 检检测桥梁检测无人机坐标系示意图；

图3为本发明基于强化学习的桥梁检测无人机自主导航与稳定控制方法的无 人机桥梁检测双目视觉惯性导航系统结构图；

图4为本发明基于强化学习的桥梁检测无人机自主导航与稳定控制方法的基 于自抗扰控制算法的桥检无人机姿态控制器结构图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明提供了基于强化学习的桥梁检测无人机自主导航与稳定控制方法， 具体包括以下步骤：

步骤一：基于牛顿-欧拉法对桥梁检测无人机进行动力学建模；

步骤二：基于神经网络强化学习的桥梁检测无人机自主避障；

步骤三：设计BIM下的双目视觉与IMU组合自主导航算法；

步骤四：设计桥梁检测无人机强风场干扰下的稳定控制方案。

在一些实施例中，步骤一中需对检测桥梁检测无人机进行动力学模型:

考虑到桥梁检测无人机是非线性、强耦合、欠驱动的系统，同时无人机在桥 梁检测过程中存在复杂的外界干扰，为建立较为实用的数学模型，同时便于控制 算法设计，本发明做以下假设：

(1)将机体结构和旋翼都视为刚体，忽略机体的弹性形变及振动；

(2)四个电机及螺旋桨均对称安装，且除正反极性外其他参数均相同；

(3)机体的质量分布均匀且质心与外形中心重合。

无人机在桥梁检测过程中主要受力：桥梁检测无人机本体的重力、旋翼产生 的升力、空气阻力等。主要的力矩：旋翼的升力产生的空气动力矩、旋转产生的 反扭力、空气阻力以及摩擦力产生的阻力矩等。

下面，建立机体坐标系和地面坐标系，其中：

为确定无人机飞行中的位置，建立机体坐标系E-XYZ，其原点是无人机起飞 时的质心，X轴的正方向是无人机头的航向正方向，Y轴的正方向是无人机水平 向左的方向，Z轴的正方向是无人机垂直向上的方向。

为确定无人机的姿态，建立机体坐标系B-X'Y'Z'，其原点是无人机的质心，X' 轴的正方向是机头的方向，Z'轴的正方向是垂直于机体平面向上，Y'轴的正方向 由右手准则确定。

如附图2所示。附图2中，φ为桥梁检测无人机绕O-X'轴转动的横滚角，其 角速度为p；θ为桥梁检测无人机绕O-Y'轴转动的俯仰角；ψ为桥梁检测无人机绕 O-Z'轴转动的偏航角，其角速度为r。则机体坐标系到惯性坐标系的转换矩阵为：

旋翼产生的升力与其转速平方成正比，空气阻力与转速的平方成正比具体关 系如下所示：

考虑桥梁检测无人机重力、四旋翼的升力和空气阻力，通过牛顿-欧拉方程 可得：

其中X＝[x,y,z]

其中n

将桥梁检测无人机看作一个刚体来看，由刚体力学可知，四旋翼受到的外力 通过四旋翼的角速度和其对轴的转动惯量的乘积来得到。设转动惯量为：

其中，I

记H为角动量，Ω＝[p q r]

由上式可得总力矩为

进行转换后可得出：

又由四旋翼的转动角速度Ω＝[p q r]

进而求得

其中，

桥梁检测无人机由横滚通道、俯仰通道和偏航通道单个姿态，横滚通道对应 的力矩为M

式中：l为桥梁检测无人机的质心到中心点的距离。

整合以上公式，可得桥梁检测无人机姿态运动方程为：

综上，可得桥梁检测无人机的动力学模型如下：

在一些实施例中，步骤二中，为基于神经网络强化学习的桥梁检测无人机自 主避障的具体内容如下：

桥梁检测无人机的在检测过程需要考虑大量的现实情况和约束条件，主要包 括：

(1)环境信息：包括桥址地形信息、桥梁风场信息及其他可能发生的突发情 况；

(2)约束条件：包括桥检检测无人机最长续航时间、飞行速度、与桥墩、拉 索等障碍物的安全距离、实时风场、桥梁裂纹拍照距离等。

本发明综合考虑待检桥梁周围环境信息和检测约束条件，提出基于神经网络 强化学习的激光雷达感知与决策方法。该方法以一种通用的形式将卷积神经网络 的感知能力与强化学习的决策能力结合在一起，通过端对端的学习方式实现从桥 梁周围环境的感知输入到桥检无人机飞行动作的直接输出控制，其中最优决策策 略是通过最大化桥梁检测无人机与动力学模型交互的累计回报中学习获得。

2.1、强化Q学习:

强化学习系统接受环境状态的输入为s，根据内部的推理机制，系统输出相 应的行为动作为a。环境在系统动作作用a下，变迁到新的状态s'。系统接受环 境新状态的输入，同时得到环境对于系统的顺时奖惩反馈r。对于强化学习系统 来讲，其目标是学习一个行为策略τ:s→a，使系统选择的动作能够获得环境奖赏 的累计值最大。在学习过程中，强化学习技术的基本原理是：如果系统某个动作 导致环境正的奖赏，那么系统以后产生这个动作的趋势便会加强，反之系统产 生这个动作的趋势便减弱。这与生物的条件反射机理相似。

Q学习是一类被广泛应用的强化学习，其利用一个函数，表达式如下：

Q(s

式中a

在时刻t无人机根据当前所处的状态选择一个动作a，然后根据以下的表达式 更新Q值

b为在t+1状态所选择的动作。

2.2、基于神经网络的强化学习的桥检无人机避障:

本发明采用基于神经网络强化学习实现桥检无人机避障。基于神经网络强化 学习的具体执行步骤如下：

步骤1：初始化神经网络和运行中所用到的参数；

步骤2：初始化桥梁检测无人机的状态；

步骤3：获得无人机的当前状态信息s

步骤4：把状态信息输入到神经网络中，根据获得Q值选择动作；

步骤5：执行动作使得桥检无人机达到一个新的状态s

步骤6：训练神经网络；

步骤7：重复步骤3-6直到学习完毕。

2.3行为选择策略:

本发明采用Boltzmann分布实现桥检无人机初始阶段对动作随机选择，某个 动作被选择的概率为：

式中T为虚拟问题，随着T增加，选择的随机性越强。

随着学习的进行，Q值慢慢趋向于所期望的状态-动作值，这时根据贪婪策略 来选择动作，即选择最大Q值所对应的动作，

在一些实施例中个，步骤三中，设计BIM辅助下的双目视觉与IMU组合自 主导航算法，具体内容如下：

针对无人机桥梁检测卫星定位信号缺失条件下的导航定位问题，本发明提出 BIM辅助下的桥梁检测无人机双目视觉鲁棒SLAM导航。采用IMU与双目视觉 组合导航，实现桥梁检测无人机的自主导航。提出的导航框架如附图3所示。

下面，本发明根据系统导航的框架模型，给出BIM辅助下的双目视觉导航 系统中相机坐标系到世界坐标系的转换；确定特征点的三维坐标，最后确定非线 性优化所需要的初始初速、陀螺仪的零偏，以及重力方向。

3.1、IMU测量模型:

IMU一般是由三轴陀螺仪和三轴加速度计组成，在不考虑地球自转的前提 下，IMU的模型如下：

式中，上标B代表IMU的输出是在载体体系的数据；

3.2、双目视觉与惯性的组合导航:

本发明采用松耦合方法对视觉与惯导进行融合，即把两个系统都视为独立 的，求取出相机位姿后再与IMU测量值采取融合策略。它的核心状态是：

其中，下标iw表示世界坐标系到IMU坐标系的转换，

根据上式，把状态误差向量表示为：

其中，

融合后系统状态为IMU和视觉里程计状态集合，表示为：

相机姿态测量模型为：

式中，

将其线性化后得：

然后通过EKF得到更新方程：

上式下标k+m/k意思是时间点k是对于k+m的预测，和

上式对应的协方差矩阵为：

式中

式中R

系统最优估计方程以及协方差矩阵的更新方程为：

至此，已经可获得融合后状态估计值。

在一些实施例中，步骤四中，设计桥检桥梁检测无人机强风场干扰下的稳定 控制方案，具体内容如下：

下面，本发明根据桥检无人机的动力学模型及导航方案，设计姿态控制器和 位置控制器，内环控制采用自抗扰算法进行姿态控制，外环控制采用PID控制进 行位置控制，以提高桥检无人机的抗干扰能力和鲁棒性。

4.1、基于自抗扰控制的桥检无人机内环姿态控制器设计:

自抗扰算法由跟踪微分器、扩张状态观测器和非线性误差反馈控制器组成。

桥检无人机有6个自由度，基于自抗扰控制的姿态控制包括俯仰、滚转和偏 航3个通道。如附图4所示，将自抗扰控制器运用到这3个通道，其中ADRC1、 ADRC2、ADRC3分别构成俯仰、滚转和偏航回路。其中

4.2、桥检无人机外环位置PID控制器设计：

将姿态控制器采用自抗扰算法设计完之后，再来对位置控制器进行设计。为 减轻微型处理器的计算负荷，采用PID控制来设计外环的位置控制器。

在位置控制时，采用PID控制可以使四旋翼快速达到期望的位置，不仅可以 实现大误差时快速调整其跟踪目标位置，还可以在小误差时使得四旋翼可以很好 的稳定飞行。在惯性坐标系位置控制器设计中，应该包括X轴，Y轴和Z轴三个 方向的平移。

由上式可知，高度回路(Z轴)与侧向控制回路是独立的，所以在高度回路 中，四旋翼的总升力既可以控制，而侧向回路需要不同的旋翼升力来进行控制。 需要根据位置飞行期望去确定期望的滚转角控制量θ

其中p

式中，a

通过以上公式的推导，可以得到期望线加速控制量，从而将桥检无人机的姿 态的期望值求出。可以推导出期望的滚转角控制量θ

至此，整个控制器设计完毕。

为使桥梁检测无人机能够在桥梁检测时能够安全可靠地自主飞行同时对未 知区域进行主动搜索桥梁表面损伤区域。无人机的自主飞行依赖于高精度的飞行 控制方法，稳定的飞行状态估计、稳定可靠的地图建立方法、准确的运动策略和 运动规划等技术。本发明对桥梁检测无人机在桥梁检测中自主导航和飞行控制方 法进行了分析，提出了包含运动规划、导航和控制的闭环系统。

考虑全向机动性操作与悬停拍摄需求，采用大型旋翼无人机作为飞行平台； 使用基于BIM(建筑信息模型)模型和合作标识辅助的双目视觉同时定位与地图 构建(SLAM)方案解决无人机在卫星信号缺失下的导航问题；在基于实时风场 估计的自抗扰控制和基于神经网络强化学习的自主机动决策基础上，实现桥梁检 测无人机自主导航与稳定飞行控制。