一种动态战场环境实时路径规划系统及方法

摘要

本发明公开了一种动态战场环境实时路径规划系统及方法，地图重建模块、视觉感知模块、智能决策模块以及UI交互模块；其中，所述UI交互模块实现对不同模块间参数的相互调用和信息连接；所述地图重建模块以无人机拍摄的影像作为输入生成实时数字地表模型；视觉感知模块用以提取无人机拍摄的影像中存在的地理实体，将实时数字地表模型生成栅格地图，并在栅格地图上设置障碍物标志；智能决策模块结合DSAS算法实现从环境的始发地出发，寻找一条能够绕过障碍物的最优路径以到达终点，实现实时路径规划。本发明能够为无人装备在动态战场环境下提供高实时性的指挥控制信息，从而提高无人装备的自主化能力。

说明书

技术领域

本发明涉及路径领域，尤其涉及一种动态战场环境实时路径规划系统及方法。

背景技术

信息在日常生活中起到越来越重要的作用，能够显著的提高工作的效率和质量，作为无人装备的智能控制系统，通过灵活的无人飞行平台能够极大的提高系统的灵活性。近年随着电子、计算机技术的飞速发展，低成本无人机已日趋成熟，高速影像处理也渐渐应用到各种任务中，通过低成本无人机来实现高效的智能控制将成为一种灵活、高效的手段。但是传统的无人机地图软件系统并无实时地图构建功能，和自主能力，且处理速度慢，因此需要一种实时地图构建功能力，处理速度快的实时路径规划系统。

发明内容

本发明为了解决以上问题，提供了一种动态战场环境实时路径规划系统及方法能够为无人装备在动态战场环境下提供高实时性的指挥控制信息，从而提高无人装备的自主化能力。

为实现上述目的，本发明所采用的技术方案如下：

一种动态战场环境实时路径规划系统，包括：地图重建模块、视觉感知模块、智能决策模块以及UI交互模块；

其中，所述UI交互模块实现对不同模块间参数的相互调用和信息连接；

所述地图重建模块以无人机拍摄的影像作为输入生成实时数字地表模型；

视觉感知模块用以提取无人机拍摄的影像中存在的地理实体，将实时数字地表模型生成栅格地图，并在栅格地图上设置障碍物标志；

智能决策模块结合DSAS算法实现从环境的始发地出发，寻找一条能够绕过障碍物的最优路径以到达终点，实现实时路径规划。

可选的，所述地图重建模块包括：视觉SLAM以无人机在线拍摄的航拍影像为输入，实时为每一帧影像生成3D点云，3D点云结合影像的纹理信息实时生成局部DSM，并将局部DSM融合到全局DSM生成实时数字地表模型。

可选的，所述视觉SLAM系统包括特征提取、跟踪、建图以及回环；

所述特征提取用于提取航拍影像中的特征点并计算描述子；

所述跟踪通过计算当前帧与前一帧的特征点描述子之间的距离以完成特征匹配，再通过特征匹配恢复出当前帧相对与上一帧的位姿变化；

所述建图在当前帧与前几帧中寻找更多的特征匹配，并通过三角测量恢复出更多的3D点，将当前帧与有共同观测的关联帧以及共同观测的地图点做局部的BA优化来获取更为精确的相机位姿和3D地图点坐标；

所述回环用来检测相机是否回到之前去过的地方，并根据检测到的回环添加新的约束来修正相应的相机位姿与3D地图点坐标。

可选的，以无人机拍摄的影像作为输入生成实时数字地表模型，使用目标检测算法提取影像中存在的地理实体，利用预先训练的AlexNet卷积神经网络提取地理实体的深度层级特征，并对每个地理实体的特征向量进行降维处理生成栅格地图，根据地物类型将栅格地图中对应的位置设置障碍物标志，结合DSAS算法实现从环境的始发地出发，寻找一条能够绕过障碍物的最优路径以到达终点，实现实时路径规划。

可选的，所述以无人机拍摄的影像作为输入生成实时数字地表模型包括使用视觉SLAM以无人机在线拍摄的航拍影像为输入，实时为每一帧航拍影像生成3D点云，采用迭代过滤去除3D点云的噪点，在过滤噪点后的3D点云的特征点上执行德劳内三角分割生成2D网格，并将生成的2D网格投影到过滤噪点后的3D点云中生成3D网格，3D网格融入航拍影像的纹理信息生成局部DSM，将局部DSM分割成瓦片，并通过多频带算法融合到全局DSM以生成实时数字地表模型。

可选的，所述使用目标检测算法提取影像中存在的地理实体包括将输入的影像分成S*S个格子，每个格子负责检测落入自己的区域的所有物体，其中每个格子预测5个值，分别预测得到的物体的预测框的中心位置的坐标(x，y)，物体的宽度和高度(w,h)以及物体属于某一类别的置信度，若这个预测框中包含有检测对象，那么Pr为1，反之，Pr为0，在预测阶段，类别的概率为类别条件概率和预测的置信度乘积：

可选的，所述地理实体包括相对静止的地理实体。

在所述DSAS算法中，除表示是其空间位置的坐标信息外，还包含指向其父节点和所有子节点的指针，当探测到当前航迹前方存在新的障碍时，DSAS算法将威胁覆盖区域的航迹节点及其所有后代节点删除，将其父节点重新插入OPEN表，然后DSAS算法计算新扩展节点的代价值，继续其搜索过程，直到获得无人机新的最优航迹

本发明与现有技术相比，所取得的技术进步在于：

和传统的计算机视觉方法相比，本发明具有快速、实时处理能力，能够每秒处理30帧以上的影像，地图数据能够达到千万上的点云，能够为无人装备在动态战场环境下提供高实时性的指挥控制信息，从而提高无人装备的自主化能力。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1为本发明的结构框图。

图2为SIFT关键点的描述子示意图。

图3为BundleAdjustment中的矩阵示意图。

图4为本发明的流程图。

图5为YOLO模型的具体网络结构图。

图6为YOLO模型的具体网络流程图。

具体实施方式

下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

如图1所示，本发明公开了一种动态战场环境实时路径规划系统，包括。

地图重建模块、视觉感知模块、智能决策模块以及UI交互模块；

其中，本发明的每个模块都是解耦的，并通过UI交互模块实现对不同模块间参数的相互调用和信息连接。UI界面模块为与用户交互的部分，包括新建项目、加载项目、目标检测以及训练模型几个功能，新建项目中，用户可以确定项目的名称和项目的位置、图片序列、标签类别以及使用的检测算法。加载项目为加载用户之前创建的项目。目标检测完成对构建图像的结果。训练模型为使用校正后的标签重新对模型进行训练。在界面中右击显示路径规划列表，UI界面支持用户对不正确的预测结果进行修改，利用修正后的标签数据自动对模型的参数权重进行重新更新，使得模型的精度在使用的过程中不断提高，模块化的设计使得系统的每个模块都可以独立调用和测试，并方便不断添加新的模块。

地图重建模块以无人机拍摄的影像作为输入生成实时数字地表模型；

视觉感知模块用以提取无人机拍摄的影像中存在的地理实体，将实时数字地表模型生成栅格地图，并在栅格地图上设置障碍物标志；

智能决策模块结合DSAS算法实现从环境的始发地出发，寻找一条能够绕过障碍物的最优路径以到达终点，实现实时路径规划。

具体的，地图重建模块包括：视觉SLAM以无人机在线拍摄的航拍影像为输入，实时为每一帧影像生成3D点云，3D点云结合影像的纹理信息实时生成局部DSM，并将局部DSM融合到全局DSM生成实时数字地表模型。

其中，视觉SLAM系统包括：特征提取、跟踪、建图以及回环；

特征提取用于提取航拍影像中的特征点并计算描述子；

跟踪通过计算当前帧与前一帧的特征点描述子之间的距离以完成特征匹配，再通过特征匹配恢复出当前帧相对与上一帧的位姿变化；

建图在当前帧与前几帧中寻找更多的特征匹配，并通过三角测量恢复出更多的3D点，将当前帧与有共同观测的关联帧以及共同观测的地图点做局部的BA优化来获取更为精确的相机位姿和3D地图点坐标；

回环用来检测相机是否回到之前去过的地方，并根据检测到的回环添加新的约束来修正相应的相机位姿与3D地图点坐标。

具体的，无人机搭载相机以30frames/s的速度采集航拍影像并实时地传输到地面站。要想从这些航拍影像中恢复出相机的位姿与环境的3D结构，先要提取影像中的特征点，这些特征点即为环境中的路标点在影像中的成像，从图片的角度讲，特征点就是影像当中具有代表性的部分。

在检测出特征点后，要通过特征点匹配来判断在两帧中的两个特征点是否是统一路标点所成的像，因此，单纯的检测到特征点的位置信息是不够的，还要提取其他的信息以供特征点之间的匹配。特征点一般由两部分组成：关键点(Key-point)，包含位置、大小、方向、评分等信息；描述子(Descriptor)，关键点周围的像素信息。

为了保持旋转不变性，在计算特征点描述子的时候，要加上关键点的方向信息，特征点的检测实际上就是关键点的检测，常见的检测方法有Harris关键点、FAST关键点、SIFT关键点、SURF关键点。FAST关键点算法很简单，以像素p为圆心半径为3的圆上的16个像素中如果有连续的N个像素大于或小于p像素值的一定阈值，则该点为关键点，N通常取为12或者9。FAST关键点没有方向，ORB特征中对FAST算法进行了改进，分别构建了图像金字塔来实现尺度不变和灰度质心法获取角度信息。本实施例中使用SURF(SpeedUpRobustFeature)关键点检测法，由于SIFT关键点检测中的DoG金字塔的构建与极值的搜索比较耗时，SURF改进了SIFT的极值检测方法，利用海森矩阵行列式的局部最大值定位极值点位置，极大加速了关键点的检测速度。

本实施例描述子的检测方法使用SIFT特征描述子，SIFT特征描述子的选取是以特征点为中心，如图2所示，在附近邻域内将坐标轴旋转特征点的主方向的角度，以关键点为中心取8×8的窗口，每4×4的像素作为一个窗口，求取每个像素的梯度幅值与梯度方向，箭头方向代表该像素的梯度方向，长度代表梯度幅值，然后利用高斯窗口对其进行加权运算，最后在每个4×4的小块上绘制8个方向的梯度直方图，计算每个梯度方向的累加值，形成有8个方向的向量信息，最终描述子以4×4×8的浮点型向量组成。

SIFT特征具有尺度、旋转、亮度等不变性，是一种极其稳定的特征点，但是其计算速度相较于SURF慢很多，使用SIFT特征是无法保证系统实时性的，但是在GPU的加速下，SIFT是完全能够达到实时速度的。

特征匹配用于匹配同一路标在不同影像上的特征点。特征点的匹配是通过计算不同特征点描述子的距离来得到的，计算第一帧影像上某一特征点在第二帧影像上匹配的特征点，最简单的方法就是计算第二帧影像上所有的特征点与该特征点的距离，距离最小的特征点即为匹配的特征点。SIFT特征点描述子为128维浮点型向量，通过计算两个特征点描述子之间距离即为二者之间的向量距离。当特征点较多时，逐一计算距离速度较慢，无法达到实时匹配。为了达到实时的匹配速度，可先根据运动模型来预测相机运动来获取初始相机位姿变化，根据初始的位姿变化来极线搜索以加速匹配特征点。此外还可以采用词袋(BOW)或者快速最邻近算法(FLANN)算法来加速匹配。地图初始化在没有地图已知地图点云时，利用前两帧生成地图点云。可以利用两帧之间匹配的特征点来计算基础矩阵和单应矩阵，进一步分解二者可以计算出两帧间的位姿变换。由于有噪声和误匹配的存在，所以在计算基础矩阵和单应矩阵时，采用RANSAC(RandomSampleConsensus)算法，并同时计算单应矩阵和基础矩阵，挑选投影误差小的矩阵来分解位姿。为了保证初始化地图的质量，两帧之间的要有一定的距离与旋转角度。且当两帧之间的匹配的内点较少时，判定初始化失败，并重新选择用来初始化的两帧。根据初始化两帧之间的GPS坐标转换到地固地心直角坐标系(EarthCenteredEarthFixed)来计算两帧之间的距离，并以此作为地图的初始尺度。

地图初始化是利用2D-2D对极几何来恢复3D地图点，有了地图点以后便可以通过前面介绍的求解3D-2D的PnP的问题来恢复相机位姿与3D地图点。尽管PnP等算法可以求解出相机位姿并利用三角测量获取特征点的深度，但是由于噪声存在，当前所求出的位姿与深度信息均为粗略值。要想获得更为精确的位姿与深度值，可以将当前的位姿与深度值作为初始值，利用非线性优化方法进一步获取精确位姿与深度。

已知针孔相机的成像的数学表达式为：

其中Pi[Xi,Yi,Zi]为第个地图点的三维坐标，pi＝[ui,vi]为第i个地图点在当前帧的投影的像素坐标，si为第pi对应的深度值，K为当前帧的相机内参，T当前帧的位姿。T可以写成李代数的形式：

在实际中由于噪声的存在，Pi的真实投影后的像素坐标ui与理论值pi之间存在着一个误差ei。这里把带有噪声的真实像素坐标记为观测值。当误差满足高斯分布时：

便可以构建最小二乘问题，即：

记ei关于ξ的导数为雅克比J(ξ)。非线性优化中梯度下降法最重要的就是J(ξ)的推导。这里首先将世界坐标系下转换到相机坐标系下为：

C

相机模型可以表示为：

这里的[u′，v′]T即为像素坐标预测值的具体值。由si＝Z′消去si可以得到：

在式误差项的公式中，将Ci作为中间变量，利用链式求导法则可以得出：

其中：

Ci关于ξ的偏导，相当于对李代数求导，可以构建扰动模型来完成。对ξ^左乘扰动量δξ，然后求TPi的增量对扰动项δξ的导数:

重新整理误差项关于ξ的偏导可以得出：

这里的雅克比矩阵前面的负号是由于推导过程中的误差是由观测值减预测值定义的。当然如果误差定义为预测值减观测值，前面的负号便可以省略。对式中Σ-1进行cholesky分解，即：

∑

将上式带入可得：

于是最小二乘法的公式便可以写成：

当进行迭代优化时，这里为了简单起见以高斯最优算法为例。有前面的理论介绍可知高斯的思想是将f(x)进行一阶泰勒展开。针对误差项进行泰勒展开：

其中J(ξ)为e(ξ)关于ξ的导数(雅克比)，可以化为：

对单一的二范数进行展开得：

求上式关于ξ的导数等于零可得：

即可得到增量方程：

由增量方程便可求解增量δξ，从而实现迭代优化。再利用高斯牛顿法或者列文伯格—马夸尔特方法时，损失函数为L(ui-1/siexp(ξ)Pi)，雅克比为LJ(ξ)。

关键帧是在局部的普通帧中选择出的的一帧作为局部帧的代表。试想当相机原地不动，则会拍到相同的影像。如果将所有的影像都作为后端优化的对象，无疑会增加了不必要的计算。因此，关键帧的主要作用就是面向后端优化算力和精度的折中。关键帧的提取一般考虑以下几个方面：

时间上距离上一关键帧的帧数是否足够多；

空间上距离上一关键帧的距离是否足够远；

观测质量上要保持与上一关键帧的共同观测点控制在一定的范围。太多共同观测说明重叠率较高，太少会降低跟踪精度。

在本实施例中，除了考虑到上述3点外，还针对航拍影像在旋转方面做了特别的要求。主要由于无人机(相机)偏航角发生变化呢(绕着z轴)旋转时，所拍到的航拍影像变化不大。所以，当无人机(相机)的俯仰角和偏转角超过一定的角度便添加为关键帧，当仅有偏航角发生变化时不予以添加关键帧。

如果当前帧在跟踪上一关键帧时，由于检测的特征点少、匹配的特征点少或者计算出的位姿偏差较大等原因都会出现跟丢现象。为了提高整个系统的冗余性，跟丢后的重定位是至关重要的。在本文的系统中，当GPS可用时，利用GPS找到距离当前帧较近的几帧作为候选帧。然后从候选帧中找寻特征匹配较好的关键帧，重新求解PnP来跟踪计算位姿。当GPS不可用时，则利用词袋(BagofWords，简称BOW)来寻找候选帧，并同样从候选帧中寻特征匹配较好的关键帧进行跟踪。

词袋最早被用来做文本分类，将文本表示特征矢量。后来词袋被用在计算机视觉中做影像分类和影像检索等。以SIFT特征为例，首先提取出影像中提取出大量的SIFT特征，然后通过Kmeans等聚类方法，根据特征128浮点型描述子的距离将这些特征进行逐层分类，最底层的类就作为字典中的单词。对每个影像统计字典中单词出现的频率作为向量输出，就完成了影像到向量的转换。通过比较不同影像之间的向量距离，便可以近似计算出影像间的相似度。与当前帧向量距离小的几帧便可以作为重定位的候选帧。

在地图初始化过程中，先利用两帧对极约束求得位姿，再通过三角测量生成初始地图点云。在跟踪过程中，新一帧(当前帧)的位姿可以不断地通过匹配的当前帧的特征点与地图点云求解PnP并优化得到的。然而，随着相机远离初始化地图点云所在区域，新帧的特征点与地图点云匹配就会越来越少，最终导致无法求解PnP而跟丢。因此，为保证系统的持续性，就要在计算当前帧之后不断地添加新的地图点。由于地图点创建和关键帧的添加条件较为宽松，因此后面会通过一个非常严格的筛选机制以删除冗余的关键帧与不易跟踪的地图点。

当前帧的所有特征点中一部分在跟踪过程中，用来匹配上一关键帧的特征点，进而利用上一关键帧的特征点对应的地图点与当前帧的特征点求解PnP。所以与上一关键帧匹配的特征点已有对应的地图点，新的地图点要从这些没有与地图点匹配的特征点中生成。没有匹配地图点的特征点在与当前帧有共视关系的关键帧(除去跟踪过程中利用的上一关键帧)匹配特征点。利用式极线约束方程计算特征点在匹配的关键帧上的极线，通过计算匹配的特征点是否在极线附近来判断匹配的正确与否。如果匹配的特征点离极线的距离超出一定的阈值，则认定为误匹配并在其它的关键帧中重新匹配。由于这里需要将当前帧与多个共视关键帧进行特征匹配，因计算量大会导致匹配时间较长。为了加速匹配，利用前面介绍的词袋，仅在共视关键帧中具有相同单词标签的特征中进行匹配。得到了匹配的特征点后，利用三角测量便可以计算出新的地图点。

由于地图点与关键帧的添加条件较为宽松，删除冗余的关键帧与置信度低的地图点可减少优化的计算量。关键帧的删除判断条件：该关键帧有90％的所观测到的地图点被其它三个以上的关键帧同时观测到。地图点的删除条件：同时观测到该地图点的关键帧少于三个。

到目前为止，无论是当前帧的位姿还是新的地图点的坐标估计，都只考虑到了一对一的约束。当前帧的位姿估计是通过投影地图点到当前帧来求解PnP与优化投影误差计算求得。新的地图点是利用当前帧与共视帧间匹配的特征点三角测量求得。实际上，在经过地图更新后，任何一个地图点都可以被多帧共同观测到。因此，可以将所有地图点投影到观测到它们的关键帧上的投影误差进行联合优化。优化过程类似BA，构建最小二乘相较于式2-100添加了多帧的投影:

其中χij表示第i个地图点在j个相机中是否可见。如果可见其值为1，否则为0。θ＝(ξ1,...ξM,P1,...PN)为待优化变量，θ∈R9M+3N。

列文伯格—马夸尔特优化方法的增量方程如下：

[J(θ)

雅克比矩阵J(θ)为一个稀疏矩阵，如图3(a)，图中只展示了4个地图点被3个关键帧同时观测到时的雅克比矩阵。可以分解为两部分：

J(θ)＝[J

JC中每个小块为投影误差相对每个关键帧位姿的导数，由式2-98求得为2×6的矩阵。JP中每个小块为投影误差相对于每个地图点的导数，为2×3的矩阵，其计算公式可以通过链式法则并则并带入上式计算求得：

其中

由此，式优化方程可以化为：

上式左右同乘Schur补，实现边缘化：

上式方程组中第一个式子为线性方程，可以直接求解出所有相机位姿增量δC。将δC带入方程组第二个式子，便可以求解出所有地图点增量δP。得到了每一步的优化变量的增量便可以不断迭代估计出较为精确的相机位姿与地图点坐标。在建图部分为了避免过大的计算量，所以仅做局部的优化，也即只优化当前帧和有共视关系的关键帧的位姿及它们所观测到地图点的坐标。此外，局部优化中还融合了GPS信息作为约束项，以获取更为精确的相机位姿。在优化方法添加GPS的约束得到代价函数，优化此代价函数便能得到更为精确的相机位姿与点云坐标。

所有地图点与关键帧的优化(全局优化)在检测并纠正回环2.5后和每隔一定的帧数，开独立的线程进行。

在跟踪过程中，相机的位姿的估计是一个逐步递推的过程，即跟踪上一关键帧的位姿了来解算当前帧的位姿。实际上，每一帧位姿求解都有误差的存在，随着跟踪的不断进行误差也会不断累积。一个有效的消除累积误差的办法是进行回环检测。回环检测是用来判断相机是否回到了之前去过的位置，如果检测到回环便可以将当前帧与回环帧之间的约束加入到后端优化以修正误差。

在实际执行回环检测时，最直接的办法就是将以前的所有的关键帧与当前帧做匹配，匹配足最好的关键帧便可以作为回环帧。但这种做法随着关键帧的不断添加，匹配速度会越来越慢，计算量也会越来越大。为了减少计算量，在GPS可用的时候，我们利用GPS找寻距离当前帧较近的几个关键帧作为候选帧，在将当前帧与几个候选帧做匹配，取匹配最好的帧作为回环帧。当GPS不可用时利用词袋的方法来加速匹配。词袋的方法是在字典树中找寻图片特征点的描述子对应的单词。统计单词的个数组成词袋向量。通过比较影像间的词袋向量的距离便可以估计出两张图片之间的相似度。计算当前帧与所有关键帧的词袋向量的距离，找寻距离最小的几帧作为候选帧，最终可以取匹配最好的候选帧作为回环帧。

现如今大多数的无人机都提供较为精确的GPS信息，因此利用GPS来检测回环的方法是十分合适的。然而，在利用词袋的方法中，当环境本身各个场景较为相似时，就很容易检测出错误回环导致优化出毁灭性的结果。因此，就要求设计一个较为苛刻的回环候选帧选取策略：1)每10帧做一次回环检测以防止冗余计算；2)计算出当前帧与所有相连关键帧的词袋向量的最大距离Dm，候选帧与当前帧的词袋向量距离要小于Dm；3)连续3帧持续检测到候选帧则认为检测到回环。利用第3帧与回环候选帧进行匹配，找寻匹配最好的关键帧作为回环帧。将当前帧与回环帧的匹配约束关系带到全局优化中以修正累积的误差。

视觉感知模块和智能决策模块结合使用目标检测算法提取影像中存在的地理实体，利用预先训练的AlexNet卷积神经网络提取地理实体的深度层级特征，并对每个地理实体的特征向量进行降维处理，将实时数字地表模型生成栅格地图，根据地物类型将栅格地图中对应的位置设置障碍物标志，结合DSAS算法实现从环境的始发地出发，寻找一条能够绕过障碍物的最优路径以到达终点，实现实时路径规划。

本发明还提供了一种动态战场环境实时路径规划方法，包括：

如图4所示，以无人机拍摄的影像作为输入生成实时数字地表模型，使用目标检测算法提取影像中存在的地理实体，利用预先训练的AlexNet卷积神经网络提取地理实体的深度层级特征，并对每个地理实体的特征向量进行降维处理生成栅格地图，根据地物类型将栅格地图中对应的位置设置障碍物标志，结合DSAS算法实现从环境的始发地出发，寻找一条能够绕过障碍物的最优路径以到达终点，实现实时路径规划。

具体的，生成实时数字地表模型后，首先使用目标检测算法提取影像中存在的地理实体，考虑到计算效率的问题本实施例采用基于Yolo的实体检测方法，但是对检测实体的范围进行了约束，仅对相对静止的地理实体进行检测，如房屋、桥梁等地理实体，对行人、车辆等易变的实体不在检测范围。在地理实体提取后，利用预先训练的AlexNet卷积神经网络提取地理实体的深度层级特征，由于每个地理实体的特征向量维度太高，较大的影响计算效率，因此需要对特征向量进行降维，采用高斯随机映射方法进行降维处理，根据地物的类型将栅格地图中对应的位置设置障碍物标志，从而为后续的路径规划提供数据。

在获得路径规划的栅格地图之后，采用动态稀疏A*搜索(DynamicSparseA*Search,DSAS)算法从环境的始发地出发，寻找一条能够绕过障碍物的最优路径以到达终点，实现实时路径规划。

在DSAS算法中，对航迹的每一个节点，除表示是其空间位置的坐标信息外，还包含指向其父节点和所有子节点的指针，当探测到当前航迹前方存在新的障碍时，DSAS算法将威胁覆盖区域的航迹节点及其所有后代节点删除，将其父节点重新插入OPEN表，然后DSAS算法按上面方法计算新扩展节点的代价值，继续其搜索过程，直到获得飞行器新的最优航迹。

以无人机拍摄的影像作为输入生成实时数字地表模型包括使用视觉SLAM以无人机在线拍摄的航拍影像为输入，实时为每一帧航拍影像生成3D点云，采用迭代过滤去除3D点云的噪点，在过滤噪点后的3D点云的特征点上执行德劳内三角分割生成2D网格，并将生成的2D网格投影到过滤噪点后的3D点云中生成3D网格，3D网格融入航拍影像的纹理信息生成局部DSM，将局部DSM分割成瓦片，并通过多频带算法融合到全局DSM以生成实时数字地表模型。

使用目标检测算法提取影像中存在的地理实体在本实施例中使用YouOnlyLookOnce(YOLO)。区别于双阶段算法，YOLO去除了候选框生成部分(区域建议阶段)，整个过程直接提取特征、候选框回归和分类在一个无分支的模型中完成，其检测速度相较于双阶段的算法有近10倍的提升。

具体做法如图5所示，将输入的图片分成S*S个格子，每个格子负责检测落入自己的区域的所有物体。其中每个格子预测5个值，分别预测得到的物体的预测框的中心位置的坐标(x，y)，物体的宽度和高度(w,h)以及物体属于某一类别的置信度。其中，置信度指该区域含有物体的置信度和这个预测框预测的准确度。若这个预测框中包含有检测对象，那么Pr(object)为1。反之，Pr(object)为0。在预测阶段，类别的概率为类别条件概率和预测的置信度乘积：

网络的具体流程图如图6所示，该网络包括24个卷积层、2个全连接层以及5个池化层。网络的输出是一个7×7×30维的向量：7×7代表将输入划分为7×7的网格；30包含物体种类及两个预测框各自的宽高、位置、置信度信息，由于包含全连接层，输入影像的尺寸不可改变，必须是448×448。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明权利要求保护的范围之内。