一种动态场景下基于目标检测和几何概率的视觉SLAM方法

摘要

本申请提供一种动态场景下基于目标检测和几何概率的视觉SLAM方法，步骤为：1)采集待处理图像，使用目标检测算法将待处理图像划分为静态区域和动态区域；2)使用VSAC算法计算静态区域匹配点的基础矩阵F；3)使用基础矩阵F和对极约束计算动态区域匹配点的几何概率；4)将动态区域连续两帧匹配点的几何概率融合，作为当前帧匹配点的最终几何概率；5)对动态区域未匹配的点进行概率拓展，得到动态区域所有特征点的几何概率，并剔除不满足概率要求的特征点，将剩余的点传入后续跟踪和建图步骤。本申请将目标检测网络与传统的几何方法相结合能够同时满足视觉SLAM的精度和实时性要求，既保证了实时性又提高了定位精度和建图质量。

说明书

技术领域

本发明涉及一种视觉SLAM方法，特别是一种动态场景下基于目标检测和几何概率的视觉SLAM方法。

背景技术

SLAM(Simultaneous Localization and Mapping，即时定位与地图构建)技术是智能机器人应用的核心技术，它可以在未知的环境下同时估计自身位置和构建环境地图。视觉SLAM以相机作为感知传感器，因其成本低、高精度、信息丰富，成为近年来重要的研究课题。

在过去的几十年里，出现了许多优秀的视觉SLAM，如ORB-SALM2、KinectFusion、SVO、DSO；然而，传统的视觉SLAM系统通常在静态环境中工作得很好，但当环境中有动态对象时仅仅使用几何约束的方法剔除动态点，所以效果很差，甚至会失败。随着深度学习技术的发展，我们目前可以通过语义分割或目标检测网络标记动态物体，然后剔除动态物体的全部特征。但是语义分割网络无法在保证实时性的前提下，同时保证精准的语义分割；目标检测网络能满足实时要求，但会导致部分静态物体被剔除而降低定位精度和建图质量。

发明内容

本发明的目的就是提供一种动态场景下基于目标检测和几何概率的视觉SLAM方法，该方法能有效提高动态场景下的SLAM系统的定位精度。

本发明的目的是通过这样的技术方案实现的，具体步骤如下：

1)采集待处理图像，使用目标检测算法将待处理图像划分为静态区域和动态区域；

2)使用VSAC算法计算静态区域匹配点的基础矩阵F；

3)使用基础矩阵F和对极约束计算动态区域匹配点的几何概率；

4)将动态区域连续两帧匹配点的几何概率融合，作为当前帧匹配点的最终几何概率；

5)对动态区域未匹配的点进行概率拓展，得到动态区域所有特征点的几何概率，并剔除不满足概率要求的特征点，将剩余的点传入后续跟踪和建图步骤。

进一步，步骤1)中使用目标检测算法将待处理图像划分为静态区域和动态区域的具体步骤为：

1-1)使用Crowdhuman数据集对Yolov3 tiny目标检测网络进行训练，得到训练好的Yolov3 tiny网络；

1-2)使用训练好的Yolov3 tiny网络将待处理图像分为动态区域和静态区域，并提取待处理图像的特征点。

进一步，步骤2)中使用VSAC算法计算静态区域匹配点基础矩阵F的具体步骤为：

2-1)对静态区域的特征点进行特征匹配，匹配点对数记为N，根据匹配点的质量进行排序，并从高质量匹配点中随机抽样出最小样本集，使用数值法计算其基础矩阵F

2-2)使用自适应SPRT算法判断基础矩阵F

2-3)判断当前基础矩阵的最小样本集中是否满足有Q个点共面的判定条件，若不满足判定条件，则当前基础矩阵不退化，并转至步骤2-4)；

若满足判定条件，则随机在最小样本集外抽取样本，对当前的基础矩阵F

2-4)计算基础矩阵F

2-5)判断当前最优F

所述局部优化的判断条件为：若独立内点个数大于阈值

所述局部优化的过程为：在最优基础矩阵对应的内点中随机选取大于最小样本集个数的点，使用解析法迭代计算出更好的基础矩阵；

2-6)判断算法是否达到循环终止条件，若满足循环终止条件则转至步骤2-7)，若不满足循环终止条件则返回步骤2-1)，所述循环终止的判断条件为：η大于预设阈值

η＝(1-P

其中k为当前迭代次数，P

P

α≈1/A

2-7)对最优F

进一步，步骤2-2)中使用自适应SPRT算法判断基础矩阵F

2-2-1)构建基础矩阵F

式中，

若满足，则转至步骤2-2-2)，若不满足，则转至步骤2-3)；

2-2-2)计算自适应SPRT的参数初始值：坏模型内点概率δ

式中，T为匹配点的总数，前n次迭代中非最优基础矩阵对应的内点个数的平均值

令初始时刻j＝1，在最小样本集外随机抽取一个匹配点，计算基于Wald的SPRT似然比λ

式中，H

若λ

若λ

若λ

进一步，步骤3)中使用基础矩阵F和对极约束计算动态区域匹配点的几何概率的具体步骤为：

使用基础矩阵F计算动态区域内匹配点的极线

式中，p′

将动态区域内匹配点到极线的距离

式中，Dth为静态点和动态点到极线距离的阈值。

进一步，步骤4)中计算当前帧匹配点的最终几何概率的具体步骤为：

根据上一帧点p′

根据上一帧点p′

式中，δ

计算卡尔曼增益k：

式中，δ

根据点p

式中，

更新点p

式中，

进一步，步骤5)中对动态区域未匹配的点进行概率拓展，得到动态区域所有特征点的几何概率，并剔除不满足概率要求特征点的具体步骤为：

搜索动态区域内高置信度特征点周围与前一帧不匹配的相邻特征点p

式中，p

若

若

由于采用了上述技术方案，本发明具有如下的优点：

1、本申请将目标检测网络与传统的几何方法相结合能够同时满足视觉SLAM的精度和实时性要求，既保证了实时性又提高了定位精度和建图质量。

2、本申请使用目标检测算法对图像动态区域和静态区域进行标记，将VSAC算法与对极约束结合，计算动态区域匹配点的几何概率，提高动态场景下的图像特征点匹配精度，提高了定位精度。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。

附图说明

本发明的附图说明如下。

图1为本发明的方法流程图。

图2为本发明使用VSAC算法计算静态区域匹配点的基础矩阵的方法流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例1：

1.一种动态场景下基于目标检测和几何概率的视觉SLAM方法，具体步骤如下：

1)采集待处理图像，使用目标检测算法将待处理图像划分为静态区域和动态区域；具体步骤为：

1-1)使用Crowdhuman数据集对Yolov3 tiny目标检测网络进行训练，得到训练好的Yolov3 tiny网络；

1-2)使用训练好的Yolov3 tiny网络将待处理图像分为动态区域和静态区域，并提取待处理图像的特征点。

2)使用VSAC算法计算静态区域匹配点的基础矩阵F，具体步骤为：

2-1)对静态区域的特征点进行特征匹配，匹配点对数记为N，根据匹配点的质量进行排序，并从高质量匹配点中随机抽样出最小样本集，使用数值法计算其基础矩阵F

在本发明实例中，所述匹配点的质量为特征点到极线的距离大小，第一次的质量为匹配点经过比率测试的结果。

2-2)使用自适应SPRT算法判断基础矩阵F

2-2-1)构建基础矩阵F

式中，

若满足，则转至步骤2-2-2)，若不满足，则转至步骤2-3)；

2-2-2)计算自适应SPRT的参数初始值：坏模型内点概率δ

式中，T为匹配点的总数，前n次迭代中非最优基础矩阵对应的内点个数的平均值

令初始时刻j＝1，在最小样本集外随机抽取一个匹配点，计算基于Wald的SPRT似然比λ

式中，H

若λ

若λ

若λ

在本发明实例中，模型估计时间t

A

其中，初值A

K

2-3)判断当前基础矩阵的最小样本集中是否满足有Q个点共面的判定条件，若不满足判定条件，则当前基础矩阵不退化，并转至步骤2-4)；

若满足判定条件，则随机在最小样本集外抽取样本，对当前的基础矩阵F

在本发明实例中，Q为最小样本集中共面点个数的阈值，取Q＝5。

2-4)计算基础矩阵F

在本发明实例中，独立内点的定义为：除去在最小样本集里的点、在独立内点附近的点、在一对匹配点极线附近的点，且满足点到极线距离小于阈值的点称为独立内点。

独立内点的阈值计算方式：计算前n(n＜＜N)次迭代中得到的有效基础矩阵对应的独立内点个数(除去最优基础矩阵和最小样本集与最优矩阵重叠度较高的基础矩阵)的中位数，记为

将

2-5)判断当前最优F

所述局部优化的判断条件为：若独立内点个数大于阈值

所述局部优化的过程为：在最优基础矩阵对应的内点中随机选取大于最小样本集个数的点，使用解析法迭代计算出更好的基础矩阵；

2-6)判断算法是否达到循环终止条件，若满足循环终止条件则转至步骤2-7)，若不满足循环终止条件则返回步骤2-1)，所述循环终止的判断条件为：η大于预设阈值

η＝(1-P

其中k为当前迭代次数，P

P

α≈1/A

2-7)对最优F

3)使用基础矩阵F和对极约束计算动态区域匹配点的几何概率，具体步骤为：

使用基础矩阵F计算动态区域内匹配点的极线

式中，p′

将动态区域内匹配点到极线的距离

式中，Dth为静态点和动态点到极线距离的阈值。

4)将动态区域连续两帧匹配点的几何概率融合，作为当前帧匹配点的最终几何概率，具体步骤为：

根据上一帧点p′

根据上一帧点p′

式中，δ

计算卡尔曼增益k：

式中，δ

根据点p

式中，

更新点p

式中，

在本发明实例中，定义连续两帧之间匹配点的概率传递满足马尔科夫性，即当前状态只和上一状态有关，基于卡尔曼滤波可得到滤波后的状态概率。

5)对动态区域未匹配的点进行概率拓展，得到动态区域所有特征点的几何概率，并剔除不满足概率要求的特征点，将剩余的点传入后续跟踪和建图步骤，具体步骤为：

根据相邻特征点的状态在大多数情况下是相似的思想，搜索动态区域内高置信度特征点周围与前一帧不匹配的相邻特征点p

式中，p

若

若

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。