一种动态场景下基于GMS特征匹配的语义SLAM方法

摘要

本发明涉及一种动态场景下基于GMS特征匹配的语义SLAM方法，通过语义分割网络对输入图像进行分割，获得各物体掩码，并将将动态物体的掩码部分去除，得到初步的去除动态物体后的图像；对输入图像提取ORB特征点，然后计算描述子；根据运动一致性和语义信息结合的方法检测并剔除动态特征点；通过运动一致性和语义信息结合去除动态的方式，提高了视觉SLAM系统在高动态的环境中运行的精度和鲁棒性。

说明书

技术领域

本发明涉及无人机自主巡检中基于视觉的定位与导航领域，更具体地，涉及一种动态场景下基于GMS特征匹配的语义SLAM方法。

背景技术

无人机智能巡检过程中需要无人机根据当前所处环境的实时信息、自主确定下一步操作。因此对无人机进行实时定位与工作环境建图是无人机智能巡检过程中的重要环节。尤其是在网格化布置的多无人机协同工作中，每个无人机所检测到的环境都是动态场景(包含时有时无的移动物体)，因此在定位和环境建图过程中还需针对动态场景开发专用算法。

同时定位与建图(Simultaneous Localization and Mapping,SLAM)是一种在没有任何环境先验信息的情况下，能通过传感器由相应的运动估计算法估计出当前的位置和姿态，并建立环境的三维地图的技术。随着计算机视觉和深度学习技术的发展，以及硬件计算能力的提高，基于视觉的SLAM研究不断深化，并广泛应用于自主驾驶、移动机器人和无人机等领域。

公开号为“CN110322511A”，公开日为2019年10月11日的中国专利申请文件公开了一种基于物体和平面特征的语义SLAM方法和系统，获取场景的RGB-D图像流，利用RGB-D图像流进行逐帧跟踪得到关键帧图像；利用关键帧图像构建关于场景的局部地图，对关键帧图像的深度图进行平面分割得到当前平面，利用当前平面构建全局平面地图，对关键帧图像进行物体检测，得到检测框和置信度，利用检测框和置信度重建物体的点云，将检测框中的特征点归并到物体，得到全局物体地图；利用关键帧图像进行回环检测，得到回环帧，利用回环帧进行回环修正优化平面约束与物体约束，得到场景的平面地图和物体地图。本发明可以提升SLAM优化性能，并增强对环境的语义描述。

但是在上述的方法中，应用场景基本上是针对静态的，而实际运用过程中环境中的动态信息是不可忽视的。上述SLAM方法缺少处理动态场景的机制，可能会造成初始化失败，定位误差过大，建图失败等一系列问题,导致SLAM系统在动态场景下运行的精度低和鲁棒性差的问题。

发明内容

本发明为克服上述现有技术中动态场景下SLAM方法检测精度和鲁棒性低的问题，提供一种动态场景下基于GMS特征匹配的语义SLAM方法，通过运动一致性和语义信息结合去除动态的方式，提高了视觉SLAM系统在动态环境中运行的精度和鲁棒性。

为解决上述技术问题，本发明采用的技术方案是：一种动态场景下基于GMS特征匹配的语义SLAM方法，包括以下步骤：

步骤一：标定相机，去除图像畸变，获取环境图像并输入；

步骤二：通过语义分割网络对输入图像进行分割，获得各物体掩码，并将将动态物体的掩码部分去除，得到初步的去除动态物体后的图像；

步骤三：对输入图像提取ORB特征点，然后计算描述子；

步骤四：根据运动一致性和语义信息结合的方法检测并剔除动态特征点；

步骤五：利用GMS算法，进行特征点匹配，去除误匹配；

步骤六：通过跟踪线程以获得相机位姿；

步骤七：通过局部建图线程进行点云处理，获得稀疏点云地图；

步骤八：利用回环检测来优化位姿，更正漂移误差。

优选的，在所述步骤一中，标定相机，去除图像畸变具体的步骤为：

S1.1：首先获取相机内参，其中内参包括f

S1.2：去除畸变对图像的影响,其中[k

S1.3：将该摄像机坐标系下的坐标转到像素坐标系下：

优选的，所述语义分割网络为轻量级语义分割网络FcHarDnet。通过HDB块连接1x1的卷积来减少模型大小，该网络在相同硬件环境下，比其他的网络结构图像处理速度快30％左右。通过FcHarDnet分割出图像的潜在动态区域，并生成掩模。

优选的，在所述步骤三中，对输入图像提取ORB特征点的过程中构建高斯金字塔并在金字塔的不同层进行特征点检测，达到尺度不变的特性。

优选的，ORB特征点提取的具体步骤为：

ORB特征点提取的具体步骤为：

S3.1：当某点P周围有超过N个的点的灰度值I(x)与该点P的灰度值I(p)相差大于阈值ε就认为该点为目标角点，具体表示为：

S3.2：为了使特征点保存方向不变，计算质心：

式中，m

S3.3：通过对原图像序列以一定比例缩放，构图像金字塔。图像金字塔的每一级不同大小的图像中提取相应的角点；

S3.4:采用四叉树均匀算法，将图像不断向下细分四分尺寸相同的节点，合并无特征点的节点，当节点中特征点数目大于1时增加节点；节点分布完成后，删除子节点中多余特征点。

优选的，在所述步骤四中，运动一致性检测为：静态点可以满足对极几何约束，如果物体静止特征点重投影在参考帧上的匹配点一定落在参考帧与极平面的交线上；具体步骤为：

S4.1：p

p

S4.2：计算极线，其中F为基础矩阵可以通过八对特征点计算得到，具体为：

其中，[X Y Z]

S4.3：计算匹配点到其对应极线的距离，如果是静态D趋近于0，当D大于阈值ε，则该特征点为动态，具体为：

我们通过上述步骤将图像进行语义分割和动态一致性检验，但我们单从分割结果无法准确判断物体是否是动态的。同样通过动态一致性可以检测特征点是否动态，但没有该物体的精确轮廓信息。动态点判定方法为：有足够数量的由运动一致性检测得到的动态点在这个物体语义分割的掩码内，则这个物体的所有点都被视为动态的，整个物体掩码内所有点将被剔除。

优选的，在所述步骤五中，将步骤四剔除动态点的特征点进行特征匹配；网格运动统计(GMS)算法基于运动的平滑性提出一种假设：运动的平滑性使得匹配周围出现一个相似区域的出现，真匹配中两幅图上这样的区域位置移动平滑，假匹配则运动不平滑。也就是说正确的匹配周围会有其他正确的匹配支持该匹配,而错误的匹配只是偶然情况所以周围没有或者很少有其他匹配支撑。

GMS算法剔除错误匹配具体步骤：

S5.1：将幅图像划分为20×20的不重复网格，为解决特征定处于网格的边界的问题，可调整网格的长宽进行迭代计算。

S5.2：每个特征点周围的3*3的像素划分为一个单元，计算每个单元{i,j}与参考帧对应近邻(9个网格)在这些近邻中总的匹配数量之和S

其中，

S5.3：计算阈值用来划分每个单元正确和错误匹配，其中n

S5.4：重复步骤S5.2、S5.3，直至图像遍历完成，得到与参考帧的正确匹配。

优选的，在所述步骤六中，跟踪线程具体为：根据步骤五的运动模型估计当前帧位姿，根据匀速运动模型对上一帧的地图点进行跟踪，确定位姿。

优选的，通过局部建图线程进行点云处理，并通过局部BA优化，获得稀疏点云地图。

优选的，在所述步骤八中，利用词袋模型判断是否产生回环，如果产生，通过回环更正累计误差，来优化位姿。

与现有技术相比，本发明的有益效果是：

1)本发明通过运动一致性和语义信息结合去除动态的方式，提高了视觉SLAM系统在高动态的环境中运行的精度和鲁棒性。

2)本发明主要针对特征匹配问题,提出了一种基于网格的、运动统计特性的方法，该方法可以迅速剔除错误的匹配，从而提高匹配的稳定性。

附图说明

图1是本发明的一种动态场景下基于GMS特征匹配的语义SLAM方法的流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”“长”“短”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体描述：

实施例

如图1所示为一种动态场景下基于GMS特征匹配的语义SLAM方法的实施例，包括如下步骤：

步骤一：标定相机，去除图像畸变；获取环境图像并输入；标定相机，去除图像畸变具体的步骤为：

S1.1：首先获取相机内参，其中内参包括f

S1.2：去除畸变对图像的影响,其中[k

S1.3：将该摄像机坐标系下的坐标转到像素坐标系下：

步骤二：通过语义分割网络对输入图像进行分割，获得各物体掩码，实现初步动态分割；语义分割网络为轻量级语义分割网络FcHarDnet。通过HDB块连接1x1的卷积来减少模型大小，该网络在相同硬件环境下，比其他的网络结构图像处理速度快30％左右。通过FcHarDnet分割出图像的潜在动态区域，并生成掩模。

步骤三：对输入图像提取ORB特征点，然后计算描述子；ORB特征点提取的具体步骤为：

S3.1：当某点P周围有超过一定数量的点与该点P的灰度值相差较大就认为该点为目标角点，具体表示为：

S3.2：为了使特征点保存方向不变，计算质心：

S3.3：通过对原图像序列以一定比例缩放，构图像金字塔。图像金字塔的每一级不同大小的图像中提取相应的角点；

S3.4:采用四叉树均匀算法，将图像不断向下细分四分尺寸相同的节点，合并无特征点的节点，当节点中特征点数目大于1时增加节点；节点分布完成后，删除子节点中多余特征点。

步骤四：根据运动一致性和语义信息结合的方法检测并剔除动态特征点；运动一致性检测为：静态点可以满足对极几何约束，如果物体静止特征点重投影在参考帧上的匹配点一定落在参考帧与极平面的交线上；具体步骤为：

S4.1：p

p

S4.2：计算极线，其中F为基础矩阵可以通过八对特征点计算得到，具体为：

S4.3：计算匹配点到其对应极线的距离，如果是静态D趋近于0，当D大于阈值ε，则该特征点为动态，具体为：

动态点判定方法为：有足够数量的由运动一致性检测得到的动态点在这个物体语义分割的掩码内，则这个物体的所有点都被视为动态的，整个物体掩码内所有点将被剔除。

通过快速最近邻法对相邻帧中的特征点进行匹配，计算特征点之间的汉明距离，通过特征点间的相似程度进行匹配，并用采用PROSAC算法去除误匹配的特征点。

步骤五：利用GMS算法，进行特征点匹配，去除误匹配；GMS算法剔除错误匹配具体步骤：

S5.1：将幅图像划分为20×20的不重复网格，为解决特征定处于网格的边界的问题，可调整网格的长宽进行迭代计算。

S5.2：每个特征点周围的3*3的像素划分为一个单元，计算每个单元{i,j}与参考帧对应近邻(9个网格)在这些近邻中总的匹配数量之和S

S5.3：计算阈值用来划分正确和错误匹配，其中n

S5.4：重复步骤S5.2、S5.3，直至图像遍历完成，得到与参考帧的正确匹配。

步骤六：通过跟踪线程获得相机位姿，根据步骤五的运动模型估计当前帧位姿，根据匀速运动模型对上一帧的地图点进行跟踪，确定位姿。

步骤七：通过局部建图线程进行点云处理，并通过局部BA优化，获得稀疏点云地图；

步骤八：利用回环检测来优化位姿，更正漂移误差。利用词袋模型判断是否产生回环，如果产生，通过回环更正累计误差，来优化位姿。

本实例的有益效果：1)本发明通过运动一致性和语义信息结合去除动态的方式，提高了视觉SLAM系统在高动态的环境中运行的精度和鲁棒性。

2)本发明主要针对特征匹配问题,提出了一种基于网格的、运动统计特性的方法，该方法可以迅速剔除错误的匹配，从而提高匹配的稳定性。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。