一种用于VSLAM系统中任务跟踪的加速器及加速装置

摘要

本发明提出一种用于VSLAM系统中任务跟踪的加速器及加速装置，解决了现有用于VSLAM系统中任务跟踪的加速器对低分辨率图像支持度低、高分辨率图像计算负荷大的问题，本申请利用FPN特征金字塔模块按特定比例缩放原始图片数据，且原始图片数据的强语义信息和强空间信息，即对应着控制缩放后原始图片数据的精确度，以此使得加速器对低分辨率图像数据的支持度得到提升，缩放后的原始图片数据的存储开销降低，在后续的特征点检测模块和特征点提取模块中对图片数据的计算处理量减小，降低计算负荷。

说明书

技术领域

本发明涉及VSLAM系统任务跟踪加速器设计的技术领域，更具体地，涉及一种用于VSLAM系统中任务跟踪的加速器及加速装置。

背景技术

即时定位与建图(SLAM)是计算机视觉中的一个重要任务，SLAM是路径规划和导航等高级任务中的基本问题，在自动驾驶汽车、机器人、虚拟现实(VR)和增强现实(AR)等领域中被广泛应用。基于视觉的即时定位与建图(VSLAM)由于其信息量大，适用范围广，被广泛应用于定位与建图，如任务跟踪等。

然而，VSLAM由于计算规模庞大，需要消耗大量的计算资源和能耗，很难适用于小型智能定位系统，如智能移动机器人等。为减少计算规模，一些快速算法，如旋转描述符(rBRIEF)，被广泛用于SLAM系统，rBRIEF对原有的描述符模式进行改造，使描述符成为一种旋转对称的方式，对硬件更加友好；同时，在硬件加速器上加速了最耗时的特征提取与匹配阶段，显著降低了延迟，且进一步利用重调度和并行化等优化来提高吞吐量和减少内存占用。

随着VSLAM研究的发展，为了进一步将VSLAM应用于智能机器人系统，学者们研究设计基于CMOS的VSLAM硬件加速器HcveAcc，帮助高密度的特征提取和高精度的描述符生成，2020年，RenweiLi,Junning Wu,Meng Liu等人在“Design,Automation And Test inEurope(DATE 2020)”上发表HcveAcc:A High-Performance and Energy-EfficientAccelerator for Tracking Task in VSLAM System(2020:3-1)”的文章，通过提供一个可配置的硬件架构来处理更高分辨率的图像数据，以加速执行高密度特征提取和高精度描述符生成，但是，该方法在处理高分辨率图像时计算负荷大，且对于低分辨率的图像数据的处理存在精度性较差的结果。

发明内容

为解决现有用于VSLAM系统中任务跟踪的加速器对低分辨率图像支持度低、高分辨率图像计算负荷大的问题，本发明提出一种用于VSLAM系统中任务跟踪的加速器及加速装置，节能高效，提高加速器对低分辨率图像的支持度，降低计算负荷。

为了达到上述技术效果，本发明的技术方案如下：

一种用于VSLAM系统中任务跟踪的加速器，包括：

第一存储模块，用于存储原始图片数据；

FPN特征金字塔模块，用于按特定比例缩放原始图片数据，保留原始图片数据的强语义信息和强空间信息；

第二存储模块，用于存储经FPN特征金字塔模块处理后的缩放原始图片数据；

特征检测模块，对缩放原始图片数据进行特征点检测；

特征点提取模块，基于置信度特征提取算法，提取置信度最高的特征点，用于VSLAM系统在任务跟踪时使用。

优选地，所述加速器还包括特征点集合模块，用于汇集置信度值最高的特征点，并将置信度值最高的特征点传递至VSLAM系统，为后续VSLAM系统中任务跟踪做准备。

优选地，所述FPN特征金字塔模块包括自下而上依次连接的第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4及第五卷积层Conv5，原始图片数据输入第一卷积层Conv1，自第一卷积层Conv1自下而上按特定比例以完全卷积的方式在第二卷积层Conv2～第五卷积层Conv5中的每一个卷积层上输出特征图，以步长为2的降采样构建自下而上的第一通路，自下而上逐层缩小，保留特征图的空间信息，将不改变特征图大小的层归为一级，每级选择最后一层特征图作为第一通路对应的层数。

在此，第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4及第五卷积层Conv5作为一个预训练网络，原始图片数据可以为任意大小的单尺度图像，顶层输出特征图为低分辨率特征图，得到缩小后的图片数据，使得加速器支持处理低分辨率的图像数据，适用性得到较大提升，减小了图像数据的大小，进而在输入存储量方面得到优化。

优选地，所述FPN特征金字塔模块还包括自上而下的第二通路，在所述第二通路中采用步长为2的上采样，将第一通路中第i卷积层Convi上输出的特征图放大至第一通路中第i-1卷积层Convi-1上输出的特征图的大小，保留特征图的语义信息，i取2,3,4,5。

优选地，将第一通路中第i卷积层Convi上输出的特征图放大至第一通路中第i-1卷积层Convi-1上输出的特征图的大小的方法为最近邻插值法。通过最近邻插值法，可以在上采样的过程中最大程度的保留特征图的语义信息，有利于分类。

优选地，采用1×1的卷积层改变第一通路输出特征图的结果通道数，使其与第二通道输出特征图结果的通道数相同，使第一通路中降采样缩小过程中输出特征图的结果与上采样放大过程中输出特征图的结果融合，得到低分辨率的图像数据。

优选地，所述FPN特征金字塔模块还包括横向卷积核通路，对第一通路中降采样缩小过程中输出特征图与上采样放大过程中输出特征图的融合结果进行卷积，减轻上采样过程中因最近邻插值法带来的取样信号在被还原成连续信号时产生彼此交叠而失真的影响，即减轻混叠效应的影响。

优选地，所述横向卷积核通路采用3×3的卷积核。

对不同尺度的图像通过设置步长为2的上采样和降采样，通过1×1的卷积进行横向连接，融合语义信息和位置信息，此后，通过3×3的卷积核消除前者过程中产生的混叠效应，同时得出具有强语义信息和强位置信息的不同尺度特征图，经FPN特征金字塔模块处理后的强语义信息和强位置信息的图片数据，在后续的特征点检测模块和特征点提取模块中对图片数据的计算处理量减小，计算负荷大幅降低，硬件能耗得到优化。

优选地，所述特征检测模块对缩放原始图片数据进行特征点检测的方法为：HOG、SIFT、SURF或FAST。

本发明还提出一种用于VSLAM系统中任务跟踪的加速装置，所述装置包括所述的用于VSLAM系统中任务跟踪的加速器。

与现有技术相比，本发明技术方案的有益效果是：

本发明提出一种用于VSLAM系统中任务跟踪的加速器及加速装置，利用FPN特征金字塔模块按特定比例缩放原始图片数据，且保留原始图片数据的强语义信息和强空间信息(高分辨率)，即对应着控制缩放后原始图片数据的精确度，以此使得加速器对低分辨率图像数据的支持度得到提升，缩放后的原始图片数据的存储开销降低，在后续的特征点检测模块和特征点提取模块中对图片数据的计算处理量减小，降低计算负荷。

附图说明

图1表示本发明实施例中提出的用于VSLAM系统中任务跟踪的加速器的结构框图；

图2表示本发明实施例中提出的原始图片数据利用FPN特征金字塔模块处理的过程示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸；

对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例

附图中描述位置关系的仅用于示例性说明，不能理解为对本专利的限制；

如图1所示的用于VSLAM系统中任务跟踪的加速器的结构框图，参见图1，所述加速器包括：

第一存储模块，用于存储原始图片数据；

FPN特征金字塔模块，用于按特定比例缩放原始图片数据，保留原始图片数据的强语义信息和强空间信息；所述的强语义信息和强空间信息深层次是指FPN特征金字塔模块对原始图片数据进行处理后，语义信息和空间信息对应下的图片数据的最大精确度；

第二存储模块，用于存储经FPN特征金字塔模块处理后的缩放原始图片数据；

特征检测模块，对缩放原始图片数据进行特征点检测；在具体实施时，特征检测模块可以基于HOG、SIFT、SURF或FAST中的任意一种来实现，在本实施例中，特征检测模块选用FAST特征点检测法。

特征点提取模块，基于置信度特征提取算法，提取置信度最高的特征点，用于VSLAM系统在任务跟踪时使用，在本实施例中，特征点提取模块基于非极大值抑制NMS来提取。

参见图1，所述加速器还包括特征点集合模块，用于汇集置信度值最高的特征点，并将置信度值最高的特征点传递至VSLAM系统，为后续VSLAM系统中任务跟踪做准备。

在本实施例中，参见图2所示的原始图片数据利用FPN特征金字塔模块处理的过程示意图，FPN特征金字塔模块包括自下而上依次连接的第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4及第五卷积层Conv5，原始图片数据输入第一卷积层Conv1，自第一卷积层Conv1自下而上按特定比例以完全卷积的方式在第二卷积层Conv2～第五卷积层Conv5中的每一个卷积层上输出特征图，以步长为2的降采样构建自下而上的第一通路，自下而上逐层缩小，保留特征图的空间信息，将不改变特征图大小的层归为一级，每级选择最后一层特征图作为第一通路对应的层数，每个阶段的最深层具有最强的特征。所述FPN特征金字塔模块还包括自上而下的第二通路，在所述第二通路中采用步长为2的上采样，将第一通路中第i卷积层Convi上输出的特征图放大至第一通路中第i-1卷积层Convi-1上输出的特征图的大小，保留特征图的语义信息，i取2,3,4,5，将第一通路中第i卷积层Convi上输出的特征图放大至第一通路中第i-1卷积层Convi-1上输出的特征图的大小的方法为最近邻插值法，通过最近邻插值法，可以在上采样的过程中最大程度的保留特征图的语义信息，有利于分类。

参见图2，改变第一通路输出特征图的结果通道数，使其与第二通道输出特征图结果的通道数相同，使第一通路中降采样缩小过程中输出特征图的结果与上采样放大过程中输出特征图的结果融合，由图2可以看出，1×1的卷积层是一种横向连接，降低中间层次的通道数目，使得输出不同维度的各个特征图有着相同的通道数目，方便将上采样的结果和降采样的结果进行融合。

如图2所示，所述FPN特征金字塔模块还包括横向卷积核通路，在本实施例中，所述横向卷积核通路采用3×3的卷积核，横向卷积核通路对第一通路中降采样缩小过程中输出特征图与上采样放大过程中输出特征图的融合结果进行卷积，减轻上采样过程中因最近邻插值法带来的取样信号在被还原成连续信号时产生彼此交叠而失真的影响，即减轻混叠效应的影响。

第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4及第五卷积层Conv5作为一个预训练网络，原始图片数据可以为任意大小的单尺度图像，顶层输出特征图为低分辨率特征图，得到缩小后的图片数据，使得加速器支持处理低分辨率的图像数据，适用性得到较大提升，减小了图像数据的大小，进而在输入存储量方面得到优化。针对图2进一步说明，原始图片数据送入预训练网络，其中，第一卷积层Conv1特性Stride 2，第二卷积层Conv2特性Stride 4，缩写表征为C2，第三卷积层Conv3特性Stride 8,缩写表征为C3，第四卷积层Conv4特性Stride 16,缩写表征为C4，第五卷积层Conv5特性Stride 32,缩写表征为C5，以步长为2完成降采样构建自下而上的第一通路，C5经过1×1的卷积层，改变特征图的通道数，得到M5，进入第二通路，M5通过上采样，再加上C4经过1×1卷积后的特征图，得到M4，依次执行这个过程两次，分别得到M3、M2，M层特征再经过3×3卷积核卷积，减轻上采样过程带来的混叠效应，得到最终的如图2所示的P2、P3、P4、P5特征图，对低分辨率的缩放原始图片数据(P5)进行提取，存入第二存储模块，用于后续工作，一般选取最低分辨率的特征图作为图像数据，基于实际操作的不一性，可结合实验环境选取其他尺度的图像数据，及图像分辨率的适用性范围鲁棒性较强的存入第二存储模块，作为下一步工作的输入。

本发明还提出一种用于VSLAM系统中任务跟踪的加速装置，所述装置包括所述的用于VSLAM系统中任务跟踪的加速器。

显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。