法律状态公告日
法律状态信息
法律状态
2022-06-28
公开
发明专利申请公布
技术领域
本发明涉及基于自定义描述子的救援任务人群地图拼接系统及方法，属于图像拼接技术领域。
背景技术
图像拼接是计算机视觉的一个子任务，常常被应用于卫星图像融合，全景图像生成等领域。态势感知是一种基于环境的、动态、整体地洞悉安全风险的能力，是以安全大数据为基础，从全局视角提升对安全威胁的发现识别、理解分析、响应处置能力的一种方式，最终是为了决策与行动，是安全能力的落地。其中对于紧急状况下的人群规模认知可被看做是态势感知的重要组成部分。具体来说，任务定义为对于给定多张局部待救援人群图片，我们需要对于全局规模进行感知，需要统计全部待救援任务以及每个待救援人员的位置，这样才能合理规划救援路线并且实施救援。给定的局部人群图片可能出现重合度小，人群较为稀疏，地图特征过少的现象，对于图像的整体拼接造成障碍。对于图像数量较少的情况，也许可以直接通过工作人员手工拼接，但人类无法在短时间内完成大量局部图片的拼接。救援任务却往往对于速度有较高要求，此外，如果在拼接过程对于人群的统计出现误差，漏掉或错误的统计了人群的位置和数量，对于整个救援工作也会造成严重的后果。
图像拼接技术在多年的发展中已经有多个成熟的算法应用到实际场景中，其主要方法为生成各个图像的描述子(SIFT，SURF，ORB等)然后进行描述子的匹配并且拼接。这些方法的基础都是各个描述子的计算，只有当描述子的质量较高，匹配才能有效。在得到匹配之后采用RANSAC对于位姿进行估计并且合成图片。
但对于我们的规模认知任务，已有方法的特征点为自动生成，没有充分的利用到关键的人群信息，无法高效地对全局待救援人群进行估计。
发明内容
本发明的目的在于克服现有技术中的不足，提供基于自定义描述子的救援任务人群地图拼接系统及方法，自定义的描述子基于检测到的人群信息，能够充分利用人群信息，更加高效地对全局进行感知。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了基于自定义描述子的救援任务人群地图拼接方法，包括：
获取待拼接地图数据；
检测待拼接地图数据的行人位置；
根据检测到的行人位置生成自定义描述子与待拼接图片生成描述子；
对于所有待拼接图片两两匹配检测描述子数量；
根据匹配对数降序对图像进行变换估计拼接及验证。
进一步的，根据检测到的行人位置生成自定义描述子与待拼接图片生成描述子，包括：
根据检测到的行人位置生成自定义点描述子；
根据检测到的行人位置对图像进行Delaunay三角化并且生成自定义三角形描述子；
根据图像检测图中直线并且生成直线二值描述子。
进一步的，根据检测到的行人位置生成自定义点描述子，包括：
统计行人位置特征点邻域以特征点半径的固定倍数为阈值的信息；
选取离行人位置特征点最近的点作为主方向，设定每d度作为一个区间，将角度划分为360/d个区间；
统计其余每个区间内行人位置特征点到该行人位置特征点的距离，将每个区间的距离除以该点半径，生成每个特征点的维度为360/d的自定义点描述子，自定义点描述子的一般形式为：
des＝{s
s
其中，des为邻域描述子，n为区间数，s
进一步的，Delaunay三角化包括：
步骤1：找到一个包含给定点集的矩形，连接该矩形的任意一条对角线，形成两个三角形，建立初始Delaunay三角网格；
步骤2：在Delaunay三角网格里面再插入一个点，从该点所在的三角形开始，搜索该三角形的邻近三角形，并进行空外接圆检测，找到外接圆包含该点的所有的三角形并删除这些三角形，形成一个包含该点的多边形空腔作为Delaunay空腔，连接该点与Delaunay空腔的每一个顶点，形成新的Delaunay三角网格；
步骤3：响应于当给定点集中所有点都已经插入到新的Delaunay三角网格时，将顶点包含辅助窗口R的三角形全部删除，否则重复执行步骤2；
步骤4：取每个新的Delaunay三角网格的内心作为特征点，半径定义为三个端点的平均半径，定义三条边的降序长度构成维度为3的特征，每条边的长度除以特征点半径，生成自定义三角形描述子，一般形式如下：
des2＝{s
r＝(r
其中，des2为自定义三角形描述子，r为特征点半径，s
进一步的，根据图像检测图中直线并且生成直线二值描述子，包括：
根据EDline算法在给定尺度空间生成直线，每条线具备方向，从线段支持域中计算该线段的统计特征，将该支持域划分为多个线带，每个线带可生成一个局部描述子，该线段的描述子形式如下：
其中，LBD为线段的描述子，
对每个局部线带的梯度从各方向进行累加：
其中，d
其中，BDM
其中，
进一步的，对于所有待拼接图片两两匹配检测描述子数量，包括：对于给定所有地图图片每种描述子进行匹配，以特征的欧式距离作为匹配标准，设置最近邻与第二近邻比值小于一定阈值为有效匹配，统计三种描述子各自有效匹配的数量。
进一步的，根据匹配对数降序对图像进行变换估计拼接及验证，包括：
采取自定义点描述子和LBD线描述子的有效匹配之和对于所有地图图片进行降序排序；
按序进行位姿估计，采用RANSAC算法计算变换矩阵，并对于计算结果进行验证；
采用并查集数据结构存储地图相互关系，响应于满足验证条件时连同两张图片，响应于所有地图构成一个连通域或地图匹配对遍历结束；
选取匹配对数最多的一张图片作为基底图片，根据存储并查集的变换关系将所有有效匹配图片变换到基底图片坐标系，然后进行拼接。
第二方面，本发明提供了基于自定义描述子的救援任务人群地图拼接系统，包括：
数据获取模块：用于获取待拼接地图数据；
检测模块：用于检测待拼接地图数据的行人位置；
描述子生成模块：用于根据检测到的行人位置生成自定义描述子与待拼接图片生成描述子；
匹配模块：用于对于所有待拼接图片两两匹配检测描述子数量；
拼接验证模块：用于根据匹配对数降序对图像进行变换估计拼接及验证。
第三方面，本发明提供了基于自定义描述子的救援任务人群地图拼接装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据上述任一项所述的基于自定义描述子的救援任务人群地图拼接方法的步骤。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述的基于自定义描述子的救援任务人群地图拼接方法的步骤。
与现有技术相比，本发明所达到的有益效果：
一、本发明主要应用于救援任务中的规模认知，充分考虑到了地图拼接过程中的各种情况以及前述现有算法遇到的问题，通过自定义描述子的生成大幅优化了重合度小时描述子不一致的问题，自定义的描述子基于检测到的人群信息，能够充分利用人群信息，更加高效地对全局进行感知。此外，我们的拼接方法的验证部分可有效避免全局结果无效的发生，保证拼接图形的有效性，使得可救援效果最大化。
二、本发明采用自定义描述子进行特征的匹配与变幻的估计，对于局部图像的重合度要求较小，且自定义描述子以人群为特征点，可以有效处理纹理稀疏的地图数据，多种描述子共同参与计算，能够有效保证地图拼接与人群计数的准确性。
三、本发明包含拼接后的验证过程，通过对于拼接后人群位置的验证能够保证错误拼接不会被计入最终结果从而影响全局人群规模认知。当输入局部图片存在错误图片时，该验证方法可以将错误输入排除，使得拼接流程具有较强的鲁棒性。
四、本发明不同于传统局部特征描述子方法，需要根据像素值生成关键。而本发明是基于人群位置生成描述子且各个描述子特征维度较低，在计算过程中可以大幅降低计算量，保证算法高效输出拼接结果。
附图说明
图1是本发明实施例一提供的算法流程图；
图2是本发明实施例一提供的自定义点描述子示意图；
图3是本发明实施例一提供的自定义三角描述子示意图；
图4是本发明实施例一提供的无效拼接结果示意图；
图5是本发明实施例一提供的描述子匹配例图；
图6是本发明实施例一提供的对比现有算法结果例图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
基于自定义描述子的救援任务人群地图拼接方法，包括：
步骤S1：获取待拼接地图数据；
步骤S2：检测待拼接地图数据的行人位置；
步骤S3：根据检测到的行人位置生成自定义描述子与待拼接图片生成描述子，自定义描述子能够有效拼接重合度较少的图片并且针对纹理较为稀疏的地图鲁棒，具有较高的精度，较好的应用泛化性与环境要求；
步骤S4：对于所有待拼接图片两两匹配检测描述子数量；
步骤S5：根据匹配对数降序对图像使用RANSAC算法进行变换估计拼接及验证，验证过程能够有效修正匹配失败图像的拼接结果，减小难以拼接的图片对于图像整体拼接的最终结果的影响，若验证通过则加入拼接结果，否则丢弃拼接对。
步骤S2包括：
在步骤S1得到局部地图集后，分别对各个地图中的待救援人员进行识别，由于不同类型地图形式可能不同，本发明不具体指定某种人员检测方法，所采用的数据集以黑色圆点为待救援人员位置。
步骤S3具体包括：
步骤S31：根据检测到的行人位置生成自定义点描述子：对于每一个识别到的行人位置特征点，统计行人位置特征点邻域以特征点半径的固定倍数s为阈值的信息，选取离该点最近的点作为主方向，每d度一个区间，将角度划分为360/d个区间，统计每个区间内行人位置特征点到该点的距离，为保证尺度不变性，每个区间的距离除以该点半径。这样生成每个特征点的维度为360/d的点描述子。
线特征描述子生成步骤如下：首先采用LSD算法检测地图中的直线，然后对于每条直线生成二值描述子，每条直线的描述子维度为256，为了方便匹配，将直线描述子转化为以直线中点为特征点的描述子。如图2所示：设定d为90度，角度被划分为4个区间，计算点a的邻域描述子，设置关键点半径为r
des＝{s
s
其中，des为邻域描述子，n为区间数，s
步骤S32：根据检测到的行人位置对图像进行Delaunay三角化并且生成自定义三角形描述子：对于整张图片进行Delaunay三角化，这样生成了一张包含节点和边的图结构。Delaunay三角化的具体步骤如下：
建立初始三角网格：针对给定的点集V，找到一个包含该点集的矩形R，我们称R为辅助窗口。连接R的任意一条对角线，形成两个三角形，作为初始Delaunay三角网格。
逐点插入：假设目前已经有一个Delaunay三角网格T，现在在它里面再插入一个点P，需要找到该点P所在的三角形。从P所在的三角形开始，搜索该三角形的邻近三角形，并进行空外接圆检测。找到外接圆包含点P的所有的三角形并删除这些三角形，形成一个包含P的多边形空腔，我们称之为Delaunay空腔。然后连接P与Delaunay空腔的每一个顶点，形成新的Delaunay三角网格。
删除辅助窗口R：重复步骤2)，当点集V中所有点都已经插入到三角形网格中后，将顶点包含辅助窗口R的三角形全部删除。
通过以上步骤，保证相同图生成的三角形结构相同，其生成的图结构如图3所示，两幅图圈出的部分为重合部分，由于是在边缘重合，所以步骤S31生成的点描述子因为邻域信息不同而无法匹配，但是三角化之后可以使其具有一致的三角结构(圈出部分所示)，从而完成匹配拼接。我们取每个三角形的内心作为特征点，半径定义为三个端点的平均半径，定义三条边的降序长度构成维度为3的特征，为保证尺度不变性，每条边的长度除以特征点半径。其一般形式如下：
des2＝{s
r＝(r
这样每个三角描述子的特征维度为3。
步骤S33：根据图像检测图中直线并且生成直线二值描述子：这里采用opencv自带线特征描述子生成结果，具体流程如下：首先用EDline算法在给定尺度空间生成直线，每条线具备方向，从线段支持域中计算该线段的统计特征，将该支持域划分为m个线带，每个线带Bj可生成一个局部描述子(BD)，该线段的描述子形式如下：
其中，LBD为线段的描述子，
对每个局部线带的梯度从各方向进行累加：
其中，d
其中n为该条带的行数，计算该矩阵的均值向量M与标准方差S，可转换LBD形式为：
其中，
步骤S4：对于给定所有地图图片每种描述子进行匹配，以特征的欧式距离作为匹配标准，设置最近邻与第二近邻比值小于一定阈值为有效匹配，统计三种描述子各自有效匹配的数量。本发明的三种描述子维度相差较大，其中点描述子与二值线描述子相对阈值设置为0.7，由于三角描述子维度较小，设置阈值要求为0.4，且其只参与最终变换估计，不参与图像匹配排序。
步骤S5具体包括：
根据上一步可得到各个图片不同描述子的有效匹配的数量，由于三角形描述子的维度较小，较容易出现错误匹配，我们采取自定义点描述子和LBD线描述子的有效匹配之和对于所有地图图片进行降序排序，有效匹配数量越多，证明其重合部分越多，越容易匹配。然后按序进行位姿估计，采用RANSAC算法计算变换矩阵，并对于计算结果进行验证。由于RANSAC算法可以有效去除outliers的影响，所以就算给定匹配对中有错误匹配，对于变换矩阵的生成也不会产生过大影响。采用并查集数据结构存储地图相互关系，如果满足验证条件则连同两张图片，整个过程直到所有地图构成一个连通域或地图匹配对遍历结束，整个流程可表示为以下伪代码：
其中estimate为估计图片对(i，j)的变换矩阵，check(res)为验证拼接结果的有效性，若有效才对变换矩阵进行存储。
验证拼接结果有效性的方法如下：给定两张图片及各自的关键点(人的位置)，按照RANSAC求得的变换矩阵将图片1变换到图片2的坐标系，计算变换后图1每个关键点到图2关键点的最近距离，如果误差小于关键点半径则认为其为有效匹配。对于两张图片，要求其关键点的交并比大于90％为正确估计，如果为正确估计才对其进行拼接，否则该对匹配无效。如图4所示，如果不对拼接结果进行验证，很容易出现不规则的拼接，本验证方法可避免不规则拼接的出现。此外，如果输入中存在错误图片，也会因为不满足有效性要求而不被拼入最终结果，保证了本发明算法的鲁棒性。
选取匹配对数最多的一张图片作为基底图片，由于变换矩阵可传递，根据存储并查集的变换关系将所有有效匹配图片变换到基底图片坐标系，然后进行拼接，这样如果给定n张局部地图，最多只需要n-1次拼接即可生成最终结果，有效保证了本算法的效率。如图6所示，给定相同输入局部地图集，对比opencv封装拼接类Stitcher的拼接结果，本发明能够高效快速地给出精确的拼接结果，其拼接效果明显优于传统方法。
实施例二：
基于自定义描述子的救援任务人群地图拼接系统，可实现实施例一所述的基于自定义描述子的救援任务人群地图拼接方法，包括：
数据获取模块：用于获取待拼接地图数据；
检测模块：用于检测待拼接地图数据的行人位置；
描述子生成模块：用于根据检测到的行人位置生成自定义描述子与待拼接图片生成描述子；
匹配模块：用于对于所有待拼接图片两两匹配检测描述子数量；
拼接验证模块：用于根据匹配对数降序对图像进行变换估计拼接及验证。
实施例三：
本发明实施例还提供了基于自定义描述子的救援任务人群地图拼接装置，可实现实施例一所述的基于自定义描述子的救援任务人群地图拼接方法，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行下述方法的步骤：
获取待拼接地图数据；
检测待拼接地图数据的行人位置；
根据检测到的行人位置生成自定义描述子与待拼接图片生成描述子；
对于所有待拼接图片两两匹配检测描述子数量；
根据匹配对数降序对图像进行变换估计拼接及验证。
实施例四：
本发明实施例还提供了一种计算机可读存储介质，可实现实施例一所述的基于自定义描述子的救援任务人群地图拼接方法，其上存储有计算机程序，该程序被处理器执行时实现下述方法的步骤：
获取待拼接地图数据；
检测待拼接地图数据的行人位置；
根据检测到的行人位置生成自定义描述子与待拼接图片生成描述子；
对于所有待拼接图片两两匹配检测描述子数量；
根据匹配对数降序对图像进行变换估计拼接及验证。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
