一种影像重叠区域计算方法、装置、电子设备及存储介质

摘要

本发明公开了一种影像重叠区域计算方法、装置、电子设备及存储介质。该方法包括：获取第一遥感影像和第二遥感影像；提取第一遥感影像和第二遥感影像周围的多个第一特征物和多个第二特征物；将多个第一特征物与多个第二特征物进行匹配，判断是否存在相同特征物；当判断出存在相同特征物时，确定相同特征物在第一遥感影像和第二遥感影像中的第一位置和第二位置；选取第一位置附近的第一局部影像和第二位置附近的第二局部影像；将第一局部影像和第二局部影像进行像素匹配，确定出存在相同图像信息的区域，即为重叠区域。通过实施该方法，能够准确的计算第一遥感影像和第二遥感影像的重叠区域，提高后续进行影像匹配时的匹配效率与精准度。

说明书

技术领域

本发明涉及多媒体信息处理技术领域，具体涉及一种影像重叠区域计算方法、装置、电子设备及存储介质。

背景技术

无人机低空平台具有机动灵活、响应快、使用成本低等优点，已成为快速获取区域空间数据的一种重要手段。影像匹配作为图像处理的关键技术，其目的在于从不同时间、不同角度或者不同传感器拍摄的同一区域的两幅或者多幅影像中获取同名点，其结果可用于影像拼接、制作正射影像、以及建立三维模型等，直接影响后续应用的精度。然而，其飞行平台轻小型化，飞行高度低，在飞行过程中容易受气流等因素影响，平台稳定性差，拍摄影像时容易出现较大俯仰角、翻滚角和旋偏角的现象，使得航带内以及航带间的影像重叠区域不规则，同名地物之间几何变形大，灰度差异明显，误匹配率高，增加了匹配的困难性。如何实现无人机影像稳健匹配，是需要突破的关键技术

实现影像稳健匹配过程中，影像重叠区域的计算是能够提高匹配率的关键环节。目前主要是根据第一遥感影像和第二遥感影像的拍摄位置信息、拍摄高度信息和拍摄角度信息得到第一遥感影像和第二遥感影像的中心点信息、尺度信息以及角度信息，然后根据中心点信息、尺度信息以及角度信息计算第一遥感影像和第二遥感影像的重叠区域。该方法主要是根据经纬度信息确定带待匹配的两幅图像中心点之间的距离以及相应位置信息，根据旋转角信息、俯仰角信息以及高度信息综合计算得到待匹配两幅图像之间的重叠区域。但是因为无人机本身的拍摄角度等因素都无法准确控制，基于此方法对重叠区域的计算准确性比较低，进而导致无法实现待匹配影像精准的匹配。

因此，如何准确提取两幅遥感影像中的重叠区域，从而使两个遥感影像匹配工作能够以较高的效率进行，成为亟待解决的问题。

发明内容

有鉴于此，本发明实施例提供了一种影像重叠区域计算方法、电子设备及存储介质，以解决现有影像重叠区域计算准确性较低的问题。

根据第一方面，本发明实施例提供了一种影像重叠区域计算方法，包括如下步骤：获取第一遥感影像和第二遥感影像；提取所述第一遥感影像周围的多个第一特征物，提取所述第二遥感影像周围的多个第二特征物；将所述多个第一特征物与所述多个第二特征物进行匹配，判断是否存在相同特征物；当判断出存在相同特征物时，确定所述相同特征物在所述第一遥感影像中的第一位置以及在第二遥感影像中的第二位置；选取所述第一遥感影像在所述第一位置附近的第一局部影像和第二遥感影像在所述第二位置附近的第二局部影像；将所述第一局部影像和所述第二局部影像进行像素匹配，确定出存在相同图像信息的区域，作为所述第一遥感影像和所述第二遥感影像的重叠区域。

本发明实施例提供的影像重叠区域计算方法，通过提取第一遥感影像周围的多个第一特征物和第二遥感影像周围的多个第二特征物，可以实现匹配的多元化，防止对特征物的提取有遗漏，导致无法准确的确定重叠区域；当匹配结果出现相同特征物时，说明该相同特征物一定处于重叠区域内，基于该相同特征物在第一遥感影像和第二遥感影像中的位置，分别选取第一遥感影像和第二遥感影像中该相同特征物位置的局部影像，以该相同特征物的位置为中心选取其周围的局部影像扩大匹配搜索范围，然后将第一遥感影像和第二遥感影像中选取的局部影像进行像素匹配，利用像素匹配实现对相应像素块的高精度匹配，在此基础上确定出相同图像信息的区域，能够对重叠区域进行精准的计算。

结合第一方面，在第一方面第一实施方式中，影像重叠区域计算方法，还包括如下步骤：提取所述第一遥感影像周围预设环形区域的多个第一特征物，提取所述第二遥感影像周围预设环形的多个第二特征物。

本发明实施例提供的影像重叠区域计算方法，针对目前待匹配影像的情况，常规对应相同特征物不会处于中心位置，因为中心位置的特征物相同，整个影像也就基本相同，这样也就不需要重新计算重叠区域；因此本发明实施例提取特征物的范围选取为第一遥感影像和第二遥感影像的预设环形区域，例如以第一遥感影像中心位置为基点向外扩充一定的范围，预设环形区域为第一遥感影像的边缘到扩充范围边缘之间的区域，第二遥感影像的预设环形区域的选取方式和第一遥感影像相同。

结合第一方面，在第一方面第二实施方式中，影像重叠区域计算方法，还包括如下步骤：获取所述第一遥感影像的第一拍摄高度信息和第一拍摄角度信息；获取所述第二遥感影像的第二拍摄高度信息和第二拍摄角度信息；利用所述第一拍摄高度信息和第一拍摄角度信息以及第二拍摄高度信息和第二拍摄角度信息对所述第一遥感影像和所述第二遥感影像进行重叠区域概率估计，得到各个方位出现重叠区域的概率；选取概率最大的方位，提取所述第一遥感影像在该方位的多个第一特征物；提取所述第二遥感影像在该方位的多个第二特征物。

对于提取特征物的范围的确定，本实施例利用第一拍摄高度信息和第一拍摄角度信息以及第二拍摄高度信息和第二拍摄角度信息对第一遥感影像和所述第二遥感影像进行重叠区域概率估计，得到各个方位出现重叠区域的概率；选取概率最大的方位，提取第一遥感影像在该方位的多个第一特征物；提取所述第二遥感影像在该方位的多个第二特征物；基于拍摄角度信息和拍摄高度信息判断第一遥感影像和第二遥感影像的方位，对各方位进行重叠区域概率估计，选取最大概率的方位的第一遥感影像和第二遥感影像，提取多个第一特征物和多个第二特征物，能够最大程度的保证重叠区域的选取的准确性。

结合第一方面或者第一方面第二实施方式，在第一方面第三实施方式中，所述第一遥感影像和所述第二遥感影像均为无人机遥感影像，所述拍摄高度信息和所述拍摄角度均为从所述无人机的POS系统文件中获取。

结合第一方面或者第一方面第二实施方式，在第一方面第四实施方式中，所述拍摄角度信息包括旋转角度信息和俯仰角度信息。

结合第一方面，在第一方面第五实施方式中，将所述第一局部影像划分为多个第一像素块；将所述第二局部影像划分为多个第二像素块，所述第一像素块和所述第二像素块的大小相等；将所述第一像素块与所述第二像素块分别进行比对，确定出局部相同的第一像素块和第二像素块以及全部相同的第一像素块和第二像素块；以局部相同的第一像素块和第二像素块作为边界，确定出所述重叠区域。

通过将选取的第一局部影像和第二局部影像划分为大小相等的多个第一像素块和多个第二像素块，然后将第一像素块和第二像素块进行对比；确定完全相同的第一像素块和第二像素块，即为重叠区域内的像素块；局部相同的第一像素块和第二像素块，即为重叠区域边界的像素块；根据局部相同的第一像素块和第二像素块确定重叠区域边界，从而确定重叠区域。

结合第一方面，在第一方面第六实施方式中，对所述第一遥感影像和所述第二遥感影像进行校正。

本发明实施例通过对第一遥感影像和第二遥感影像进行校正，以消除第一遥感影像和第二遥感影像之间的几何形变、尺度以及旋转差异，能够消除无人机低空飞行所拍摄影像由于无人机的旋转偏角、飞行高度以及俯仰角等情况对无人机所拍摄影像的影响。

根据第二方面，本发明实施例提供了一种影像重叠区域计算装置，包括：获取模块，用于获取第一遥感影像和第二遥感影像；提取模块，用于提取所述第一遥感影像周围的多个第一特征物，提取所述第二遥感影像周围的多个第二特征物；判断模块，用于将所述多个第一特征物与所述多个第二特征物进行匹配，判断是否存在相同特征物；确定模块，用于当判断出存在相同特征物时，确定所述相同特征物在所述第一遥感影像中的第一位置以及在第二遥感影像中的第二位置；选取模块，用于选取所述第一遥感影像在所述第一位置附近的第一局部影像和第二遥感影像在所述第二位置附近的第二局部影像；匹配模块，用于将所述第一局部影像和所述第二局部影像进行像素匹配，确定出存在相同图像信息的区域，作为所所述第一遥感影像和所述第二遥感影像的重叠区域。

根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的影像重叠区域计算方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的影像重叠区域计算方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种影像重叠区域计算方法的流程图；

图2为本发明实施例选取提取特征物区域其中一种方法的流程图；

图3为本发明实施例进行像素匹配的流程图；

图4为本发明实施例提供的一种影像重叠区域计算装置的示意图；

图5为本发明实施例提供的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

实施例1

本实施例提供了一种影像重叠区域计算方法，用于对无人机拍摄的遥感影像的匹配。需要说明的是在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。如图1所示，该方法可以包括如下步骤：

S11，获取第一遥感影像和第二遥感影像。

S12，提取所述第一遥感影像周围的多个第一特征物，提取所述第二遥感影像周围的多个第二特征物。

本发明实施例中，对特征物的提取，目的在于放弃对全部影像的对比，采用提取部分特征物为目标进行匹配目标，主要是为了提高匹配重叠区域计算的准确率并且提高遥感影像的匹配效率；提取多个特征物是为了防止对重叠区域计算遗漏，影响遥感影像的匹配率。

S13，将所述多个第一特征物与所述多个第二特征物进行匹配，判断是否存在相同特征物。

S14，当判断出存在相同特征物时，确定所述相同特征物在所述第一遥感影像中的第一位置以及在第二遥感影像中的第二位置。

本发明实施例将多个第一特征物和多个第二特征物进行匹配，当发现相同的特征物的时候说明该特征物在第一遥感影像和第二遥感影像的重叠区域，确定该相同特征物分别在第一遥感影像和第二遥感影像中的具体位置，分别定义为第一位置和第二位置；未发现相同特征物，则说明该特征物所在位置并不在第一遥感影像和第二遥感影像的重叠区域内，则继续进行特征物匹配，一直到发现相同特征物。

S15，选取所述第一遥感影像在所述第一位置附近的第一局部影像和第二遥感影像在所述第二位置附近的第二局部影像。

本发明实施例将上述S14确定的第一位置和第二位置作为中心位置向其周围的影像进行扩充，扩大匹配范围，一方面能够快速的锁定重叠区域，另一方面也防止特征物的稀少带来的重叠区域计算不精确；在进行第一位置和第二位置局部影像的选取时，若发现该局部影像包含了其它相同特征物，则可以直接确定包含两个相同特征物的局部影像范围都在重叠区域内，减少了对多个相同特征物进行局部影像的选取的步骤，简化了特征物匹配步骤，提高了特征物匹配效率。例如，对无人机拍摄的包含多艘船只的第一遥感影像和第二遥感影像中，将船只作为特征物进行匹配，若发现间隔有一定距离的两艘船只都是在第一遥感影像和第二遥感影像都存在时，那么两艘船只之间的局部影像则一定在第一遥感影像和第二遥感影像的重叠区域内。

S16，将所述第一局部影像和所述第二局部影像进行像素匹配，确定出存在相同图像信息的区域，作为所述第一遥感影像和所述第二遥感影像的重叠区域。

基于上述S15获取的局部影像，因为不能保证所有的局部影像都处于重叠区域内，为了更加准确的计算重叠区域，本发明实施例采用对第一局部影像和第二局部影像分别进行影像分块为像素块，因为像素块是影像的最小矩形，能够确定重叠区域的最小范围，将所有的像素块进行匹配，若发现相同的像素块，则说明该像素块处于第一遥感影像和第二遥感影像的重叠区域内，以该像素块为最小范围，将所有相同的像素块整合在一起逐步拼合整个大范围的重叠区域，得到第一遥感影像和第二遥感影像的重叠区域。例如，将第一局部影像和第二局部影像根据第一遥感影像和第二遥感影像的原始尺寸划分为像素块若干个，提取所述第一局部影像和第二局部影像的像素块1、2、3和像素块1’、2’、3’，将像素块1与像素块1’、2’、3’，若像素块1和像素块2’相同，则说明像素块1和像素块2’相对应，并且处于第一遥感影像和第二遥感影像的重叠区域内；对于其他像素数块同样进行上述匹配过程，直到完成所有像素块的匹配，所有具有相同影像信息的像素块的集合便是第一遥感影像和第二遥感影像的重叠区域。

优选地，上述S12中对于对个特征物的提取范围的选择，优先选择第一遥感影像和第二遥感影像周围预设环形区域，因为目前对于待匹配图像而言，常规对应相同特征物不会处于中心位置，因为中心位置的特征物相同，整个影像也就基本相同，这样也就不需要重新计算重叠区域；因此本实施例提取特征物的范围选取为第一遥感影像和第二遥感影像的预设环形区域，例如以第一遥感影像中心位置为基点向外扩充一定的范围，预设环形区域为第一遥感影像的边缘到扩充范围边缘之间的区域，第二遥感影像的预设环形区域的选取方式和第一遥感影像相同，通过选择第一遥感影像和第二遥感影像周围预设环形区域为特征物提取区域，能够避免完全相似的影像进行多余的重叠区域计算，一方面大范围的提取特征物保证了重叠区域计算的准确率，另一方面提高了影像匹配的效率。

优选地，如图2所示，上述S12特征物的提取范围还可以通过如下步骤来实现：

S121，获取所述第一遥感影像的第一拍摄高度信息和第一拍摄角度信息。

S122，获取所述第二遥感影像的第二拍摄高度信息和第二拍摄角度信息。

S123，利用所述第一拍摄高度信息和第一拍摄角度信息以及第二拍摄高度信息和第二拍摄角度信息对所述第一遥感影像和所述第二遥感影像进行重叠区域概率估计，得到各个方位出现重叠区域的概率。

S124，选取概率最大的方位，提取所述第一遥感影像在该方位的多个第一特征物；提取所述第二遥感影像在该方位的多个第二特征物。

具体地，利用第一拍摄高度信息和第一拍摄角度信息以及第二拍摄高度信息和第二拍摄角度信息对第一遥感影像和所述第二遥感影像进行重叠区域概率估计，得到各个方位出现重叠区域的概率；选取概率最大的方位，提取第一遥感影像在该方位的多个第一特征物；提取所述第二遥感影像在该方位的多个第二特征物；基于拍摄角度信息和拍摄高度信息判断第一遥感影像和第二遥感影像的方位，对各方位进行重叠区域概率估计，选取最大概率的方位的第一遥感影像和第二遥感影像，提取多个第一特征物和多个第二特征物，能够最大程度的保证重叠区域的选取的准确性。

优选地，如图3所示，上述S16可通过如下步骤来实现：

S161，将所述第一局部影像划分为多个第一像素块；将所述第二局部影像划分为多个第二像素块，所述第一像素块和所述第二像素块的大小相等。

S162，将所述第一像素块与所述第二像素块分别进行比对，确定出局部相同的第一像素块和第二像素块以及全部相同的第一像素块和第二像素块。

S163，以局部相同的第一像素块和第二像素块作为边界，确定出所述重叠区域。

具体地，通过将选取的第一局部影像和第二局部影像划分为大小相等的多个第一像素块和多个第二像素块，然后将第一像素块和第二像素块进行对比；确定完全相同的第一像素块和第二像素块，即为重叠区域内的像素块；局部相同的第一像素块和第二像素块，即为重叠区域边界的像素块；根据局部相同的第一像素块和第二像素块确定重叠区域边界，从而确定重叠区域。

优选地，在上述S11步骤之后还包括如下步骤：

对所述第一遥感影像和所述第二遥感影像进行校正。

具体地，通过对第一遥感影像和第二遥感影像进行校正，以消除第一遥感影像和第二遥感影像之间的几何形变、尺度以及旋转差异，能够消除无人机低空飞行所拍摄影像由于无人机的旋转偏角、飞行高度以及俯仰角等情况对无人机所拍摄影像的影响。

本发明实施例提供的影像重叠区域计算方法，根据具体的影像重叠情况对提取特征物的区域进行了限定，排除了现实中能够通过肉眼就能直接计算出影像之间重叠区域的多余过程，直接缩小特征物提取范围，能够极大的提高对重叠区域计算的效率；以已经确定的相同特征物所在位置为基点扩大匹配范围选取局部影像，并对选取的局部影像进行像素匹配，能够精确地确定重叠区域的边界，从而精确地计算影像的重叠区域。

综上所述，本发明实施例不仅克服了因为无人机本身拍摄角度等因素无法准确控制导致影像重叠区域计算精准度低的问题，同时也提高了影像重叠区域计算的精准度，将必要匹配区域和非必要匹配区域区分开来，提高了影像匹配的准确率和效率。

实施例2

在本实施例中提供了一种影像重叠区域计算装置，该装置用于实现上述实施例1及其优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本发明实施例提供了一种影像重叠区域计算装置，如图4所示，该装置可以用于实现实施例1或者其任意可选实施方式所述的遥感影像重叠区域计算方法。如图4所示，该装置包括：获取模块10，提取模块20，判断模块30，确定模块40，选取模块50，和匹配模块60。其中，

获取模块10，用于获取第一遥感影像和第二遥感影像；

提取模块20，用于提取所述第一遥感影像周围的多个第一特征物，提取所述第二遥感影像周围的多个第二特征物；

判断模块30，用于将所述多个第一特征物与所述多个第二特征物进行匹配，判断是否存在相同特征物；

确定模块40，用于当判断出存在相同特征物时，确定所述相同特征物在所述第一遥感影像中的第一位置以及在第二遥感影像中的第二位置；

选取模块50，用于选取所述第一遥感影像在所述第一位置附近的第一局部影像和第二遥感影像在所述第二位置附近的第二局部影像；

匹配模块60，用于将所述第一局部影像和所述第二局部影像进行像素匹配，确定出存在相同图像信息的区域，作为所所述第一遥感影像和所述第二遥感影像的重叠区域。

本发明实施例提供的影像重叠区域计算装置，根据具体的影像重叠情况对提取特征物的区域进行了限定，排除了现实中能够通过肉眼就能直接计算出影像之间重叠区域的多余过程，直接缩小特征物提取范围，能够极大的提高对重叠区域计算的效率；以已经确定的相同特征物所在位置为基点扩大匹配范围选取局部影像，并对选取的局部影像进行像素匹配，能够精确地确定重叠区域的边界，从而精确地计算影像的重叠区域。

实施例3

本发明实施例提供了一种电子设备，如图5所示，该电子设备包括处理器21和存储器22，其中处理器21和存储器22可以通过总线或者其他方式连接，图4中以通过总线连接为例。

处理器21可以为中央处理器(CPU)。处理器21还可以为其它通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器22作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中遥感影像重叠区域计算方法对应的程序指令/模块。处理器21通过运行存储在存储器22中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中遥感影像重叠区域计算方法。

存储器22还可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器21所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或者其他非暂态固态存储器件。在一些实施例中，存储器22可选包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至处理器21。上述网络的实施例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述存储器22中存储一个或者多个模块，当被所述处理器21执行时，执行如图1-3所示实施实例中的遥感影像重叠区域计算方法。

上述电子设备具体细节可以对应参阅图1至图3所示的实施例中对应的相关描述和效果进行理解。此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。