在输入图像中检测注册图像的方法及相关装置、设备

摘要

本申请公开了一种在输入图像中检测注册图像的方法及相关装置、设备，其中方法包括：获取注册图像中的至少两个注册特征点，以及输入图像中的与注册特征点对应的至少两个输入特征点；根据注册特征点以及注册特征点对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；分别利用关系矩阵获得输入图像与注册图像之间的对应点对，计算对应点对之间的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；根据最优关系矩阵在输入图像中检测注册图像。能够检测小尺寸的注册图像在输入图像的位置。

说明书

技术领域

本申请涉及注册算法的技术领域，特别是涉及一种在输入图像中检测注册图像的方法及相关装置、设备。

背景技术

增强现实技术(Augmented Reality，缩写为AR)是一种将虚拟信息与真实世界巧妙融合的技术。虚拟现实技术(英文名称：Virtual Reality，缩写为VR)是一种囊括了计算机、电子信息、仿真技术于一体并通过计算机模拟虚拟环境来给人以环境沉浸感的技术。增强/虚拟现实是计算机视觉领域中热门的应用热点。算法通过摄像机作为输入设备，通过图像算法的处理，数字化周围环境的信息，从而获得与真实环境进行交互的体验。

现有的注册算法分为两类：深度学习和特征点法。其中，深度学习需要离线地训练，通过给定一组训练数据，来学习注册图像的表面特征，得到检测网络模型。在使用时，将图像输入到检测网络模型中，便可获得注册图像在图像上的位置。这类方法流程简洁高效，是一种端到端的设计方案。但该类方法计算量大、难以部署到边缘设备中且对小目标的检测能力有限。

目前，针对小目标的图像注册，行业内没有较好的技术方案对其进行定位处理。

发明内容

本申请提供一种在输入图像中检测注册图像的方法及相关装置、设备。

本申请第一方面提供了一种在输入图像中检测注册图像的方法，包括：获取注册图像中的至少两个注册特征点，以及输入图像中的与注册特征点对应的至少两个输入特征点；注册特征点包括注册特征点坐标，输入特征点包括输入特征点坐标；根据注册特征点以及注册特征点对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；分别利用关系矩阵获得输入图像与注册图像之间的对应点对，计算对应点对之间的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；根据最优关系矩阵在输入图像中检测注册图像。

因此，先获取注册图像中的至少两个注册特征点，以及输入图像中的与注册特征点对应的至少两个输入特征点；注册特征点包括注册特征点坐标，输入特征点包括输入特征点坐标，通过分别获取注册图像和输入图像上的特征点进行定位计算，以减少定位计算量和在一定程度上保证所获取的注册特征点及其对应的输入特征点所对应的关系矩阵能够定位注册图像在输入图像中的位置；再基于注册特征点以及注册特征点对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；分别利用关系矩阵获得输入图像与注册图像之间的对应点对，计算对应点对之间的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；根据最优关系矩阵在输入图像中检测注册图像，通过对至少一个关系矩阵进行相似度挑选，以进一步排除注册图像在输入图像中定位不准确的情况，提高在输入图像中检测注册图像的准确性和可靠性。上述方案能够实现针对小目标的注册图像的定位，并提高在输入图像中检测注册图像的准确性与鲁棒性。

其中，获取注册图像中的至少两个注册特征点，以及输入图像中的与注册特征点对应的至少两个输入特征点，包括：获取注册图像中的至少两个注册特征点，以及输入图像中的至少两个输入特征点；将每一个注册特征点与每一个输入特征点匹配，确定每一个注册特征点所对应的输入特征点。

因此，通过将获取的至少两个注册特征点和至少两个输入特征点进行匹配，以建立每个注册特征点和每个输入特征点之间的对应关系，从而基于每两个点对的对应关系进行注册图像的定位。

其中，获取注册图像中的注册特征点，以及输入图像中的与注册特征点对应的输入特征点，包括：分别获取到注册图像中的至少两个注册特征点及对应的描述子以及输入图像中的至少两个输入特征点及对应的描述子；将每个注册特征点的描述子与每个输入特征点的描述子进行比对，获得每个注册特征点的描述子与每个输入特征点的描述子之间的差异度；分别将与注册特征点之间的差异度小于差异度阈值的输入特征点确定为注册特征点对应的输入特征点。

因此，将每个注册特征点的描述子与每个输入特征点的描述子进行比对，获得每个注册特征点的描述子与每个输入特征点的描述子之间的差异度，并将与注册特征点之间的差异度小于差异度阈值的输入特征点确定为注册特征点对应的输入特征点，从而利用差异度确定注册特征点与输入特征点之间的对应关系。

其中，关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵；根据注册特征点以及注册特征点对应的输入特征点，计算注册图像到输入图像的关系矩阵，包括：基于每两个注册特征点以及两个注册特征点对应的两个输入特征点计算得到坐标关系矩阵、尺度关系矩阵以及方向关系矩阵；根据坐标关系矩阵、尺度关系矩阵以及方向关系矩阵，计算注册图像到输入图像的关系矩阵。

因此，基于两个注册特征点以及两个输入特征点求解得到坐标关系矩阵、尺度关系矩阵以及方向关系矩阵，进而计算注册图像到输入图像的关系矩阵，从而仅利用两对特征点对计算关系矩阵，来提高在输入图像中检测注册图像的效率与速度。

其中，基于两个注册特征点以及两个注册特征点对应的输入特征点计算得到坐标关系矩阵、尺度关系矩阵以及方向关系矩阵的步骤包括：根据两个注册特征点的中点坐标和两个输入特征点的中点坐标计算坐标关系矩阵；根据两个注册特征点的连线长度和两个输入特征点的连线长度计算尺度关系矩阵；根据两个注册特征点所形成的矢量和两个输入特征点所形成的矢量计算方向关系矩阵。

因此，通过根据两个注册特征点的中点坐标和两个输入特征点的中点坐标计算坐标关系矩阵、根据两个注册特征点的连线长度和两个输入特征点的连线长度计算尺度关系矩阵以及根据两个注册特征点所形成的矢量和两个输入特征点所形成的矢量计算方向关系矩阵，从而基于两个点对的注册特征点和输入特征点利用关系矩阵实现对输入图像上的注册图像的定位，并在一定程度上保证定位过程的准确性和可靠性。

其中，方法还包括：根据两个注册特征点的注册特征点坐标计算两个注册特征点的中点坐标、连线长度及矢量：根据两个输入特征点的输入特征点坐标计算两个输入特征点的中点坐标、连线长度及矢量。

因此，通过根据两个注册特征点的注册特征点坐标计算两个注册特征点的中点坐标、连线长度及矢量：根据两个输入特征点的输入特征点坐标计算两个输入特征点的中点坐标、连线长度及矢量，以基于上述参数对关系矩阵进行计算。

其中，分别利用关系矩阵获得输入图像与注册图像之间的对应点对，计算对应点对之间的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵，包括：根据误差平方和算法或归一化互相关计算对应点对之间的相似度。

因此，根据误差平方和算法或归一化互相关计算相似度，以提高对注册图像定位的准确性和可靠性。

其中，根据最优关系矩阵在输入图像中检测注册图像，包括：若相似度小于阈值，则确定输入图像中没有注册图像；若相似度大于等于阈值，则根据最优关系矩阵确定输入图像中注册图像的位置。

因此，通过相似度对最优关系矩阵进行进一步判断，使得最优关系矩阵确实反映注册图像的位置，以保证最优关系矩阵的可靠性和准确性。

本申请第二方面提供了一种在输入图像中检测注册图像的装置，包括：获取模块，用于获取注册图像中的至少两个注册特征点，以及输入图像中的与注册特征点对应的至少两个输入特征点；注册特征点包括注册特征点坐标，输入特征点包括输入特征点坐标；处理模块，用于根据注册特征点以及注册特征点对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；计算模块，用于分别利用关系矩阵获得输入图像与注册图像之间的对应点对，计算对应点对之间的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；确定模块，用于根据最优关系矩阵在输入图像中检测注册图像。

本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的在输入图像中检测注册图像的方法。

本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的在输入图像中检测注册图像的方法。

上述方案，本申请通过先获取注册图像中的至少两个注册特征点，以及输入图像中的与注册特征点对应的至少两个输入特征点；注册特征点包括注册特征点坐标，输入特征点包括输入特征点坐标，通过分别获取注册图像和输入图像上的特征点进行定位计算，以减少定位计算量和在一定程度上保证所获取的注册特征点及其对应的输入特征点所对应的关系矩阵能够定位注册图像在输入图像中的位置；再根据注册特征点及其对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；分别利用关系矩阵获得输入图像与注册图像之间的对应点对，计算对应点对之间的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；根据最优关系矩阵在输入图像中检测注册图像，通过对至少一个关系矩阵进行相似度挑选，以进一步排除注册图像在输入图像中定位不准确的情况，提高在输入图像中检测注册图像的准确性和可靠性。上述方案基于注册特征点和输入特征点进行注册图像的定位，能够实现针对小目标的注册图像的定位，并进一步提高在输入图像中检测注册图像的准确性与鲁棒性。

附图说明

图1是本申请在输入图像中检测注册图像的方法一实施例的流程示意图；

图2是本申请在输入图像中检测注册图像的方法另一实施例的流程示意图；

图3是本申请在输入图像中检测注册图像的装置一实施例的框架示意图；

图4是本申请电子设备一实施例的框架示意图；

图5为本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，可以存在三种关系，例如，A和/或B，可以：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般前后关联对象是一种“或”的关系。此外，本文中的“多”两个或者多于两个。

请参阅图1，图1是本申请在输入图像中检测注册图像的方法一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S11：获取注册图像中的至少两个注册特征点，以及输入图像中的与注册特征点对应的至少两个输入特征点；注册特征点包括注册特征点坐标，输入特征点包括输入特征点坐标。

在一个具体的实施场景中，注册图像可以为输入图像中的图像模板，在输入图像中检测注册图像可以为找到该图像模板在输入图像上的位置。

在输入图像中检测注册图像的方法可以针对小目标的注册图像进行查找。其中，小目标的注册图像的尺寸可以为5cm*5cm等较小尺寸，在此不做限定。在其他应用场景中，本实施例的在输入图像中检测注册图像的方法也可以针对其他非小目标的注册图像进行查找，在此也不做限定。由于注册图像的尺寸较小，因此，在一个具体的实施场景中，可以先将注册图像假定为某个具体形状，例如矩形、方形或三角形等，以将在输入图像中检测注册图像的方法简化成查找该形状在输入图像中的位置。

获取到注册图像中的至少两个注册特征点，以及输入图像中与注册特征点对应的至少两个输入特征点，以基于至少两个注册特征点和与注册特征点对应至少两个输入特征点对注册图像的位置进行确定。在一个具体的应用场景中，可以获取注册图像中10个、20个以及全部的注册特征点，以及获取输入图像中与注册特征点对应的10个、20个以及与全部注册特征点对应的输入特征点，以基于上述注册特征点和输入特征点对注册图像的位置进行确定。其中，注册特征点与输入特征点的数量在此不做限定。

注册特征点和输入特征点可以是通过ORB(Oriented FAST and Rotated BRIEF)算法提取注册图像和输入图像上的ORB特征点所得到的，或通过尺度不变特征变换(Scale-invariant feature transform，SIFT)算法提取注册图像和输入图像上的SIFT特征点所得到的，以及也可以是通过SURF(Speeded Up Robust Features)算法提取出注册图像和输入图像上的SURF特征点所得到的。上述特征提取算法能够基于图像提取出图像的特征点的坐标。在具体的应用场景中，特征提取算法可以是ORB算法、SIFT算法、SURF算法或其他能提取出坐标参数的特征提取算法中的一种或多种，在此不做限定。

在一个具体的实施场景中，获取到的注册图像中的至少一个注册特征点，包括注册特征点坐标，且获取到的输入图像中与注册特征点对应的至少一个输入特征点，包括输入特征点坐标。

步骤S12：根据注册特征点以及注册特征点对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵。

在上一步骤中，通过特征提取算法提取出注册图像上的注册特征点和输入图像上的输入特征点，其中，注册特征点中包括注册特征点坐标。输入特征点中包括输入特征点坐标。根据注册特征点中的注册特征点坐标以及注册特征点对应的输入特征点中的输入特征点坐标来计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵。

在一个具体的实施场景中，在获取到至少两个注册特征点和与注册特征点对应至少两个输入特征点后，基于至少两个注册特征点和其对应的至少两个输入特征点的相关特征进行关系矩阵的计算。在一个具体的实施场景中，当获取了10个注册特征点和10个与每一注册特征点相对应的输入特征点后，可以分别基于每两个注册特征点和输入特征点的相关特征计算注册图像到输入图像的关系矩阵，获得5个关系矩阵。在一个具体的实施场景中，当获取了20个注册特征点和20个与每一注册特征点相对应的输入特征点后，可以分别基于每个注册特征点和输入特征点的相关特征计算注册图像到输入图像的关系矩阵，获得20个关系矩阵。具体的注册特征点和输入特征点的数量可以根据实际应用进行设置，在此不做限定。

步骤S13：分别利用关系矩阵获得输入图像与注册图像之间的对应点对，计算对应点对之间的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵。

当获取至少一个关系矩阵后，分别利用各关系矩阵获得输入图像与注册图像之间的对应点对，并计算对应点对之间的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵。

在一个具体的实施场景中，当获取10个关系矩阵后，分别基于10个关系矩阵找到输入图像与注册图像上互相对应的点对，并计算对应点对之间的相似度，并将相似度最大的输入图像与注册图像所对应的一个关系矩阵作为最优关系矩阵。

在一个具体的实施场景中，相似度计算可以通过SSD误差平方和算法(Sum ofSquared Differences)或NCC归一化互相关(Normalized Cross Correlation)等方法进行计算，在此不做限定。

步骤S14：根据最优关系矩阵在输入图像中检测注册图像。

在上一步骤中获得了最优关系矩阵后，根据最优关系矩阵在输入图像中检测注册图像的位置，从而完成在输入图像中检测注册图像的目的。

通过上述方式，本实施例的在输入图像中检测注册图像的方法通过先获取注册图像中的至少两个注册特征点，以及输入图像中的与注册特征点对应的至少两个输入特征点；注册特征点包括注册特征点坐标，输入特征点包括输入特征点坐标，通过分别获取注册图像和输入图像上的特征点进行定位计算，以减少定位计算量和在一定程度上保证所获取的注册特征点及其对应的输入特征点所对应的关系矩阵能够定位注册图像在输入图像中的位置；再根据注册特征点及其对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；分别利用关系矩阵获得输入图像与注册图像之间的对应点对，计算对应点对之间的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；根据最优关系矩阵在输入图像中检测注册图像，通过对至少一个关系矩阵进行相似度挑选，以进一步排除注册图像在输入图像中定位不准确的情况，提高在输入图像中检测注册图像的准确性和可靠性。上述方案基于两对注册特征点和输入特征点进行注册图像的定位，能够实现针对小目标的注册图像的定位，并进一步提高在输入图像中检测注册图像的准确性与鲁棒性。

请参阅图2，图2是本申请在输入图像中检测注册图像的方法另一实施例的流程示意图。具体而言，可以包括如下步骤：

S21：获取注册图像中的至少两个注册特征点，以及输入图像中的至少两个输入特征点，将每一个注册特征点与每一个输入特征点匹配，确定每一个注册特征点所对应的输入特征点。

将注册图像T假定为一个有向矩形，并获取到注册图像T中的至少两个注册特征点，以及输入图像F中的至少两个输入特征点，其中，注册特征点包括注册特征点坐标，输入特征点包括输入特征点坐标。其中，注册特征点可以为注册图像中的ORB特征点、SIFT特征点、SURF特征点等，输入特征点可以为输入图像中的ORB特征点、SIFT特征点、SURF特征点等。

在一个具体的实施场景中，注册特征点和输入特征点的提取都可以采用ORB(Oriented FAST and Rotated BRIEF)算法、尺度不变特征变换(Scale-invariantfeature transform，SIFT)算法以及SURF(Speeded Up Robust Features)算法等特征提取算法中的一种或多种进行提取，在此不做限定。

在一个具体的应用场景中，在通过特征提取算法提取出注册图像T中的至少两个注册特征点和输入图像上的至少两个输入特征点后，可以将每一个注册特征点和每一个输入特征点进行匹配，以确定每一个注册特征点所对应的输入特征点。在一个具体的应用场景中，注册特征点和输入特征点的匹配方式可以通过将所有注册特征点和所有输入特征点分别进行一对一的暴力匹配描述子，从而确定每一个注册特征点所对应的输入特征点。

在另一个具体的应用场景中，也可以分别获取到注册图像中的至少两个注册特征点及对应的描述子以及输入图像中的至少两个输入特征点及对应的描述子，将每个注册特征点的描述子与每个输入特征点的描述子进行比对，获得每个注册特征点的描述子与每个输入特征点的描述子之间的差异度，分别将与某个注册特征点之间的差异度小于差异度阈值的输入特征点确定为该注册特征点对应的输入特征点，从而得到具有对应关系的注册特征点和输入特征点，通过上述方法依次确定所有的注册特征点对应输入特征点。差异度阈值的具体数值可以根据实际情况进行设定，在此不做限定。

其中，在对注册特征点和输入特征点的特征描述子进行匹配时，可能获得多对差异度小于差异度阈值的特征点，将每两对特征点所对应的注册特征点和输入特征点作为一组点对，以进行后续计算。

在一个具体的应用场景中，对所有注册特征点和所有输入特征点进行暴力匹配描述子后，得到多对差异度小于差异度阈值的特征点的点对，将所有点对进行集合，以使后续的计算过程基于每两对差异度小于差异度阈值的点对进行。其中，通过每两对差异度小于差异度阈值的点对进行计算能够提高在输入图像中检测注册图像的计算效率。

在一个具体的应用场景中，在将注册图像T假定为有向矩形后，通过一种矩形表示形式(x

在一个具体的实施场景中，当对注册图像T在输入图像F中的位置进行定位时，利用上述有向矩形的表示形式(x

S22：基于每两个注册特征点以及两个注册特征点对应的两个输入特征点计算得到坐标关系矩阵、尺度关系矩阵以及方向关系矩阵,根据坐标关系矩阵、尺度关系矩阵以及方向关系矩阵，计算注册图像到输入图像的关系矩阵。

枚举上一步骤中所获得的集合中的每两个获得的注册特征点和每两个输入特征点，以将两个注册特征点和两个输入特征点作为点对进行后续计算。在一个具体的应用场景中，当上步骤中获取差异度小于差异度阈值的了n个注册特征点输入特征点的点对后，根据每两个点对一一对应的关系及其包含的坐标计算注册图像T到输入图像F的关系矩阵，获得n/2个关系矩阵。

本步骤的关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵；而坐标关系矩阵与注册特征点坐标和输入特征点坐标相关，具体地，坐标关系矩阵包括第一坐标关系矩阵和第二坐标关系矩阵，其中，第一坐标关系矩阵与两个注册特征点坐标相关，第二坐标关系矩阵与两个输入特征点坐标相关，方向关系矩阵与两个注册特征点所形成的矢量和两个输入特征点所形成的矢量相关，尺度关系矩阵与两个注册特征点的连线长度和两个输入特征点的连线长度相关。下面将以单个关系矩阵的获取为例进行说明。

在一个具体的实施场景中，关系矩阵可以通过单应性矩阵进行表示，其中，单应性(Homography)变换是一种用来描述物体在各个不同的坐标系之间的位置映射关系，单应性变换对应的变换矩阵称为单应性矩阵。本实施例中将以关系矩阵为单应性矩阵H为例来对检测注册图像T在输入图像F中的位置的过程进行描述。可以理解的是，在其他实施例中，关系矩阵可以为其他用于描述物体在各个不同的坐标系之间的位置映射关系的变换矩阵，在此不做限定。

下面将以单个关系矩阵，也就是单应性矩阵H的获取为例进行说明。

先获取到两个注册特征点的第一注册特征点坐标(P

根据两个注册特征点的中点坐标和两个输入特征点的中点坐标计算第一坐标单应性矩阵H

通过对第一注册特征点和第二注册特征点进行连线，获得两个注册特征点的中点坐标，以及对第一输入特征点和第二输入特征点进行连线，获得两个输入特征点的中点坐标，基于上述中点坐标对第一坐标单应性矩阵H

由于将两个注册特征点与两个输入特征点分别进行连线，从而获得两个注册特征点所形成的矢量和两个输入特征点所形成的矢量，基于上述两个矢量之间夹角获取有向矩形与输入图像F之间的旋转角。具体公式如下：

由于余弦只能表示0到(-π)的角度，因此，在方向单应性矩阵H

方向单应性矩阵H

通过将两组对应点的中点进行连接，计算出对应点之间的长度S，具体公式如下：

其中，尺度单应性矩阵H

则本步骤中计算单应性矩阵H的计算公式为：

H＝H

具体地：

通过上述公式，即可根据每两个点对计算注册图像T到输入图像F的单应性矩阵H。从检测并确定注册图像T与输入图像F的坐标位置、注册图像T与输入图像F之间的角度差，以及注册图像T在输入图像F中的尺度，从而通过上述参数对注册图像T在输入图像F中的位置进行确定。其中，单应性矩阵H可以通过单应性矩阵进行表示。

当有至少两个点对需要计算出其对应的单应性矩阵时，也通过上述(1-8)的计算公式求得其对应的单应性矩阵H。

S23：分别利用关系矩阵获得输入图像与注册图像之间的对应点对，计算对应点对之间的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵。

其中，计算相似度的方式可以为对单应性矩阵H进行评分，在一个具体的应用场景中，可以通过SSD误差平方和算法(Sum of Squared Differences)，NCC归一化互相关(Normalized Cross Correlation)等方式得出，并将最大的相似度所对应的单应性矩阵H确定为最优单应性矩阵。

在一个具体的应用场景中，当获取了至少一个单应性矩阵H后，利用单个单应性矩阵H获得输入图像与注册图像之间的对应点对，即单个注册特征点(x，y)与对应的单个输入特征点(x′，y′)，并进一步获取单个注册特征点(x，y)在注册图像T上的像素强度值T(x，y)，以及对应的单个输入特征点(x′，y′)在输入图像F上的像素强度值F(x′，y′)。通过如下SSD误差平方和算法对应的计算公式对单应性矩阵H进行评分。

SSD(T,F)＝∑

其中，(x′，y′)是注册图像T上单个注册特征点(x，y)的在输入图像F上的对应点。SSD的值越小，说明相似度的相似度越大。

在一个具体的应用场景中，当获取了单应性矩阵H后，获取单应性矩阵H对应的单个注册特征点(x，y)在注册图像T上的平均像素强度值T，以及对应的单个输入特征点(x′，y′)在输入图像F上的平均像素强度值F。通过如下NCC归一化互相关算法对应的计算公式对单应性矩阵H进行评分。

其中，NCC的值域为[-1,1]。NCC函数的评分值越接近1，说明该单应性矩阵H所对应的注册图像T与输入图像F的相似度越大。

根据所采用的评分方法，将最大的相似度所对应的单应性矩阵H确定为最优单应性矩阵H

S24：若相似度小于阈值，则确定输入图像中没有注册图像,若相似度大于等于阈值，则根据最优关系矩阵确定输入图像中注册图像的位置。

判断上一步骤中所计算出来的各单应性矩阵所对应的相似度中的最大相似度是否小于阈值，如果最大的相似度小于阈值，则确定输入图像F中没有注册图像T；如果最大的相似度大于或等于阈值则根据最大相似度所对应的最优单应性矩阵H

通过本实施例中最终获得的单应性矩阵H

通过上述方式，本实施例的在输入图像中检测注册图像的方法通过先获取注册图像中的至少两个注册特征点，以及输入图像中的至少两个输入特征点，将每一个注册特征点与每一个输入特征点匹配，确定每一个注册特征点所对应的输入特征点，从而获得多个差异度满足阈值的点对，根据每两个点对计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵，从而增加注册图像到输入图像之间的关系矩阵，以在一定程度上保证所获取的点对所对应的关系矩阵能够定位注册图像在输入图像中的位置。本实施例获得了至少一个更新矩阵后，再根据误差平方和算法或归一化互相关计算相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵。最后判定最优关系矩阵对应的最大相似度是否小于阈值，若最大相似度小于阈值，则确定输入图像中没有注册图像，若最大相似度大于等于阈值，则根据最优关系矩阵确定输入图像中注册图像的位置。上述方案通过至少两个点对的注册特征点和输入特征点以及相似度判定来保证最终所获得的最优关系矩阵的准确性和可靠性，从而实现针对小目标的注册图像的定位，并提高在输入图像中检测注册图像的准确性与鲁棒性。

请参阅图3，图3是本申请在输入图像中检测注册图像的装置一实施例的框架示意图。在输入图像中检测注册图像的装置30包括获取模块31、处理模块32、计算模块33和确定模块34。获取模块31，用于获取注册图像中的至少两个注册特征点，以及输入图像中的与注册特征点对应的至少两个输入特征点；注册特征点包括注册特征点坐标，输入特征点包括输入特征点坐标；处理模块32，用于根据每两个注册特征点以及两个注册特征点对应的两个输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；计算模块33，用于分别利用关系矩阵获得输入图像与注册图像之间的对应点对，计算对应点对之间的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；确定模块34，用于根据最优关系矩阵在输入图像中检测注册图像。

上述方案，通过先获取注册图像中的至少两个注册特征点，以及输入图像中的与注册特征点对应的至少两个输入特征点；注册特征点包括注册特征点坐标，输入特征点包括输入特征点坐标，通过分别获取注册图像和输入图像上的特征点进行定位计算，以减少定位计算量和在一定程度上保证所获取的注册特征点及其对应的输入特征点所对应的关系矩阵能够定位注册图像在输入图像中的位置；再利用注册特征点以及注册特征点对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；分别利用关系矩阵获得输入图像与注册图像之间的对应点对，计算对应点对之间的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；根据最优关系矩阵在输入图像中检测注册图像，通过对至少一个关系矩阵进行相似度挑选，以进一步排除注册图像在输入图像中定位不准确的情况，提高在输入图像中检测注册图像的准确性和可靠性。上述方案能够实现针对小目标的注册图像的定位，并提高在输入图像中检测注册图像的准确性与鲁棒性。

在一些实施例中，获取模块31获取注册图像中的至少两个注册特征点，以及输入图像中的与注册特征点对应的至少两个输入特征点，包括：获取注册图像中的至少两个注册特征点，以及输入图像中的至少两个输入特征点；将每一个注册特征点与每一个输入特征点匹配，确定每一个注册特征点所对应的输入特征点。

区别于前述实施例，通过将获取的至少两个注册特征点和至少两个输入特征点进行匹配，以建立每个注册特征点和每个输入特征点之间的对应关系，从而基于每两个点对的对应关系进行注册图像的定位。

在一些实施例中，获取模块31获取注册图像中的注册特征点，以及输入图像中的与注册特征点对应的输入特征点，包括：分别获取到注册图像中的至少两个注册特征点及对应的描述子以及输入图像中的至少两个输入特征点及对应的描述子；将每个注册特征点的描述子与每个输入特征点的描述子进行比对，获得每个注册特征点的描述子与每个输入特征点的描述子之间的差异度；分别将与注册特征点之间的差异度小于差异度阈值的输入特征点确定为注册特征点对应的输入特征点。

区别于前述实施例，获取模块31将每个注册特征点的描述子与每个输入特征点的描述子进行比对，获得每个注册特征点的描述子与每个输入特征点的描述子之间的差异度，并将与注册特征点之间的差异度小于差异度阈值的输入特征点确定为注册特征点对应的输入特征点，从而利用差异度确定注册特征点与输入特征点之间的对应关系。

在一些实施例中，处理模块32的关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵；根据注册特征点以及注册特征点对应的输入特征点，计算注册图像到输入图像的关系矩阵，包括：基于每两个注册特征点以及两个注册特征点对应的两个输入特征点计算得到坐标关系矩阵、尺度关系矩阵以及方向关系矩阵；根据坐标关系矩阵、尺度关系矩阵以及方向关系矩阵，计算注册图像到输入图像的关系矩阵。

区别于前述实施例，基于两个注册特征点以及两个输入特征点求解得到坐标关系矩阵、尺度关系矩阵以及方向关系矩阵，进而计算注册图像到输入图像的关系矩阵，从而仅利用两对特征点对计算关系矩阵，来提高在输入图像中检测注册图像的效率与速度。

在一些实施例中，基于两个注册特征点以及两个注册特征点对应的输入特征点计算得到坐标关系矩阵、尺度关系矩阵以及方向关系矩阵的步骤包括：根据两个注册特征点的中点坐标和两个输入特征点的中点坐标计算坐标关系矩阵；根据两个注册特征点的连线长度和两个输入特征点的连线长度计算尺度关系矩阵；根据两个注册特征点所形成的矢量和两个输入特征点所形成的矢量计算方向关系矩阵。

区别于前述实施例通过根据两个注册特征点的中点坐标和两个输入特征点的中点坐标计算坐标关系矩阵、根据两个注册特征点的连线长度和两个输入特征点的连线长度计算尺度关系矩阵以及根据两个注册特征点所形成的矢量和两个输入特征点所形成的矢量计算方向关系矩阵，从而基于两个点对的注册特征点和输入特征点利用关系矩阵实现对输入图像上的注册图像的定位，并在一定程度上保证定位过程的准确性和可靠性。

在一些实施例中，方法还包括：根据两个注册特征点的注册特征点坐标计算两个注册特征点的中点坐标、连线长度及矢量：根据两个输入特征点的输入特征点坐标计算两个输入特征点的中点坐标、连线长度及矢量。

区别于前述实施例，通过根据两个注册特征点的注册特征点坐标计算两个注册特征点的中点坐标、连线长度及矢量：根据两个输入特征点的输入特征点坐标计算两个输入特征点的中点坐标、连线长度及矢量，以基于上述参数对关系矩阵进行计算。

在一些实施例中，根据最优关系矩阵在输入图像中检测注册图像，包括：若相似度小于阈值，则确定输入图像中没有注册图像；若相似度大于等于阈值，则根据最优关系矩阵确定输入图像中注册图像的位置。

在一些实施例中，分别利用关系矩阵获得输入图像与注册图像之间的对应点对，计算对应点对之间的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵，包括：根据误差平方和算法或归一化互相关计算对应点对之间的相似度。

区别于前述实施例，处理模块33根据误差平方和算法或归一化互相关计算相似度，以提高对注册图像定位的准确性和可靠性。

区别于前述实施例，确定模块34通过相似度对最优关系矩阵进行进一步判断，使得最优关系矩阵确实反映注册图像的位置，以保证最优关系矩阵的可靠性和准确性。

请参阅图4，图4是本申请电子设备一实施例的框架示意图。电子设备40包括相互耦接的存储器41和处理器42，处理器42用于执行存储器41中存储的程序指令，以实现上述任一在输入图像中检测注册图像的方法实施例的步骤。在一个具体的实施场景中，电子设备40可以包括但不限于：微型计算机、服务器，此外，电子设备40还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器42用于控制其自身以及存储器41以实现上述任一在输入图像中检测注册图像的方法实施例的步骤。处理器42还可以称为CPU(Central Processing Unit，中央处理单元)。处理器42可能是一种集成电路芯片，具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器42可以由集成电路芯片共同实现。

上述方案，能够提高在输入图像中检测注册图像的效率和准确性。

请参阅图5，图5为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质50存储有能够被处理器运行的程序指令501，程序指令501用于实现上述任一在输入图像中检测注册图像的方法实施例的步骤。

上述方案，能够提高在输入图像中检测注册图像的效率和准确性。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。