图像特征点匹配对处理、图像检索方法及设备

摘要

本发明实施例公开了一种图像特征点匹配对处理方法，包括：提取待匹配图像的特征点，并获取特征点的不变量；提取待匹配图像的显著性区域，并获取待匹配图像之间的显著性区域匹配对；根据特征点的不变量，获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。本发明实施例还提供图像检索方法以及相关设备。本发明实施例充分利用了特征点之间的空间约束关系，即特征点所在的显著性区域，从而能够减小特征点匹配对的误匹配率，提高了特征点匹配对获取准确性。

说明书

技术领域

本发明涉及通信技术领域，具体涉及一种图像特征点匹配对处理、图像检索方法及设备。

背景技术

在图像处理领域，常需要从待匹配图像1中获取与待匹配图像2的特征点B相匹配的特征点A，称特征点A与特征点B为待匹配图像1与待匹配图像2的特征点匹配对。获取特征点匹配对后，可以根据特征点匹配对进行图像匹配、图像检索等应用。

目前特征点匹配对获取方法包括如下步骤：提取待匹配图像的特征点并获取特征点的不变量；对于待匹配图像1的每一个特征点j，根据特征点的不变量，从待匹配图像2的所有特征点中获取与特征点j相匹配的特征点k，将特征点j、k作为待匹配图像1、2之间的特征点匹配对。

在对现有技术的研究和实践过程中，本发明的发明人发现，目前图像特征点匹配对获取方法是从待匹配图像2的所有特征点中获取与特征点j相匹配的特征点k，由于是从待匹配图像所有特征点中获取相匹配的特征点，常常会将两个图像不同区域中的特征点判断为匹配的特征点(实际上并不是)，存在着准确性较低的缺点。

发明内容

本发明实施例提供一种图像特征点匹配对处理、图像检索方法及设备。

本发明实施例提供了一种图像特征点匹配对处理方法，包括：

提取待匹配图像的特征点，并获取特征点的不变量；

提取待匹配图像的显著性区域，并获取待匹配图像之间的显著性区域匹配对；

根据特征点的不变量，获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。

本发明实施例提供了一种图像检索方法，包括：

提取待检索图像的显著性区域，并获取该显著性区域的不变量；

提取待检索图像的特征点，并获取该特征点的不变量；

在预置的第一类索引库中，获取与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的一组图像，第一类索引库为基于图像库中每幅图像的所有显著性区域的不变量的索引库；

在获取的所述一组图像中，获取在第二类索引库中与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的图像；所述第二类索引库为基于图像库中每幅图像的所有特征点的不变量的索引库。

本发明实施例提供了一种图像特征点匹配对处理设备，包括：

特征点不变量获取模块，用于提取待匹配图像的特征点，并获取特征点的不变量；

区域匹配对获取模块，用于提取待匹配图像的显著性区域，并获取待匹配图像之间的显著性区域匹配对；

特征点匹配对获取模块，用于根据特征点的不变量，获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。

本发明实施例提供了一种图像检索设备，包括：

待检索图像信息获取模块，用于提取待检索图像的显著性区域，并获取该显著性区域的不变量；提取待检索图像的特征点，并获取该特征点的不变量；

第一匹配模块，用于在预置的第一类索引库中，获取与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的一组图像，第一类索引库为基于图像库中每幅图像的所有显著性区域的不变量的索引库；

第二匹配模块，用于在第一匹配模块获取的所述一组图像中，获取在第二类索引库中与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的图像；所述第二类索引库为基于图像库中每幅图像的所有特征点的不变量的索引库。

从以上技术方案可以看出，相对于现有技术，本发明实施例包括如下有益效果：

本发明实施例的图像特征点匹配对处理方法中，先获取待匹配图像之间的显著性区域匹配对，再获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对，保证了待匹配图像之间的特征点匹配对位于一对显著性区域匹配对中，即保证了待匹配图像之间的特征点匹配对的空间位置相差较小。而现有技术中，由于直接将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配，可能导致将不应确定为图像之间的特征点匹配对的，空间位置相差较大的两个特征点误判为图像之间的特征点匹配对。由此可见，本实施例充分利用了特征点之间的空间约束关系，即特征点所在的显著性区域，从而能够减小图像特征点匹配对的误匹配率，提高了获取的图像特征点匹配对的准确性。

本发明实施例的图像检索方法中，先基于显著性区域的不变量将检索范围缩小到图像库中的一组图像，再在这一组图像中基于特征点的不变量进行图像检索，因此，本实施例只有在显著性区域的不变量能够匹配的条件下，才进行特征点的不变量的匹配；而现有技术中仅仅基于特征点的不变量进行图像检索，可能出现将与待检索图像的显著性区域不变量相差较大的图像误判为与待检索图像匹配的图像。由此可见，本实施例充分利用了特征点之间的空间约束关系，即特征点所在的显著性区域，从而能够提高图像检索的准确性。并且，本实施例先将检索范围缩小为一组图像，再在该一组图像中进行基于特征点的不变量的图像检索，在图像库具有大量图像的情况下，可以提高图像检索的速度。

附图说明

图1是本发明实施例中图像特征点匹配对处理方法的一个实施例示意图；

图2是本发明实施例中图像特征点匹配对处理方法的另一实施例示意图；

图3是本发明实施例中图像特征点匹配对处理方法的另一实施例示意图；

图4是本发明实施例中图像检索方法的一个实施例的示意图；

图5是本发明实施例中图像检索方法的另一实施例的示意图；

图6是本发明实施例中图像特征点匹配对处理设备的一个实施例示意图；

图7是本发明实施例中图像特征点匹配对处理设备的另一实施例示意图；

图8是本发明实施例中图像检索设备的一个实施例的示意图。

具体实施方式

本发明实施例提供一种图像特征点匹配对处理、图像检索方法及设备。以下分别进行详细说明。

请参阅图1，本发明实施例中图像特征点匹配对处理方法的一个实施例包括：

101、提取待匹配图像的特征点；

本实施例中，可以采用基于图像灰度图提取局部特征(SIFT，Scale InvariantFeature Transformation)算法或其它公知算法提取待匹配图像的特征点。

本发明实施例中，待匹配图像为待进行特征点匹配，即获取特征点匹配对的图像。步骤101包括分别获取一对待匹配图像的特征点。

102、获取特征点的不变量；

步骤102包括分别获取一对待匹配图像特征点的不变量。可以用特征点的描述子表示特征点的不变量，获取特征点的描述子的具体方法为现有公知技术，此处不作赘述。

103、提取待匹配图像的显著性区域；

步骤103包括分别获取每幅待匹配图像的显著性区域。提取每幅待匹配图像的显著性区域可以采用以下两种方式。

方式1具体包括：

(1)划分特征点的归属集合，具体包括：针对每幅待匹配图像所有的特征点进行如下操作：以任一特征点为目标特征点，对于每一个位于目标特征点周围的特征点，若其与目标特征点之间连线上的图像点的灰度跳变在预定灰度阈值内，则将其与目标特征点归属于同一个集合。

(2)确定显著性区域的边界，具体可以包括以下(a)(b)两个步骤：

(a)确定具有粗边界的多个区域，可以包括下面三个步骤：

1)先把图像尺寸缩减为预设的阈值，再将图像傅立叶变换到频谱域。

2)计算图像的对数谱以及谱残差，把谱残差图像反变换到空间域，即可得到包括多个具有粗边界的区域的图像，也称为区域边界图像。

3)把区域边界图像恢复到原始图像大小，恢复后的图像包括多个具有粗边界的区域的图像。

(b)确定显著性区域，具体可以包括：判断步骤(1)划分的一个归属集合中的所有特征点是否均包含在(a)中确定的一个区域的边界内，若是，则确定该有边界的区域为显著性区域；否则对该归属集合内的所有特征点进行如下操作：以该归属集合内的任一特征点作为初始点，以预定灰度阈值进行搜索，当大于预定灰度阈值时停止搜索，并将停止时的像素点作为该归属集合的边界点，将归属集合的所有边界点构成的区域确定为显著性区域。

方式2具体包括：

将待匹配图像等分成多块小片，再将特征点的分布密度及位置的相似度满足预定阈值的小片合并为一个区域作为显著性区域。

104、获取待匹配图像之间的显著性区域匹配对；

在一对待匹配图像之间，例如待匹配图像1、2，若待匹配图像1中的显著性区域A与待匹配图像2中的显著性区域B相匹配，则将显著性区域A、B称为待匹配图像1、2之间的显著性区域匹配对。

在提取待匹配图像的显著性区域之后，可以先获取显著性区域的区域不变量，再根据该区域不变量，采用最佳欧式距离法或其它方法获取待匹配图像之间的显著性区域匹配对；也可以将待匹配图像之间，特征点的分布密度及位置的相似度满足预定阈值的显著性区域对作为显著性区域匹配对。

105、根据特征点的不变量，获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。

假设待匹配图像1中的显著性区域A与待匹配图像2中的显著性区域B为待匹配图像1、2之间的显著性区域匹配对，那么，可以采用最佳欧式距离法或其它方法，将显著性区域A中的所有特征点与显著性区域B中的所有特征点进行特征点匹配，获取显著性区域A、B之间的特征点匹配对作为待匹配图像之间的特征点匹配对，从而保证了待匹配图像之间的特征点匹配对位于一对显著性区域匹配对中，限定了待匹配图像之间的特征点匹配对的空间位置。

此处需要说明的是，若未获取到显著性区域匹配对，则可以采用现有技术获取待匹配图像之间的特征点匹配对，即将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配，获取待匹配图像之间的特征点匹配对。

本实施例中，先获取待匹配图像之间的显著性区域匹配对，再获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对，保证了待匹配图像之间的特征点匹配对位于一对显著性区域匹配对中，即保证了待匹配图像之间的特征点匹配对的空间位置相差较小。而现有技术中，由于直接将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配，可能导致将不应确定为特征点匹配对的、空间位置相差较大的两个特征点误判为图像之间的特征点匹配对。由此可见，本实施例充分利用了特征点之间的空间约束关系，即特征点所在的显著性区域，从而能够减小图像特征点匹配对的误匹配率，提高了获取的图像特征点匹配对的准确性。

在获取到待匹配图像之间的特征点匹配对之后，还可以对特征点匹配对进行，根据获取的特征点匹配对获取对极几何(EG，Epipolar Geometry)参数，进而判断图像是否匹配，下面对上述处理过程进行详细描述。

请参阅图2，本发明实施例中图像特征点匹配对处理方法的另一实施例包括：

201、提取待匹配图像的特征点；

步骤201请参照对步骤101的说明。

202、获取特征点的不变量；

步骤202请参照对步骤102的说明。

203、提取待匹配图像的显著性区域；

步骤203请参照对步骤103的说明。

204、获取待匹配图像之间的显著性区域匹配对；

步骤204请参照对步骤104的说明。

205、根据特征点的不变量，获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对；

步骤205请参照对步骤105的说明。

206、判断获取到的待匹配图像之间的特征点匹配对数目是否大于等于预设的阈值，若是，则执行步骤209，否则执行步骤207；

预设的阈值可以根据EG参数的准确性要求进行设置，EG参数的准确性要求越高，预设的阈值越大。一般需要将阈值设置大于等于6，即待匹配图像特征点匹配对数目需要满足大于等于6，才执行步骤209，否则执行步骤207。

可以理解的是，若步骤205中获取的待匹配图像之间的特征点匹配对数目小于预设的阈值，也可以采用现有公知技术重新获取待匹配图像之间的特征点匹配对，即执行步骤207。

207、将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配，获取待匹配图像之间的特征点匹配对；

步骤207具体可以为：对于待匹配图像1的每一个特征点j，根据特征点的不变量，从待匹配图像2的所有特征点中获取与特征点j相匹配的特征点k，将特征点j、k作为待匹配图像1、2之间的特征点匹配对。步骤207具体可以采用最佳欧式距离法或其它现有公知方式实现。

可以理解的是，在执行步骤204之后，可以先获取一对显著性区域匹配对之间的特征点匹配对，判断这些特征点匹配对数目是否大于等于预设的阈值，若是，则根据该对显著性区域匹配对之间的特征点匹配对获取待匹配图像之间的对极几何参数，否则获取下一对显著性区域匹配对之间的特征点匹配对，并判断已经获取的两对显著性区域匹配对之间的特征点匹配对数目是否大于等于预设的阈值，若是，则根据这两对显著性区域匹配对之间的特征点匹配对获取待匹配图像之间的对极几何参数，依次循环。若在所有显著性区域匹配对中总共获取到的特征点匹配对数目还不到预设的阈值，则执行步骤207。

208、判断步骤207中获取的特征点匹配对数目是否大于等于预设的阈值，若是，则执行步骤209，否则结束操作；

209、根据特征点匹配对获取待匹配图像之间的对极几何参数。

根据特征点匹配对获取待匹配图像之间的对极几何参数的具体实现方式可为现有公知技术，此处不作赘述。

在获得对极几何参数之后，可以采用对极几何参数对一幅待匹配图像进行变换，再将变换后的该图像与另一幅待匹配图像进行比对，若相似值在预定值内，则确定两幅待匹配图像相匹配。具体的变换与比对方式为现有公知技术，此处不作赘述。

本实施例中，先获取待匹配图像之间的显著性区域匹配对，再获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对，保证了待匹配图像之间的特征点匹配对位于一对显著性区域匹配对中，即保证了待匹配图像之间的特征点匹配对的空间位置相差较小，从而能够减小待匹配图像特征点匹配对的误匹配率，提高获取待匹配图像之间的对极几何参数的准确性。

为便于理解，下面通过另一具体实施例对本发明实施例中的图像特征点匹配对处理方法进行详细阐述。

请参阅图3，本发明另一实施例中图像特征点匹配对处理方法包括：

301、提取待匹配图像的特征点并获取特征点的不变量；

302、提取待匹配图像的显著性区域；

本实施例中采用步骤103中所述的方式1，并且，在执行方式1中的(2)之后，进一步包括：

(3)筛选显著性区域，具体可包括如下三个步骤：

1)若显著性区域中特征点个数小于预定个数(具体实施中可以定义预定个数为5)，则把该显著性区域剔除。

2)对于跨边界或者所包含的特征点个数占了整幅图像所有特征点个数的80％以上的显著性区域，其边界取为以该区域的中心特征点为圆心、半径为窗口大小的圆，具体实施中，窗口大小W可以为：W＝3σ，σ为获取特征点的不变量时所取的尺度大小。

3)对于纹理复杂的显著性区域，其边界取为以该区域的中心特征点为圆心、窗口大小为半径的圆，具体实施中，窗口大小W可以为：W＝3σ，σ为获取特征点的不变量时所取的尺度大小。

按上述步骤筛选显著性区域，可提高提取显著性区域的准确性。

303、获取显著性区域的区域不变量；

本实施例中，在提取显著性区域后，先获取显著性区域的区域不变量，再根据区域不变量获取待匹配图像之间的显著性区域匹配对。

本实施例中，获取显著性区域的区域不变量的具体方式如下：

$>V_k={[m_k,\overrightarrow{d_k^{\prime }},\overrightarrow{r_k^{\prime }}]}^{\prime }$>

向量V_k为显著性区域A_k的区域不变量，m_k为显著性区域A_k的归一化二阶矩，d_k为显著性区域A_k的中心特征点的不变量，r_k为显著性区域A_k的面积简比向量。

m_k可通过如下方式获得，假设图像灰度用f(x，y)表示，则：

$>m_k={({\eta }_{20}-{\eta }_{02})}^2+4{\eta }_{11}^2$>

其中，$>{\eta }_{\mathrm{pq}}={\mu }_{\mathrm{pq}}/{\mu }_{00}^r,$>r＝(p+q+2)/2＝2，p，q∈[0，2]

$>{\mu }_{\mathrm{pq}}=\underset{x}{\Sigma }\underset{y}{\Sigma }{(x-\bar{x})}^p{(y-\bar{y})}^{q}f(x,y),$>$>\bar{x}=\frac{m_{10}}{m_{00}},$>$>\bar{y}=\frac{m_{01}}{m_{00}},$>

$>m_{10}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{xf}(x,y),$>$>m_{01}=\underset{x}{\Sigma }\underset{y}{\Sigma }\mathrm{yf}(x,y);$>

r_k可通过现有公知方式获得，也可通过如下方式获得，即假设O_k为显著性区域A_k的中心特征点，显著性区域A_k的面积为Δ_k，不同于O_k的两个特征点O_i、O_j和中心特征点O_k组成的三角形面积为Δ_ijk，则：

r_k＝{r_ij}，$>{\Delta }_{\mathrm{ijk}}=\left(\begin{array}{ccc}{x}_i& x_j& x_k\\ y_i& y_j& y_k\\ 1& 1& 1\end{array}\right),$>

其中，R为预设的经验值，可取为256，并且要求：|Δ_ijk|＞th，th为面积简比阈值；

再把r_k在[-R，R]上进行直方图排列，以便获取能够表示显著性区域A_k的面积简比序列，组成一个2*R维的仅仅包含0和1的向量，取R＝256时，这个2*R＝512长的向量，具体实施中表示为64字节的向量。

进一步地，考虑到面积简比的计算量，确定三角形顶点的原则是以中心特征点O_k为三角形的一个顶点，根据预设的三角形面积下限值，搜索能使三角形面积最小的另外两个特征点作为三角形的另两个顶点。

此处需要说明的是，V_k采用r_k是为了减少提取显著性区域的误差的影响，因此，获取显著性区域的区域不变量V_k具体也可以为：

$>V_k={[m_k,\overrightarrow{d_k^{\prime }}]}^{\prime }.$>

304、根据区域不变量获取待匹配图像之间的显著性区域匹配对；

本实施例中，步骤304中获取待匹配图像之间所有的显著性区域匹配对。

可以采用最佳欧式距离法或其它现有公知方法获取待匹配图像之间的显著性区域匹配对，其中，前者的具体实现方式如下：

分别在一对待匹配图像中选取一个显著性区域(DR)，这两个待匹配的DR区域，分别用k，j标识，其欧式距离表示为

$>D_j^k=\alpha {(m_k-m_j^{\prime })}^2+\beta {(d_k-d_j^{\prime })}^2,$>

其中，α，β分别表示权值。

假设D_best^k，D_second^k分别表示一个待匹配图像的第k个DR与另一个待匹配图像中所有DR之间欧式距离最小的和次小的欧式距离，那么，若满足

$>\mathrm{threshold}\times D_{\mathrm{best}}^k\le D_{\sec \mathrm{ond}}^k,$>

则上述一个待匹配图像的第k个DR与上述最小的欧式距离对应的另一个待匹配图像中的DR相匹配，其中，threshold为预设的最佳区域匹配阈值，具体实施例中，可以取threshold＝1.5，α＝0.6，β＝1-α。

进一步地，可以再通过判断上述确定匹配的两个显著性区域k和j是否满足

$>B_j^k>\mathrm{nt},$>

若满足，则最终确定这两个显著性区域k和j相匹配，否则确定这两个显著性区域k和j不相匹配，以减小显著性区域匹配的误匹配率，其中，

$>B_j^k=\Sigma r_k{r}_j^{\prime },$>

∑表示统计二进制位为1的个数，nt为预设的相似度下限值，r_k和r_j为显著性区域k和j对应的面积简比向量，具体实施例中，可以取nt＝3。

305、根据特征点的不变量获取一对显著性区域匹配对中的特征点匹配对作为待匹配图像之间的特征点匹配对；

本实施例中，通过最佳欧式距离法，根据特征点的不变量获取显著性区域匹配对中的特征点匹配对，具体实现方式如下：

在显著性区域匹配对(分别为DR1和DR2)中分别找1个特征点，分别用k，j标识这两个特征点，这两个特征点之间的欧式距离表示为

$>d_j^k={(d_k-d_j)}^2.$>

假设d_best^k，d_second^k分别表示一个DR1的第k个特征点与DR2的所有特征点之间欧式距离最小的和次小的欧式距离，那么，若满足

$>\mathrm{threshold}1\times d_{\mathrm{best}}^k\le d_{\sec \mathrm{ond}}^k,$>

则上述显著性区域DR1的第k个特征点与显著性区域DR2中上述最小的欧式距离对应的特征点相匹配，其中，threshold1为预设的最佳特征点匹配阈值。

306、判断上述一对显著性区域匹配对中的特征点匹配对是否大于等于1对，若大于等于，则执行步骤307；否则执行步骤305以获取下一对显著性区域匹配对中的特征点匹配对；

307、判断已获取的待匹配图像之间的特征点匹配对是否大于等于6对，若大于等于，执行步骤309，否则执行步骤308；

本实施例中，预设的阈值为6，实际应用中，也可以根据系统要求的准确性来设定其他阈值，如7、8。

308、判断是否还剩下没有获取特征点匹配对的显著性区域匹配对，若是，则执行步骤305，以获取下一对显著性区域匹配对中的特征点匹配对，否则执行步骤310；

为便于理解步骤305至308，下面进行举例说明：

假设待匹配图像1、2之间有3对显著性区域匹配对，分别称为显著性区域匹配对A、B、C，若先从显著性区域匹配对A获取到3对特征点匹配对，那么，步骤307判定已获取的待匹配图像之间的特征点匹配对，即上述3对特征点匹配对小于6对，触发步骤308，并且，步骤308判定还剩下没有获取特征点匹配对的显著性区域匹配对B、C，触发执行步骤305以获取显著性区域匹配对B中的特征点匹配对；

若从显著性区域匹配对B获取到2对特征点匹配对，那么，步骤307判定已获取的待匹配图像之间的特征点匹配对，即A中的3对和B中的2对特征点匹配对，共5对，小于6对，触发步骤308，并且，步骤308判定还剩下没有获取特征点匹配对的显著性区域匹配对C，触发执行步骤305以获取显著性区域匹配对C中的特征点匹配对；

若从显著性区域匹配对C获取到4对特征点匹配对，那么，步骤307判定已获取的待匹配图像之间的特征点匹配对，即A中的3对、B中的2对和C中的4对特征点匹配对，共9对，大于6对，触发步骤309。

309、根据已获取的待匹配图像之间的显著性区域匹配对中的特征点匹配对获取待匹配图像之间的对极几何参数。

步骤309的具体执行方式如下：

为叙述方便，把一对待匹配图像分别称为左图和右图，左图和右图中对应的特征点匹配对用<p_r，p_l>表示，其中，p_r，p_l分别为左右图中相匹配的特征点的二维位置向量，p_r，p_l之间的变换可以表示如下：

$>\overrightarrow{p_r}=A\overrightarrow{p_l}+\overrightarrow{T}---\left(1\right)$>

其中：A和T为需要计算的EG的具体参数，A为2x2矩阵，T为2维向量，定义

展开式(1)得到：

$>\left(\begin{array}{c}{x}_r=a_{11}{x}_l+a_{12}{y}_l+t_x\\ y_r=a_{21}{x}_l+a_{22}{y}_l+t_y\end{array}\right)---\left(2\right)$>

对于上述一对显著性区域匹配对及其特征点匹配对执行如下步骤：

(a)对于一个DR区域来说，可以由该区域的归一化二阶矩所对应的以中心特征点为中心的椭圆表示，左右图中的上述一对显著性区域匹配对的椭圆分别表示为：

$>\frac{x_r^2}{p^2}+\frac{y_r^2}{q^2}=1---\left(3\right)$>

$>{\mathrm{ax}}_l^2+{\mathrm{bx}}_l{y}_l+c{y}_l^2+{\mathrm{dx}}_l+{\mathrm{ey}}_l+f=0---\left(4\right)$>

其中：p，q，a，b，c，d，e，f分别为左右图中的上述一对显著性区域匹配对的椭圆系数。

把式(2)代入式(3)消除x_r，y_r后得到：

$>(q^2{a}_{11}^2+p^2{a}_{21}^2)x_l^2+2(q^2{a}_{11}{a}_{12}+p^2{a}_{21}{a}_{22})x_l{y}_l+---\left(5\right)$>

$>(q^2{a}_{12}^2+p^2{a}_{22}^2)y_l^2+2(q^2{a}_{11}{t}_x+p^2{a}_{21}{t}_y)x_l+$>

$>2(q^2{a}_{12}{t}_y+p^2{a}_{22}{t}_x)y_l+$>

$>q^2{t}_x^2+p^2{t}_y^2-p^2{q}^2=0$>

把式(4)和式(5)比对后可得到下式：

$>\left(\begin{array}{c}{q}^2{a}_{11}^2+p^2{a}_{21}^2=a\\ 2(q^2{a}_{11}{a}_{12}+p^2{a}_{21}{a}_{22})=b\\ q^2{a}_{12}^2+p^2{a}_{22}^2=c\\ 2(q^2{a}_{11}{t}_x+p^2{a}_{21}{t}_y)=d\\ 2(q^2{a}_{12}{t}_y+p^2{a}_{22}{t}_x)=e\\ q^2{t}_x^2+p^2{t}_y^2-p^2{q}^2=f\end{array}\right)---\left(6\right)$>

前面已知p，q，a，b，c，d，e，f，即可得到关于A和T未知参数a₁₁，a₁₂，a₂₁，a₂₂，t_x，t_y的方程组，即式(6)，可见，对一对显著性区域匹配对执行上述步骤共获取6个二次方程。

(b)假设在第一对显著性区域匹配对中获取的特征点匹配对总数目为M，且M＞6，将该M对特征点匹配对的二维位置向量代入式(2)，得到M×2个方程。

(c)根据上述6+M×2个方程迭代计算a₁₁，a₁₂，a₂₁，a₂₂，t_x，t_y，获得EG参数A和T。

假设第一对、第二对显著性区域匹配对中获取的特征点匹配对数目分别为M对、N对，且1≤M＜6，N+M＞6，则将该N+M对特征点匹配对的二维位置向量代入式(2)，得到(N+M)×2个方程。在(N+M)×2个方程的基础上，可以进一步加上根据式(6)分别获得的第一对、第二对显著性区域匹配对的2组6个二次方程，迭代计算a₁₁，a₁₂，a₂₁，a₂₂，t_x，t_y，获得EG参数A和T。

此处也可以采用现有技术的公知技术，即只根据M×2个方程迭代计算a₁₁，a₁₂，a₂₁，a₂₂，t_x，t_y，获得EG参数A和T，也就是说，可以不获得式(6)，但需要强调的是，这里的计算方式虽然和现有技术一样，都只根据M×2个方程迭代计算EG参数，但是，本实施例中的M对特征点匹配对中，每一对特征点匹配对都位于一对显著性区域匹配对中，空间位置相差较小；而现有技术中，由于直接将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配，可能导致将不应确定为特征点匹配对的、空间位置相差较大的两个特征点误判为图像之间的特征点匹配对。

因此，本实施例中，由于进行迭代计算的M对特征点匹配对中，每一对特征点匹配对均位于显著性区域匹配对中，因此，能够保证待匹配图像之间的特征点匹配对的空间位置相差较小，可避免将空间位置相差较大的两个特征点误判为图像之间的特征点匹配对的问题，提高图像特征点匹配对的准确性，从而提高了迭代精度，提高了EG参数的准确性。

进一步地，获得EG参数之后，可以进行步骤(d)以实现图像匹配。

(d)根据式(2)，对应于已经获取到的特征点匹配对，估计出的右图对应特征点误差为：

Δ＝(a₁₁x_l+a₁₂y_l+t_x-x_r)²+(a₂₁x_l+a₂₂y_l+t_y-y_r)²        (7)

从已经获取的所有特征点匹配对中任意取预定数量的特征点匹配对，分别代入式(7)，并得到这些Δ的平均值，若平均值小于预定阈值，则确定待匹配图像之间相匹配。

若平均值不小于预定阈值，则确定待匹配图像之间不相匹配。

若平均值不小于预定阈值，也可以再次从已经获取的所有特征点匹配对中任意取预定数量的特征点匹配对，分别代入式(7)，并得到Δ的平均值，若这一次的平均值依然小于预定阈值，则确定待匹配图像之间相匹配，否则确定待匹配图像之间不相匹配。

310、将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配，获取待匹配图像之间的特征点匹配对；

步骤310可以通过最佳欧式距离法实现，具体实现方式如下：

在待匹配图像1、2中分别找1个特征点，分别用m，n标识这两个特征点，这两个特征点之间的欧式距离表示为

$>d_n^m={(d_m-d_n)}^2.$>

假设d_bset^m，d_second^m分别表示待匹配图像1的第m个特征点与待匹配图像2的所有特征点之间欧式距离最小的和次小的欧式距离，那么，若满足

$>\mathrm{threshold}2\times d_{\mathrm{best}}^m\le d_{\sec \mathrm{ond}}^m,$>

则待匹配图像1的第m个特征点与待匹配图像2中上述最小的欧式距离对应的特征点相匹配，其中，threshold2为预设的最佳特征点匹配阈值。

本实施例中，步骤310也可以为：

(1)将待匹配图像A和B等分成多块小片，再将分布密度及特征点的位置的相似度满足第一预定阈值的小片合并为一个区域；

(2)初步估计特征点匹配对：对于待匹配图像A和B，先从A中选择一个特征点的分布密度最高的区域，将该区域的特征点和图像B中任一区域的特征点进行匹配(可以通过最佳欧式距离法)，若找到至少一对特征点匹配对，则进行步骤(3)，否则将图像A中该分布密度最高的区域的特征点和图像B中的另一个区域的特征点进行匹配。

(3)最终确定特征点匹配点对：假设步骤(2)中找到一对特征点匹配对，分别为图像A中的特征点c和图像B中的特征点d，那么，以特征点c与图像B中所有特征点进行匹配，获得特征点c在图像B中的最佳匹配特征点e，若特征点d与e为同一个特征点，则最终确定特征点c与d匹配，否则确定特征点c与d不匹配。

按步骤(2)与(3)遍历完待匹配图像A的所有区域。

311、判断步骤310中获得的待匹配图像特征点匹配对数目是否大于等于6对，若是，则执行步骤312，否则结束操作；

312、根据步骤310中获得的待匹配图像之间的特征点匹配对获取对极几何参数。

假设步骤310中获得的待匹配图像之间的特征点匹配对共P对，则可以将P对特征点匹配对的二维位置向量代入式(2)，得到P×2个方程，根据该P×2个方程计算a₁₁，a₁₂，a₂₁，a₂₂，t_x，t_y，获得EG参数A和T。在获得EG参数后，还可以将该EG参数代入式7，若满足Δ＜th，则确定待匹配图像之间相匹配，否则确定待匹配图像之间不匹配。

请参阅图4，本发明实施例中还提供了一种图像检索方法，包括如下步骤：

401、提取待检索图像的显著性区域，并获取待检索图像的显著性区域的不变量；

步骤401请参照对步骤103、302及303的说明。

402、提取待检索图像的特征点，并获取待检索图像特征点的不变量；

步骤402请参照对步骤101、102的说明。

403、在预置的第一类索引库中，获取与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的一组图像，第一类索引库为基于图像库中每幅图像的所有显著性区域的不变量的索引库；

不同的图像之间的显著性区域的不变量不同，因此，可以用每幅图像的所有显著性区域的不变量标记每幅图像，即可以用每幅图像的所有显著性区域的不变量作为第一类索引库的索引。

第一类索引库的预置过程具体可以包括：对图像库中所有图像的所有显著性区域的不变量进行聚类得到聚类中心，根据该聚类中心对图像库中每幅图像的所有显著性区域的不变量进行量化和矢量化得到每幅图像的第一矢量，作为该幅图像在第一类索引库中的索引，以减小每幅图像在第一类索引库中索引的数据大小。

将待检索图像所有显著性区域的不变量与第一类索引库中每幅图像的所有显著性区域的不变量进行匹配，获取匹配度满足第一预定阈值的第一类索引库中的一组图像。步骤403可以称为粗匹配，即先在显著性区域的不变量这个较大的粒度上进行匹配。

第一预定阈值可以根据不同的匹配准确性要求设置。

404、在步骤403获取的所述一组图像中，获取在第二类索引库中与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的图像；第二类索引库为基于图像库中每幅图像的所有特征点的不变量的索引库。

第二类索引库的预置过程具体可以包括：对图像库所有图像的所有特征点的不变量进行聚类得到聚类中心，根据所述聚类中心对图像库中每幅图像的所有特征点的不变量进行量化和矢量化得到每幅图像的第二矢量，作为该幅图像在第二类索引库中的索引。

将待检索图像所有特征点的不变量与一组图像中每幅图像的所有特征点的不变量进行匹配，获取匹配度满足第二预定阈值的图像，作为图像库中检索到的与待检索图像匹配的图像。步骤404是在步骤403获取的一组图像中，在特征点的不变量这个较小的粒度上进行更加准确的匹配。

为便于理解步骤403与步骤404，下面进行举例说明：

假设图像库中有10幅图像，分别为图像1、2……10，每幅图像在第一类索引库中有一个体现该图像的所有显著性区域的不变量的索引，在第二类索引库中有一个体现该图像的所有特征点的不变量的索引；步骤403中将待检索图像的所有显著性区域的不变量分别与图像库中每幅图像在第一类索引库中的索引进行匹配，若匹配之后，确定与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的有图像2、5、7，则步骤404中，将待检索图像的所有特征点的不变量分别与图像2、5、7在第二类索引库中的索引进行匹配，若匹配之后，确定与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的只有图像2，则确定图像2为图像库中检索到的与待检索图像匹配的图像。

本实施例中，先基于显著性区域的不变量将检索范围缩小到图像库中的一组图像，再在这一组图像中基于特征点的不变量进行图像检索，因此，本实施例只有在显著性区域的不变量能够匹配的条件下，才进行特征点的不变量的匹配；而现有技术中仅仅基于特征点的不变量进行图像检索，可能出现将与待检索图像的显著性区域不变量相差较大的图像误判为与待检索图像匹配的图像。由此可见，本实施例充分利用了特征点之间的空间约束关系，即特征点所在的显著性区域，从而能够提高图像检索的准确性。并且，本实施例先将检索范围缩小为一组图像，再在该一组图像中进行基于特征点的不变量的图像检索，在图像库具有大量图像的情况下，可以提高图像检索的速度。

请参阅图5，本发明实施例中图像检索方法的另一实施例包括：

501、剔除图像库中所有图像的不稳定的特征点

对于图像库中所有任一检索图像，做如下处理：

假设检索图像的每一个特征点P_i的描述子进行归一化后表示为其它不同特征点的描述子表示为待检索图像中有一个特征点P_x(描述子为)，如果该点与P_i点匹配的话，必须满足：

$>{\left|\right|\overrightarrow{d_i}-\overrightarrow{d_x}\left|\right|}_2^2*t<{\left|\right|\overrightarrow{d_2}-\overrightarrow{d_x}\left|\right|}_2^2,$>

其中：为检索图像中与待检索图像的特征点P_x之间欧式距离为次好距离的特征点的描述子，‖‖₂表示向量间的欧式距离，t为预设阀值，具体实施中，一般取t＝1.5。

若待检索图像中存在一个点P_x，使得和检索图像中所有特征点之间的距离都不满足上式，即：

$>{\left|\right|\overrightarrow{d_i}-\overrightarrow{d_x}\left|\right|}_2^2*t\ge {\left|\right|\overrightarrow{d_j}-\overrightarrow{d_x}\left|\right|}_2^2{\ge \left|\right|\overrightarrow{d_2}-\overrightarrow{d_x}\left|\right|}_2^2,(i\ne j)$>

那么点P_i是不稳定的特征点，应该剔除。

由于因此，上式简化为：

$>(t\overrightarrow{d_i}-\overrightarrow{d_j})\overrightarrow{d_x}<t-1---\left(8\right)$>

因此，若判断出不等式(8)中有解，则特征点P_i即可作为可以剔除的不稳定的特征点。

502、预置第一类索引库，包括：

(1)提取图像库中每幅图像的显著性区域；

(2)获取每幅图像的所有显著性区域的不变量；

(3)对图像库所有图像的所有显著性区域的不变量进行聚类得到聚类中心，根据该聚类中心对图像库中的每幅图像的所有显著性区域的不变量进行量化和矢量化得到每幅图像的第一矢量，作为该幅图像在第一类索引库中的索引，以建立第一类索引库；

503、预置第二类索引库，包括：

(1)提取图像库中每幅图像的特征点；

(2)获取图像库中每幅图像的特征点的不变量；

(3)对图像库中所有图像的特征点的不变量进行聚类量化；

(4)对图像库所有图像的所有特征点的不变量进行聚类得到聚类中心，根据该聚类中心对图像库中每幅图像的所有特征点的不变量进行量化和矢量化得到每幅图像的第二矢量，作为该幅图像在第二类索引库中的索引，以建立第二类索引库。

量化和矢量化的具体执行方式可以现有公知技术，此处不作赘述。

504、提取待检索图像的显著性区域和所有特征点，并获取待检索图像中的显著性区域的不变量和特征点的不变量；

505、根据步骤502中获得的聚类中心对待检索图像所有显著性区域的不变量进行量化和矢量化，获得待检索图像的第一矢量，在预置的第一类索引库中，获取第一矢量与待检索图像的第一矢量匹配度满足第一预定阈值的一组图像；

506、根据步骤503中获得的聚类中心对待检索图像所有特征点的不变量进行量化和矢量化，获得待检索图像的第二矢量，在步骤505获取的一组图像中，获取在第二类索引库中，第二矢量与待检索图像的第二矢量的匹配度满足第二预定阈值的图像，实现图像检索。

下面对本发明实施例中的相关设备进行详细说明。

请参阅图6，本发明实施例中图像特征点匹配对处理设备的一个实施例包括：

特征点不变量获取模块601，用于提取待匹配图像的特征点，并获取特征点的不变量；

区域匹配对获取模块602，用于提取待匹配图像的显著性区域，并获取待匹配图像之间的显著性区域匹配对；

特征点匹配对获取模块603，用于根据特征点的不变量，获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。

区域匹配对获取模块602可以根据显著性区域的区域不变量获取显著性区域匹配对，此时可以包括：

不变量获取单元，用于获取显著性区域的区域不变量；

匹配对获取单元，用于根据区域不变量获取待匹配图像之间的显著性区域匹配对。

区域匹配对获取模块602也可以将待匹配图像之间，特征点的分布密度及位置的相似度满足预定阈值的显著性区域对作为显著性区域匹配对。

上述各模块可以通过各种图像处理芯片或相应的硬件单元实现，各单元具体处理的步骤可以参见方法实施例中的相关步骤，在此不再赘述。

本实施例中的图像特征点匹配对处理设备，先获取待匹配图像之间的显著性区域匹配对，再获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对，保证了待匹配图像之间的特征点匹配对位于一对显著性区域匹配对中，即保证了待匹配图像之间的特征点匹配对的空间位置相差较小。而现有技术中，由于直接将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配，可能导致将不应确定为图像之间的特征点匹配对的，空间位置相差较大的两个特征点误判为图像之间的特征点匹配对。由此可见，本实施例充分利用了特征点之间的空间约束关系，即特征点所在的显著性区域，从而能够减小图像特征点匹配对的误匹配率，提高了获取的图像特征点匹配对的准确性。

请参阅图7，本发明实施例中图像特征点匹配对处理设备的另一实施例包括：

特征点不变量获取模块701，用于提取待匹配图像的特征点，并获取特征点的不变量；

区域匹配对获取模块702，用于提取待匹配图像的显著性区域，并获取待匹配图像之间的显著性区域匹配对；

特征点匹配对获取模块703，用于根据特征点的不变量，获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对；

参数获取模块704，用于若获取的待匹配图像之间的特征点匹配对数目大于等于预设的阈值，则根据获取的特征点匹配对获取待匹配图像之间的对极几何参数。

上述各模块可以通过各种图像处理芯片或相应的硬件单元实现，各单元具体处理的步骤可以参见方法实施例中的相关步骤，在此不再赘述。

本实施例中的图像特征点匹配对处理设备，先获取待匹配图像之间的显著性区域匹配对，再获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对，保证了待匹配图像之间的特征点匹配对位于一对显著性区域匹配对中，即保证了待匹配图像之间的特征点匹配对的空间位置相差较小，从而能够减小待匹配图像特征点匹配对的误匹配率，提高获取待匹配图像之间的对极几何参数的准确性。

请参阅图8，本发明实施例中图像检索设备的一个实施例包括：

待检索图像信息获取模块801，用于提取待检索图像的显著性区域，并获取该显著性区域的不变量；提取待检索图像的特征点，并获取该特征点的不变量；

第一匹配模块802，用于在预置的第一类索引库中，获取与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的一组图像，第一类索引库为基于图像库中每幅图像的所有显著性区域的不变量的索引库；

第二匹配模块803，用于在第一匹配模块802获取的一组图像中，获取在第二类索库中与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的图像，第二类索引库为基于图像库中每幅图像的所有特征点的不变量的索引库。

进一步地，本实施例中设备还可以包括：

第一类索引库预置模块，用于在待检索图像信息获取模块801执行相关操作之前，提取图像库中每幅图像的显著性区域，并获取显著性区域的不变量；建立基于每幅图像的所有显著性区域的不变量的索引库，即第一类索引库；

第二类索引库预置模块，用于在待检索图像信息获取模块801执行相关操作之前，提取图像库中每幅图像的特征点，并获取特征点的不变量；建立基于每幅图像的所有特征点的不变量的索引库，即第二类索引库；

在建立第一类索引库和第二类索引库之前，可以先剔除图像库所有图像中不稳定的特征点，因此，更进一步地，所述设备还可以包括：

剔除模块，用于在第一类索引库预置模块和第二类索引库预置模块执行相关操作之前，对于图像库中所有图像作如下处理：

假设图像库中一幅图像的一个特征点P_i的描述子进行归一化后表示为该副图像的其它特征点的描述子表示为待检索图像中有一个特征点P_x的描述子为若

$>(t\overrightarrow{d_i}-\overrightarrow{d_j})·\overrightarrow{d_x}<t-1$>

有解，其中，t为阀值，则将特征点P_i从图像库中的该副图像中剔除。上述各模块可以通过各种图像处理芯片或相应的硬件单元实现，各单元具体处理的步骤可以参见方法实施例中的相关步骤，在此不再赘述。

本实施例中的图像检索设备，先基于显著性区域的不变量将检索范围缩小到图像库中的一组图像，再在这一组图像中基于特征点的不变量进行图像检索，因此，本实施例只有在显著性区域的不变量能够匹配的条件下，才进行特征点的不变量的匹配；而现有技术中仅仅基于特征点的不变量进行图像检索，可能出现将与待检索图像的显著性区域不变量相差较大的图像误判为与待检索图像匹配的图像。由此可见，本实施例充分利用了特征点之间的空间约束关系，即特征点所在的显著性区域，从而能够提高图像检索的准确性。并且，本实施例先将检索范围缩小为一组图像，再在该一组图像中进行基于特征点的不变量的图像检索，在图像库具有大量图像的情况下，可以提高图像检索的速度。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读内存(ROM，Read-Only Memory)、随机存储器(RAM，Random Access Memory)、磁盘或光盘等。

以上对本发明实施例所提供的图像特征点匹配对处理、图像检索方法及设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。