一种基于两次特征检测的图像配准方法

摘要

本发明公开了一种基于两次特征检测的图像配准方法，在对图像进行特征检测时，先提取一定数量的特征点，以特征点坐标及其邻域生成掩模图像，利用掩模图像进行第二次特征检测，将两次检测得到的特征点合并，作为最终的特征检测结果输出，之后再进行特征描述、特征匹配、变换模型估计和图像插值的操作得到配准图像。本发明利用了特征点之间的位置关系，在特征强度较弱的区域仍保留一定数量的特征点，提供更加丰富的特征点信息，提高了特征匹配环节正确匹配对的数量，能够在较差成像条件、目标内部结构变化等情况下实现高精度的图像配准；同时，能够适应多种特征检测和特征描述算子，省去了复杂的参数调节过程，具有简洁性。

说明书

技术领域

本发明属于图像处理领域，更具体地，涉及一种基于两次特征检测的图像配准方法。

背景技术

图像配准是将相同场景在不同时间、不同视角、不同传感器采集的两幅或多幅图像相互叠加的过程，它实现了参考图像和待配准图像几何意义上的对齐。图像配准的应用范围十分广泛，包括机器视觉、三维重建、遥感图像处理、目标分类和检索、图像理解和融合等。

图像配准可分为基于区域、基于频域和基于特征三类。图像中的特征主要包括特征点、边缘和轮廓，而特征点往往是图像中在各个方向灰度变化都较大的点，包含了图像中的拐点、角点和交叉点等，代表了图像中最稳定的局部结构特征，具有可重复性和鲁棒性。基于特征点的图像配准算法能够在几何变换、光照变化、目标遮挡、图像压缩的情况下保证特征点的稳定定位，具有较高的图像配准精度。

在实际的图像配准过程中，利用上述特征算子进行特征检测，能够对图像的目标区域提取较多数量的特征点，在一般情况下能很好的完成图像配准；但对于一些光照不一致、细节不突出的图像，在进行特征检测时提取的特征点大量分布于较少的显著特征区域，这些区域中特征点的位置和响应强度具有相似性，使后续的特征匹配产生了较多的错误匹配对并难以去除；对于同类型的目标，在内部结构上具有一定的差异性，所提取特征点集的分布也不尽相同，为图像配准增加了难度；而且通过调节特征算子的参数并未明显改善特征点的空间分布，造成了图像配准精度的降低。

由此可见，现有技术对于成像条件较差、显著特征区域较少、目标内部结构变化的图像存在图像配准精度低的技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于两次特征检测的图像配准方法，由此解决现有技术对于成像条件较差、显著特征区域较少、目标内部结构变化的图像存在图像配准精度低的技术问题。

为实现上述目的，本发明提供了一种基于两次特征检测的图像配准方法，包括：

(1)利用检测算子对输入图像进行第一次特征检测，得到第一特征点集，利用第一特征点集合中的特征点坐标及其邻域生成掩模图像，利用掩模图像进行第二次特征检测，得到第二特征点集，将第一特征点集与第二特征点集合并得到特征点集，所述输入图像包括参考图像和待配准图像；

(2)利用特征点集依次进行特征描述、特征匹配、变换模型估计和图像插值，得到输入图像中参考图像的配准图像。

进一步地，步骤(1)包括：

(1-1)将输入图像转为单通道灰度图像，采用检测算子，对输入图像进行第一次特征检测，得到特征点数量为kp1的第一特征点集；

(1-2)利用第一特征点集合中的特征点坐标及其邻域生成与输入图像同分辨率的掩模图像，将掩模图像中与第一特征点集合中的特征点有相同坐标的位置像素值取0，其它位置像素值取b，1≤b≤255；利用结构元素(ele_m，ele_n)对掩模图像进行二值腐蚀，得到新的掩模图像；

(1-3)采用检测算子，结合新的掩模图像对输入图像进行第二次特征检测，即在掩模图像中像素值为0的位置不进行第二次特征检测，得到特征点数量为kp2的第二特征点集，将第一特征点集与第二特征点集合并得到特征点总数量为kp1+kp2的特征点集。

进一步地，特征点集包括参考图像的特征点集和待配准图像的特征点集。

进一步地，步骤(2)包括：

(2-1)采用描述算子，对特征点集中的特征点邻域的局部图像信息进行描述，分别得到参考图像的描述符矩阵和待配准图像的描述符矩阵；

(2-2)根据参考图像的描述符矩阵和待配准图像的描述符矩阵，对参考图像和待配准图像中的特征点进行配对，得到N个匹配对；

(2-3)根据N个匹配对进行变换模型估计，得到参考图像和待配准图像间的单应矩阵H；

(2-4)利用单应矩阵H将待配准图像映射到参考图像的坐标系下，对于映射后的待配准图像中的非整数像素坐标利用插值法求取灰度值，得到配准图像。

进一步地，步骤(2-2)包括：

(2-2-1)根据参考图像的描述符矩阵和待配准图像的描述符矩阵，在参考图像和待配准图像中搜索特征点相互距离满足k近邻条件的匹配对；

(2-2-2)对匹配对按照特征点相互距离由小到大进行排序，取相互距离最小的M个匹配对作为初步匹配对，M为正整数；

(2-2-3)利用优化算法去除初步匹配对中的错误匹配对，得到N个匹配对，N为正整数。

进一步地，N大于等于4。

进一步地，检测算子为SIFT、SURF、BRISK、FREAK或者ORB。

进一步地，描述算子与检测算子相同，优化算法选用随机采样一致法、最小二乘法或同类算法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明在特征检测环节，第一次特征检测得到响应强度较高的特征点，这些特征点的可重复性和鲁棒性最好但主要集中分布于图像的显著特征区域，第二次特征检测得到响应强度较低但空间分布更广泛的特征点；总的特征点与直接特征检测得到的同等数量特征点相比，包含的图像特征信息更加全面，在成像条件差、目标内部结构变化时具有更好的稳定性。本发明对于成像条件较差、显著特征区域较少、目标内部结构变化的图像仍保持良好的配准精度，具有更强的鲁棒性。

(2)本发明在特征匹配环节，对k邻近搜索得到的匹配对进行排序，并选取距离较小的部分作为初步匹配对，筛选后的匹配对具备更好的质量，有效减小后续错误匹配对去除环节的计算量，并提高了图像配准精度。

(3)本发明中N大于等于4，可以避免配准失败，因为若N小于4，匹配对数量不足以求解H，则认为配准失败，结束图像配准；同时，本发明方法能够适应多种特征检测和特征描述算子，省去了复杂的参数调节过程，具有简洁性。本发明提供的SIFT、SURF、FREAK、BRISK，具有旋转不变性、尺度不变性和对噪声的鲁棒性；ORB具有旋转不变性、对噪声的鲁棒性和较好的实时性。

附图说明

图1为本发明实施例提供的一种基于两次特征检测的图像配准方法的流程示意图；

图2a为本发明实施例提供的Model1的参考图像；

图2b为本发明实施例提供的Model1的待配准图像；

图3a为本发明实施例提供的对图2a进行两次特征检测的结果图；

图3b为本发明实施例提供的对图2a进行直接特征检测的结果图；

图3c为本发明实施例提供的对图2a和图2b采用两次特征检测方法在特征匹配环节的结果图；

图3d为本发明实施例提供的对图2a和图2b采用直接特征检测方法在特征匹配环节的结果图；

图3e为本发明实施例提供的对图2a和图2b采用两次特征检测方法得到的配准图像；

图3f为本发明实施例提供的对图2a和图2b采用直接特征检测方法得到的配准图像；

图3g为本发明实施例提供的对图2a和图3e进行绝对值差分得到的差分图像；

图3h为本发明实施例提供的对图2a和图3f进行绝对值差分得到的差分图像；

图4a为本发明实施例提供的Model2的参考图像；

图4b为本发明实施例提供的Model2的待配准图像；

图5a为本发明实施例提供的对图4a进行两次特征检测的结果图；

图5b为本发明实施例提供的对图4a进行直接特征检测的结果图；

图5c为本发明实施例提供的对图4a和图4b采用两次特征检测方法在特征匹配环节的结果图；

图5d为本发明实施例提供的对图4a和图4b采用直接特征检测方法在特征匹配环节的结果图；

图5e为本发明实施例提供的对图4a和图4b采用两次特征检测方法得到的配准图像；

图5f为本发明实施例提供的对图4a和图4b采用直接特征检测方法得到的配准图像；

图5g为本发明实施例提供的对图4a和图5e进行绝对值差分得到的差分图像；

图5h为本发明实施例提供的对图4a和图5f进行绝对值差分得到的差分图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例采用两组图像序列进行说明，第一组图像序列的拍摄设备为SONY数码相机，图像的分辨率为6000*4000，图像的通道数为3，每个通道的灰度值范围为0-255，图像中目标型号记为Model1；第二组图像序列的拍摄设备为JAI工业相机，图像的分辨率为2448*2050，图像的通道数为3，每个通道的灰度值范围为0-255，图像中目标型号记为Model2。

如图1所示，本发明一种基于两次特征检测的图像配准方法，包括以下步骤：

(1)分别对参考图像和待配准图像进行两次特征检测，得到参考图像的特征点集和待配准图像的特征点集；

其中两次特征检测的具体实施方式为：

步骤101：将输入图像转为单通道灰度图像，采用检测算子，对输入图像进行特征检测，提取一定数量的特征点集，集合中特征点的数量为kp1；其中kp1取值为500；检测算子选用ORB算子；

步骤102：生成与输入图像同尺寸的掩模图像，将掩模图像中与特征点坐标相同的位置像素值取0，其它位置像素值取255；选取结构元素(ele_m，ele_n)对掩模图像进行二值腐蚀，得到新的掩模图像；其中结构元素取ele_m＝100，ele_n＝100；

步骤103：采用与步骤101相同的检测算子，结合新的掩模图像对输入图像进行第二次特征检测，即在掩模图像中像素值为0的位置不进行特征检测，提取一定数量的特征点集，集合中特征点的数量为kp2；将两次特征检测的结果合并，得到总数量为kp1+kp2的特征点集；其中取kp2取值为1000，提取的特征点总数量为1500；

(2)采用描述算子，对特征点邻域的局部图像信息进行描述，分别得到参考图像的描述符矩阵和待配准图像的描述符矩阵；描述算子选用ORB算子；

(3)根据描述符矩阵，对参考图像和待配准图像中特征点进行配对，具体实施方式为：

步骤301：在两幅图像中搜索特征点相互距离满足k近邻条件的匹配对；

参考图像的特征点集为KPObject，KPObject_i为点集中的特征点，i为特征点的序号；待配准图像的特征点集为KPScene，KPScene_j为点集中的特征点，j为特征点的序号；

对得到的描述符矩阵，采用汉明距离作为两幅图像之间特征点的相似性度量，汉明距离为两个等长向量在对应位置不同数据的个数；搜索策略采用穷举搜索，k近邻条件中k取2，具体操作如下：选取KPObject中的一个特征点KPObject_i，计算KPObject_i与KPScene中所有特征点的相似性，若满足distFir_i＜Th*distSec_i条件，则认为得到一个匹配对(KPObject_i，KPScene_j)，并在KPScene中去掉KPScene_j；改变i的值，直到KPObject中的所有特征点全部遍历完成；

其中distFir_i表示在待配准图像的特征点集中离KPObject_i最近邻特征点的汉明距离，distSec_i表示在待配准图像的特征点集中离KPObject_i次近邻特征点的汉明距离，Th为距离阈值，取值范围0＜Th＜1；Th的值取0.55；

步骤302：对匹配对按照特征点相互距离由小到大进行排序，取相互距离最小的M个匹配对作为初步匹配对，M为正整数；M的值取300；

步骤303：利用优化算法去除错误匹配对，得到N个较好的匹配对，N为正整数，若N小于4，则认为配准失败，结束图像配准；

优化算法选用随机采样一致(RANSAC)法、最小二乘法或同类算法；

(4)根据N个匹配对计算两幅图像间的单应矩阵H，其中H有8个未知参数需要求解；若N小于4，匹配对数量不足以求解H，则认为配准失败，结束图像配准；

(5)利用H将待配准图像映射到参考图像的坐标系下，对于非整数像素坐标利用插值算法求取灰度值，得到最终的配准图像；插值算法选用双线性插值。

检测算子和描述算子采用局部特征算子，可以为SIFT、SURF、BRISK、FREAK、ORB算子，同时应用于特征检测和特征描述两个环节。

为评估本发明的性能，采用不同目标型号的图像序列进行测试，并对本发明方法与直接特征检测方法的处理效果进行对比。

对于目标型号为Model1的图像序列，序列中主要存在目标旋转、光照变化、相机视角变化的情况，图2a为选取的参考图像，图2b为选取的待配准图像。

图3a为对图2a进行两次特征检测的结果图，其中，每一个圆代表一个特征点，圆心位置为特征点的位置，圆的半径为特征点的尺寸，第一次特征检测得到的特征点用白色圆表示，第二次特征检测得到的特征点用黑色圆表示；第一次特征检测得到的特征点数量为500，第二次特征检测得到的特征点的数量为1000；图3b为对图2a进行直接特征检测的结果图，得到的特征点用白色圆表示；得到的特征点的数量为1500；图3c为对图2a和图2b采用两次特征检测方法在特征匹配环节的结果图，其中，图中左半、右半区域分别为参考图像、待配准图像，用白色圆表示特征点，用白色直线表示匹配对；图中匹配对的数量为N＝106；图3d为对图2a和图2b采用直接特征检测方法在特征匹配环节的结果图，图中匹配对的数量为N＝220；图3e为对图2a和图2b采用两次特征检测方法得到的配准图像；图3f为对图2a和图2b采用直接特征检测方法得到的配准图像；图3g为对图2a和图3e进行绝对值差分得到的差分图像，并截取了目标区域；图3h为对图2a和图3f进行绝对值差分得到的差分图像，截取区域的位置与图3g相同。

对于图3a和图3b，图像中存在一个显著特征区域，即字符条形码区域，采用两次特征检测方法，改善了特征点的空间分布，增加了字符条形码区域外特征点的数量；对于图3c和图3d，采用两次特征检测方法，在多个局部区域均得到较好的匹配对，而直接特征提取方法得到的匹配对全部位于字符条形码区域，其中错误匹配对占较大比例；对于图3e和图3g，采用两次特征检测方法，配准图像与参考图像的目标区域边界大致重合，目标区域内部的最大偏移量约为18个像素，图像配准精度较高；对于图3f和图3h，采用直接特征检测方法，配准图像与参考图像的目标区域在右半部分存在较大偏差，最大偏移量约为200个像素，图像配准精度较低。

对于目标型号为Model2的图像序列，序列中主要存在目标旋转、目标内部结构不一致的情况，图4a为选取的参考图像，图4b为选取的待配准图像，其中图4a和图4b中的目标区域虽然具有相似的外轮廓，但是内部结构单元存在较为明显的差异。

图5a为对图4a进行两次特征检测的结果图，第一次特征检测得到的特征点数量为500，第二次特征检测得到的特征点的数量为1000；图5b为对图4a进行直接特征检测的结果图，得到的特征点的数量为1500；图5c为对图4a和图4b采用两次特征检测方法在特征匹配环节的结果图，图中匹配对的数量为N＝55；图5d为对图4a和图4b采用直接特征检测方法在特征匹配环节的结果图，图中匹配对的数量为N＝35；图5e为对图4a和图4b采用两次特征检测方法得到的配准图像；图5f为对图4a和图4b采用直接特征检测方法得到的配准图像；图5g为对图4a和图5e进行绝对值差分得到的差分图像，并截取了目标区域；图5h为对图4a和图5f进行绝对值差分得到的差分图像，截取区域的位置与图5g相同。

对于图5a和图5b，采用两次特征检测方法，改善了特征点的空间分布，增加了含有特征点的局部区域数量；对于图5c和图5d，采用两次特征检测方法，在多个局部区域均得到较好的匹配对，匹配对的分布更为合理，而直接特征提取方法得到的匹配对表现为区域集中，容易产生错误匹配对；对于图5e和图5g，采用两次特征检测方法，配准图像与参考图像的目标区域边界大致重合，目标区域内部的最大偏移量约为11个像素，图像配准精度较高；对于图5f和图5h，采用直接特征检测方法，配准图像与参考图像的目标区域在右半部分存在较大偏差，最大偏移量约为135个像素，目标区域也出现了变形，图像配准精度较低。

由以上实验结果可以看出，本发明方法在进行特征检测时，提取到的特征点集不仅包含响应强度较高、位于图像显著特征区域的特征点，而且包含响应强度较低、位于图像多个局部区域的特征点，特征点集的信息更丰富、适应性更强；在进行特征匹配时，只取距离较小的部分作为初步匹配对，优化后的匹配对性能更稳健，也降低了后续环节的计算量；因此，本发明能够在光照不均、视角变化、目标旋转、目标内部结构变化等情况下完成高精度的图像配准，与常用的直接特征检测方法相比具有更强的鲁棒性。此外，本发明可以适配多种特征检测和特征描述算子，在算子的默认参数下均能达到上述图像配准效果，不再一一举例说明。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。