一种基于特征点匹配的红外全景图像拼接方法

摘要

本发明公开了一种基于特征点匹配的红外全景图像拼接方法，首先对图像进行预处理，以抑制噪声和增强细节，其次对预处理后的图像进行特征点提取，然后对相邻帧的特征点进行匹配，接着根据提取到的特征点求解相邻帧图像的变换矩阵，之后利用变换矩阵将所有图像映射到同一个坐标系，然后计算相邻帧图像之间的拼接缝，接着对所有图像进行融合，以淡化拼接缝，最后，对横条状长方形拼接结果进行后处理，得到圆环形的首尾相接的显示结果。使用ORB特征点与GMS错误匹配剔除算法相结合的方法，提高了特征点匹配对的数量和正确率，从而提高配准的精度和鲁棒性。

说明书

技术领域

本发明涉及红外图像处理技术领域，尤其涉及一种基于特征点匹配的红外全景图像拼接方法。

背景技术

红外热成像相机的视场角通常较小，通过水平旋转相机，并运用图像拼接技术对相机旋转过程中采集的多帧图像进行合成，可以得到一幅360度全景图像，大幅度扩大红外热成像相机的视野，有效解决红外热成像相机视野狭小的问题，从而在安防监控领域有着巨大的应用前景。

图像拼接主要包括图像配准和图像融合两个流程，基于模板匹配方法是基于空间域的图像配准方法，要求有两幅图像的重叠部分，选择参考图像的一块矩形区域作为配准时的模板，并利用这块模板在待配准图像中平移，去搜索相似的区域，由于这种基于灰度的配准算法，利用的是图像之间的灰度信息来进行的匹配，不需要对图像进行特征检测与提取一系列操作，所以使用起来效率很高。该算法对图像的灰度信息非常依赖，要求图像不能含有较大噪声、旋转、尺度缩放等问题，所以使用范围很窄；红外图像细节纹理较少、信噪较低的特点，给特征点的提取和匹配带来了极大的挑战，如何从红外图像上提取到更多的特征点、提高特征点匹配的正确率也是亟待解决的问题。

最佳缝合线融合算法是一种基于切割的算法，通过搜索一条使得两幅图像的能量强度值最小切割线，切割线左侧取左图的像素值，切割线右侧取右图的像素值，能量函数由叠区域中对应像素点颜色和结构的差异两部分构成，依据最佳缝合线融合的图像没有重影现象，但是最佳缝合线融合算法通常需要结合其他融合算法来进一步解决不同图像间的曝光差异,如泊松融合或多分辨率融合。

基于模板匹配和变换域的配准方法对待配准图像的尺度差异、旋转角度、重叠区域等有较高的要求，在通用性上有所欠缺。基于特征点匹配的方法对图像尺度变化、旋转、重叠面积等因素适应性更强，但是红外图像细节纹理较少、信噪比较低等特点，也给特征点提取、匹配带来了极大的挑战，使得配准精度和鲁棒性不高。综上，现有技术难以同时兼顾通用性、精度和鲁棒性。

发明内容

本发明提出了一种基于特征点匹配的红外全景图像拼接方法，用于提高图像拼接过程中的配准精度和鲁棒性，从而兼顾方法的通用性，精度和鲁棒性。

一种基于特征点匹配的红外全景图像拼接方法，将多帧图像拼接为全景图像，包括以下步骤：

步骤S1：对图像进行预处理；

步骤S2：对预处理后的图像进行特征点提取；

步骤S3：对相邻帧的特征点进行匹配；

步骤S4：根据提取到的特征点求解相邻帧图像的变换矩阵；

步骤S5：利用变换矩阵将所有图像映射到同一个坐标系；

步骤S6：计算相邻帧图像之间的拼接缝；

步骤S7：对所有图像进行融合，淡化拼接缝；

步骤S8：对横条状长方形拼接结果进行后处理，得到圆环形的首尾相接的拼接结果。

进一步，所述步骤S1图像预处理包括对图像进行去噪、细节增强和对比度增强。

进一步，所述步骤S2特征点包括图像角点、极亮点和极暗点，提取方法包括ORB算法，特征点提取的结果包含特征点的坐标和描述子，单个特征点表示为

进一步，所述步骤S3特征点匹配包括以下子步骤：

步骤S31：根据特征点描述子d特征向量之间的欧氏距离，使用暴力匹配算法，得到相邻两帧图像特征点

步骤S32：使用GMS算法剔除错误的匹配关系，得到正确率更高的匹配关系

进一步，所述步骤S4变换矩阵的求解包括：获得相邻帧图像特征点之间的匹配关系

进一步，所述步骤S5图像投影具体包括：选取第0帧图像为参考坐标系，根据所有相邻帧图像之间的变换矩阵，将其他所有图像都投影到参考坐标系下，得到每一帧图像在参考坐标系下的坐标。

进一步，所述步骤S6拼接缝的计算包括以下子步骤：

步骤S61：将所有图像都投影到同一参考坐标系后，计算相邻两帧图像的重叠区域：

其中，

步骤S62：得到相邻帧图像的重叠区域后，利用基于图的最小割算法找到相邻两帧图像之间的拼接缝，拼接缝左边像素点的值使用左图对应位置像素点的值，拼接缝右边像素点的值使用右图对应位置像素点的值。

进一步，所述步骤S7图像融合具体包括：根据预处理后的所有图像的集合

进一步，所述步骤S8后处理将横条状长方形全景图像使用圆环形首尾衔接的方式显示拼接结果，横条状长方形图像到圆环形图像的转换包括两个转换过程：

横条状长方形图像到中间过程的转换：设横条状长方形图像的坐标系为

其中，

中间过程到圆环形图像的转换：转换公式为：

本发明的有益效果：本发明提出了一种基于特征点匹配的红外全景图像拼接方法，首先对图像进行预处理，以抑制噪声和增强细节，其次对预处理后的图像进行特征点提取，然后对相邻帧的特征点进行匹配，接着根据提取到的特征点求解相邻帧图像的变换矩阵，之后利用变换矩阵将所有图像映射到同一个坐标系，然后计算相邻帧图像之间的拼接缝，接着对所有图像进行融合，以淡化拼接缝，最后，对横条形拼接结果进行后处理，得到圆环形的首尾相接的显示结果。针对红外图像噪声强、细节纹理不突出的问题，提出去噪和增强相结合的预处理方法，抑制图像噪声和突出细节纹理，有利于特征点的提取和匹配；使用ORB特征点与GMS错误匹配剔除算法相结合的方法，可以提高特征点匹配对的数量和正确率，从而提高配准的精度和鲁棒性；将长条形图像转换为圆环形图像的方法，从而按圆环形的首尾衔接的方式显示全景拼接结果，有效解决横条状长方形拼接结果首尾不连续的问题。

附图说明

图1是本发明一种基于特征点匹配的红外全景图像拼接方法流程架构图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。

本发明提出了一种基于特征点匹配的红外全景图像拼接方法，将多帧图像拼接为全景图像，包括以下步骤：

步骤S1：对图像进行预处理；

步骤S2：对预处理后的图像进行特征点提取；

步骤S3：对相邻帧的特征点进行匹配；

步骤S4：根据提取到的特征点求解相邻帧图像的变换矩阵；

步骤S5：利用变换矩阵将所有图像映射到同一个坐标系；

步骤S6：计算相邻帧图像之间的拼接缝；

步骤S7：对所有图像进行融合，淡化拼接缝；

步骤S8：对横条状长方形拼接结果进行后处理，得到圆环形的首尾相接的拼接结果。

步骤S1图像预处理包括对图像进行去噪、细节增强和对比度增强。

步骤S2特征点包括图像角点、极亮点和极暗点，提取方法包括ORB算法，特征点提取的结果包含特征点的坐标和描述子，单个特征点表示为

步骤S3特征点匹配包括以下子步骤：

步骤S31：根据特征点描述子d特征向量之间的欧氏距离，使用暴力匹配算法，得到相邻两帧图像特征点

步骤S32：使用GMS算法剔除错误的匹配关系，得到正确率更高的匹配关系

进一步，所述步骤S4变换矩阵的求解包括：获得相邻帧图像特征点之间的匹配关系

步骤S5图像投影具体包括：选取第0帧图像为参考坐标系，根据所有相邻帧图像之间的变换矩阵，将其他所有图像都投影到参考坐标系下，得到每一帧图像在参考坐标系下的坐标。

步骤S6拼接缝的计算包括以下子步骤：

步骤S61：将所有图像都投影到同一参考坐标系后，计算相邻两帧图像的重叠区域：

其中，

步骤S62：得到相邻帧图像的重叠区域后，利用基于图的最小割算法找到相邻两帧图像之间的拼接缝，拼接缝左边像素点的值使用左图对应位置像素点的值，拼接缝右边像素点的值使用右图对应位置像素点的值。

步骤S7图像融合具体包括：根据预处理后的所有图像的集合

步骤S8后处理将长条形全景图像使用圆环形首尾衔接的方式显示拼接结果，长条形图像到圆环形图像的转换包括两个转换过程：

横条状长方形图像到中间过程的转换：设横条状长方形图像的坐标系为

其中，

中间过程到圆环形图像的转换：转换公式为：

在一种实施例中，图像的拼接包括以下几个步骤：

步骤1：使用去噪、细节增强、对比度增强算法对图像进行预处理。包含但不限于BM3D、DDE、CLAHE算法。

步骤2：使用ORB算法对预处理后的图像进行特征点提取，特征点数量3000个。

步骤3：结合暴力匹配算法与GMS错误匹配剔除算法对相邻帧的特征点进行匹配。

步骤4：使用最小二乘算法根据提取到的特征点求解相邻帧图像的变换矩阵，变换模型可以使用仿射变换或透视变换。

步骤5：利用变换矩阵将所有图像映射到同一个坐标系。

步骤6：计算相邻帧图像之间的拼接缝，找拼接缝算法包含但不限于最小割算法。

步骤7：使用多频段融合算法淡化拼接缝。

步骤8：对横条形拼接结果进行后处理，得到圆环形的首尾相接的拼接结果。

在本实施例中，各个处理步骤的详细内容包括以下：

（一）预处理

红外图像的信噪比较低、细节纹理较少，不利于特征点的提取和匹配，因此需要利用去噪、细节增强、对比度增强算法对图像进行预处理，达到抑制噪声和增强细节的效果，进而有利于特征点的提取和匹配，预处理后得到的N帧图像集合为

（二）特征点提取

特征点通常指图像中的角点、极亮点和极暗点，特征点的提取使用ORB算法，ORB特征点具有旋转和仿射不变性，具有更强的鲁棒性。特征点提取的结果包含特征点的坐标和描述子，单个特征点表示为

（三）特征点匹配

根据特征点描述子d特征向量之间的欧氏距离，使用暴力匹配算法，得到相邻两帧图像特征点

（四）变换矩阵求解

获得相邻帧图像特征点之间的匹配关系后

（五）图像投影

选取第0帧图像为参考坐标系，根据所有相邻帧图像之间的变换矩阵，可以将其他所有图像都投影到参考坐标系下，得到每一帧图像在参考坐标系下的坐标。假设第i帧图像中的任意一点

根据上面公式，可以将每一帧图像都投影到第0帧图像所在的参考坐标系下，

（六）找拼接缝

将所有图像都投影到同一参考坐标系后，需要计算相邻两帧图像的重叠区域。假设第i帧图像的左上角顶点坐标为

其中，w和h分别是图像的宽和高，下标表示图像帧序号。得到相邻帧图像的重叠区域

和当前帧掩码白色区域相同位置的像素点使用当前帧的像素值，掩码黑色区域的像素点的像素值就置0，所有图像的拼接缝掩码表示为

（七）融合

根据预处理后的所有图像的集合

（八）后处理

长条形的全景图像不具有首尾连续性，会造成刚好处于首尾接缝处的目标被分裂开，不利于人眼观看和其他目标检测等算法的处理，为此需要使用圆环形首尾衔接的方式显示拼接结果。

假设横条状图像的坐标系为

其中，

 

经过上面两个转换过程，就可以得到坐标系

本发明提出了一种基于特征点匹配的红外全景图像拼接方法，首先对图像进行预处理，以抑制噪声和增强细节，其次对预处理后的图像进行特征点提取，然后对相邻帧的特征点进行匹配，接着根据提取到的特征点求解相邻帧图像的变换矩阵，之后利用变换矩阵将所有图像映射到同一个坐标系，然后计算相邻帧图像之间的拼接缝，接着对所有图像进行融合，以淡化拼接缝，最后，对横条形拼接结果进行后处理，得到圆环形的首尾相接的显示结果。针对红外图像噪声强、细节纹理不突出的问题，提出去噪和增强相结合的预处理方法，抑制图像噪声和突出细节纹理，有利于特征点的提取和匹配；使用ORB特征点与GMS错误匹配剔除算法相结合的方法，可以提高特征点匹配对的数量和正确率，从而提高配准的精度和鲁棒性；将长条形图像转换为圆环形图像的方法，从而按圆环形的首尾衔接的方式显示全景拼接结果，有效解决长条形拼接结果首尾不连续的问题。

本发明以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。