一种多源图像序列实时配准方法

摘要

本发明公开了一种多源图像序列实时配准方法，如下：输入两组单源图像序列，其中一组单源图像序列为参考图像序列，另一组单源图像序列为待配准图像序列；利用间隔采样法，同时对两组单源图像序列间隔采样，得到定标帧图像对集合。对当前待处理采样图形对，运用基于特征的图像配准算法进行配准，采用配准参数更新相机参数。对当前定标帧图像对之后、下一定标帧图像对之前的待配准图像对依次进行投影变换，得到一系列配准后的目标图像序列对。选择下一定标帧图像对作为当前待处理采样图像对；直到所有待配准图像完成配准。该方法减少了定标帧图像后的序列图像进行特征点检测与提取、特征描述、特征匹配以及求解配准关系的过程，且配准精度高。

说明书

【技术领域】

本发明属于图像处理技术领域，尤其是涉及一种多源图像序列实时配准方法。

【背景技术】

伴随计算机视觉等新兴高科技产业的发展，图像处理技术进入了一个新的阶段。当下图像处理技术主要有图像分割、图像融合、图像复原、图像匹配、图像配准等，这些新技术一经出现就应用在了很多领域，如航天器、医疗卫生、天气预测、农林防治与管理、国土资源审查等等。随着技术的发展和成熟，这些技术的应用更加细化了，例如人脸支付、犯罪嫌疑人的查找、细胞癌变的判断、天气情况的预测、全国粮食产量的统计等等。伴随着这些应用领域的扩展和深入，同时导致了图像处理的难度变大、效率变低等问题。在很多情况下单纯的一张图像已经不能满足目前的信息量要求，因此，需要将多张图像进行结合处理来得到更加全面、完整的信息，诸如此类的图像处理操作有图像配准技术、图像融合、图像拼接等。图像配准技术是这些应用所依赖的重要基础，也是近年来发展最迅速的图像处理技术之一。

根据图像配准过程中所利用的图像信息的不同，将图像配准划分为两大方向，分别是通过区域来进行配准的算法和通过特征来进行配准的算法。基于特征的图像配准方法具有配准精度高，配准时间相对短的特点。但是，目前经典的特征配准算法依然无法满足实时性的需求。

【发明内容】

本发明的目的是提供一种多源图像序列实时配准方法，减少了定标帧图像后的序列图像进行特征点检测与提取、特征描述、特征匹配以及求解配准关系的过程，且配准精度高。

本发明采用以下技术方案：一种基于特征的多源图像序列实时配准方法，该配准方法如下：

步骤S1、输入两组单源图像序列，其中一组单源图像序列为参考图像序列，另一组单源图像序列为待配准图像序列；其中，两组单源图像序列为在相同时间序列下获取。

利用间隔采样法，同时对两组单源图像序列间隔采样，得到多个采样图形对，将多个采样图形对按照时间序列依次组合，得到定标帧图像对集合；选择定标帧图像对集合中的第一组图像对作为当前待处理采样图形对。

步骤S2、对当前待处理采样图形对，运用基于特征的图像配准算法进行配准，获得配准参数，采用配准参数更新相机参数。

步骤S3、运用步骤S2获得的最新相机参数，对当前定标帧图像对之后、下一定标帧图像对之前的待配准图像对依次进行投影变换，得到一系列配准后的目标图像序列对，完成当前定标帧图像的配准。

步骤S4、选择下一定标帧图像对作为当前待处理采样图像对，依次重复执行步骤S2～步骤S3，完成下一定标帧图像的配准。

步骤S5、重复步骤S4，直到所有待配准图像完成配准。

进一步地，上述步骤S2具体为：

步骤S21：利用同一特征点检测算法，对步骤S1获得的当前待处理采样图形对中的参考图像与待配准图像进行特征点检测，并提取两幅图像的位置及灰度特征信息。

步骤S22：选择某一特征描述符算法，对步骤S21检测出的参考图像的所有特征点构建特征描述子，构成参考图像的特征集合；利用相同的特征描述符算法，对S21检测出的待配准图像的所有特征点构建特征描述子，构成待配准图像的特征集合。

步骤S23：选择某一特征点匹配算法，对参考图像的特征集合与待配准图像的特征集合之中的特征描述子进行匹配关联，得到匹配后的特征对。

步骤S24：根据匹配后的特征对之间的几何关系确定配准参数。

步骤S25：利用步骤S24得到的配准参数更新相机参数，基于最新的相机参数，对当前定标帧图像中的待配准图像进行投影变换，得到当前定标帧图像的配准后目标图像。

进一步地，，多个采样图形对按照时间序列依次组合的方式为：同一时间序列下的两个采样图像对为一组，不同组间按照时间先后排列。

进一步地，该步骤S24中更新相机参数的具体过程如下：采用图像变换模型，通过匹配后的特征点之间的位置对应关系，求取模型的变换参数，获得变换矩阵，即配准参数。

进一步地，该图像变换模型选择相似变换模型。

本发明的有益效果是：利用定标帧图像获取到的配准关系对短时间内获取的后序图像进行配准，减少了定标帧图像后的序列图像进行特征点检测与提取、特征描述、特征匹配以及求解配准关系的过程，且配准精度高，达到视频或图像序列的高效实时配准。

【附图说明】

图1为本发明中的设计图；

图2为本发明中的流程图；

图3为本发明实施例中ORB特征匹配效果图；

3a场景1的ORB特征匹配效果图；

3b场景2的ORB特征匹配效果图；

3c场景3的ORB特征匹配效果图；

图4为本发明实施例中ORB特征的图像序列匹配效果；

4a.图像1的配准前后视觉图；

4b.图像2的配准前后视觉图；

4c.图像3的配准前后视觉图；

4d.图像4的配准前后视觉图；

4e.图像5的配准前后视觉图；

4f.图像6的配准前后视觉图；

4g.图像7的配准前后视觉图；

4h.图像8的配准前后视觉图；

4i.图像9的配准前后视觉图；

4j.图像10的配准前后视觉图；

4k.图像11的配准前后视觉图；

4l.图像12的配准前后视觉图；

其中，左图为配准前视觉图，图右为配准后视觉图。

【具体实施方式】

下面结合附图和具体实施方式对本发明进行详细说明。

本发明中的方法应用于红外图像与可见光图像的配准，所用的数据集为自行采集的无人机航拍地面景观遥感图像，简称UAV数据集。

本发明公开了一种基于特征的多源图像序列实时配准方法，如图1和2所示，该配准方法如下：

步骤S1、输入两组单源图像序列，其中一组单源图像序列为参考图像序列，另一组单源图像序列为待配准图像序列；其中，两组单源图像序列为在相同时间序列下获取。

利用间隔采样法，同时对两组单源图像序列间隔采样，得到多个采样图形对，将多个采样图形对按照时间序列依次组合，即同一时间序列下的两个采样图像对为一组，不同组间按照时间先后排列，得到定标帧图像对集合；其中，每个采样图像对具体包含：参考图像序列与待配准图像序列中某一相同时刻获取到的参考图像与待配准图像；选择定标帧图像对集合中的第一组图像对作为当前待处理采样图形对。

步骤S2、运用基于特征的图像配准算法，对当前待处理采样图形对进行配准，并利用由此获得的配准参数更新相机参数；

基于特征的图像配准算法的具体过程如下：

步骤S21：利用同一特征点检测算法，对步骤S1获得的当前待处理采样图形对中的参考图像与待配准图像进行特征点检测，并提取两幅图像的位置及灰度特征信息。

步骤S22：选择某一特征描述符算法，对步骤S21检测出的参考图像的所有特征点构建特征描述子，构成参考图像的特征集合；利用相同的特征描述符算法，对S21检测出的待配准图像的所有特征点构建特征描述子，构成待配准图像的特征集合。

步骤S23：选择某一特征点匹配算法，对参考图像的特征集合与待配准图像的特征集合之中的特征描述子进行匹配关联，得到匹配后的特征对。

步骤S24：根据匹配后的特征对之间的几何关系确定配准参数。具体地，利用相机位置关系的先验知识或者实验测试的方式选择图像变换模型，通过匹配后的特征点之间的位置对应关系，求取模型的变换参数，获得变换矩阵，即配准参数。

步骤S25：利用步骤S24得到的配准参数更新相机参数。基于最新的相机参数，对当前定标帧图像中的待配准图像进行投影变换，得到当前定标帧图像的配准后目标图像。

步骤S3、运用步骤S25获得的最新相机参数，对当前定标帧图像之后、下一定标帧图像之前的待配准图像对依次进行投影变换，得到一系列配准后的目标图像对，完成当前定标帧图像的配准；

步骤S4、选择下一定标帧图像，依次重复执行步骤S2、步骤S3，完成下一定标帧图像的配准；

步骤S5、重复步骤S4，直到所有待配准图像完成配准。

本发明中的方法应用于红外图像与可见光图像的配准，所用的数据集为自行采集的无人机航拍地面景观遥感图像，简称UAV数据集。该数据集共有12个场景，1000个图像，图像空间分辨率为1280×960像素，时间分辨率为为25帧/秒。待配准的图像采集自四个传感器，分别采集到可见光红光波段、可见光绿光波段、可见光红边光波段以及近红外波段图像。由于四个相机位于不同的位置，因此4幅图像所采集的场景范围存在微弱的差异，即同一事物在不同图像上位于不同的空间位置。对于这种情况，往往选定某一幅图像为参考图像，将其他三组图像映射到参考图像的空间之中，以此实现4幅图像的配准。对每组图像序列对执行上述步骤S1～S5的过程。

在执行步骤S1时，红外图像序列为参考图像序列，可见光红光波段图像序列、可见光绿光波段图像序列以及可见光红边波段图像序列分别为待配准图像序列。采样间隔为251帧图像，由参考图像以及带配准图像序列的第{1,251,501,...,250×i+1,...}帧图像对组共同构成定标帧图像对集合。

在执行步骤S21～S23中，涉及到特征点检测算法、特征描述算法以及特征匹配算法的确定。目前，存在对以上各个单独功能算法的设计与改进算法，在实际操作中，可根据应用需求自由选取各模块算法并进行整合。而一些成熟的算法包括从特征点检测到特征匹配的一套完整的设计，比如经典的SURF特征算法、FAST特征算法以及ORB特征算法等。本实施例中，选用ORB特征算法，获得定标帧图像对中的参考图像和待配准图像的特征匹配结果。

在执行步骤S24中，涉及到变换模型的确定。常见的变换模型包括平移变换、刚体变换、相似变换、仿射变换、投影变换以及非线性变换等。在本实施例中，相机之间的前后错位以及上下分布的位置关系共同导致配准图像与参考图像之间存在等距变换与均匀缩放，针对这种现象，选定变换模型为相似变换模型。

为了验证本发明中的方法的有效性，分别从主观方面和客观方面进行评价。其中，主观评价为人眼对图像配准情况的主观判断，客观评价指标为配准时间和配准精度RMSE，配准时间和配准精度越低，说明图像的配准效果越好。

基于特征的图像配准算法中，特征的匹配情况对实验结果有着重大影响，所以设计相关实验及结果展示。如附图3所示，为不同场景的ORB特征匹配效果图，选择3个场景，如图3a、3b和3c所示，各图中，从上至下、从左至右分别是红光波段图像—红外波段图像、绿光波段图像—红外波段图像、红边光波段图像—红外波段图像。从视觉效果看，发现匹配精度很高，基本都能正确匹配。值得注意的是，对于同一场景下的不同波段的可见光与红外图像而言，其产生的特征匹配对具有较大差异，这主要是由灰度值的不同引起的变化。

为了验证本发明中图像配准的实时性，在数据集中选用其中的任意一个场景，在此场景下展示一段图像序列的配准效果。如附图4为ORB算法在某一场景下的一小段图像序列配准图，每组图像序列包含12帧图像，如4a～4l所示，图像序列记录了一辆白色货车从左侧马路上面刚驶入画面，经过缓慢移动后最终将要驶出画面的过程。实施过程中，将第一组图像设为定标帧图像，经过步骤S2所述的特征点检测、特征提取与匹配、求解配准参数的过程，其他11组图像均沿用第一组图像的配准参数进行配准。

附图4左侧图像为未经配准的可见光叠放后效果图，图中存在明显的重影、模糊等问题，说明3个波段图像的空间位置不完全一致。将3个波段的可见光图像分别以红外图像为参考图像进行配准，得到的配准后目标图像依然如附图4左侧所示叠放，得到附图4右侧视觉图。可以看出，第一帧图像经过步骤S2的基于特征的配准算法后，解决了图像的重影、模糊等问题，充分说明ORB算法特征匹配效果良好，且选择的变换模型合理。而之后的一系列图像经过步骤S3进行空间变换，得到的配准结果同样消除了重影、模糊等视觉障碍，得到了细节丰富、边界清晰的图像。所以，从主观方面评价，本发明在本实施例中取得了良好的配准效果。

为了便于从客观方面验证，将本发明方法应用至10个场景下，并统计所有场景下每一幅图像的平均配准时间与平均配准精度。结果如表1所示。

表1基于ORB特征的图像序列配准时间和精度

由表1中的数据可知，所有场景下的平均配准时间为7.236-8.460ms，而本实施例中，待配准图像序列的时间分辨率为为25帧/秒，即若要满足实时条件下的配准速度，平均每帧图像的配准时间应小于等于40ms(1000ms/25)。可以看出，将本发明用于10个场景下的平均配准时间均小于40ms，说明本发明中的方法完全可以满足图像配准的实时性需求；此外，配准精度小于1个精度，说明在像素级别上，实现了图像配准的高效性。因此，从客观方面评价，本发明中的方法完全可以满足图像配准在时间及精度上的双重需求。

本发明中的基于特征的多源图像序列实时配准技术，利用基于通常情况下，采集多源图像的多个相机之间的相对关系在短时间内保持固定的事实，提出了一种利用定标帧图像获取到的配准关系对短时间内获取的后序图像进行配准。此策略大大减少了定标帧图像后的序列图像进行特征点检测与提取、特征描述、特征匹配以及求解配准关系的过程。因此，在借助基于特征的配准算法的高配准精度的优势下，还大幅度减少了图像序列的配准时间，提高了图像配准的效率。