基于SIFT匹配的图像空间与地理场景自动映射方法

摘要

本发明公开一种基于SIFT匹配的图像空间与地理场景自动映射方法，包括以下步骤：采集用于计算相机初始位图像空间与地理场景单应矩阵的数据、计算相机初始位图像空间与地理场景之间的单应矩阵H1、SIFT匹配、匹配点投影到地理场景和计算下一张图像与地理场景之间的单应矩阵H2。本发明只需要在相机初始位置采集对应地理场景的控制点坐标，计算初始位的单应矩阵，简单方便。

说明书

技术领域

本发明涉及视频GIS、视频监控和计算机图形学等技术，具体涉及一种基于SIFI匹配的云台监控相机旋转过程中图像空间与地理场景自动映射方法。

背景技术

随着社会经济和科学技术的发展，近年来，人们对安全技术防范的要求越来越高。上个世纪八十年代末至今，随着各种新型安保观念的引入，数字视频监控系统在社会各行业、各部门的安全防范领域得到了广泛应用，视频监控技术在公共安全领域发挥了重要作用(范建福.视频监控技术的现状及发展[J].中国市场,2015,11:201-202.)。

目前的视频监控系统中，由于各摄像机相互独立、方位各异，单个摄像机的监控范围小，再加上视频监控系统中经常釆用的“井”字窗格视图难以提供大范围的视频视图，不能为用户呈现统一的宏观视野，增加了用户对监控场景的理解难度，限制了监控视频的分析应用。

视频GIS将视频监控数据与地理数据相结合，将视频监控系统摄像机统一纳入地图中管理、展示，能够为用户提供统一宏观视野，提高监控视频的应用。视频GIS首先要实现视频图像到地理场景之间的投影问题。

视频图像与地理场景之间的投影问题，可以通过摄像机标定，求解相机内外参数，从而解决。目前的摄像机标定技术，主要有传统标定法方法和自标定方法(孟晓桥,胡占义.摄像机自标定方法的研究与进展[J].自动化学报,2003,01:110-124.)。传统相机标定方法需要利用特定的标定块，在实际使用过程中，常需要重复定标，既不经济也费时。自标定方法不需要标定块，仅需要不同视角下的一系列图像，但是要求这一系列图像中具有相同的特征点，并构建这些特征点在不同图像中的对应关系，要求极高的图像识别技术，实现困难。

单应矩阵可以表征两个平面之间相互映射的关系(刘学军,王美珍,甄艳,卢玥.单幅图像几何量测研究进展[J].武汉大学学报(信息科学版),2011,08:941-947.)，可以实现视频图像与地理平面场景之间的投影。视频监控系统监测的区域一般是诸如机场、海关、广场、火车站等公共活动场所，这些地方可以满足地理平面场景的要求，所以可以利用单应矩阵来实现视频图像与地理平面场景之间的投影。

总之，随着视频监控系统在社会公共安全领域中发挥越来越重要的作用，目前的视频监控系统不能为用户提供统一的宏观视野，难以实现大范围的监控摄像头关联使用、统一调度，限制了监控视频的应用。而视频GIS突破了目前单纯的视频监控系统的限制，把监控视频纳入了大范围的地理场景，可以实现关联使用、统一调度。在视频GIS系统中如何高效地实现视频图像与地理场景的高效投影，是任何一个视频GIS系统首先要解决的问题。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于SIFI匹配的图像空间与地理场景自动映射方法，本发明只利用云台相机在初始位对应的地理场景中控制点坐标，和计算机图像学中SIFT匹配算法，实现视频GIS和视频监控领域中，云台相机旋转过程中视频图像与地理场景的自动投影。具体涉及到SIFT匹配、透视几何和视频GIS等内容。

技术方案：本发明一种基于SIFT匹配的图像空间与地理场景自动映射方法，具体包括以下步骤：

(1)采集用于计算相机初始位单应矩阵的数据：

采集相机初始位对应的地理场景中的控制点坐标(X，Y)，至少采集4个点；测量相机初始位图像上每一个控制点对应的图像坐标(r，c)，其中，r为像点的行号，c为像点的列号；

(2)根据步骤(1)所采集的数据代入单应矩阵的计算公式(1)中，计算云台相机在初始位时，视频图像与地理场景之间的单应矩阵H1：

(3)SIFT匹配：

利用SIFT匹配算法，寻找云台相机在初始位拍的图像和下一帧图像之间的对应点p₁和p₂，以及及对应点p₁、p₂的图像坐标p₁(r₁，c₁)，p₂(r₂，c₂)；其中对应点p₁在第一张图像上、p₂在第二张图像上；

(4)匹配点投影到地理场景：

利用单应矩阵H1和SIFT匹配结果，把匹配点在第一张图像中的坐标p₁(r₁，c₁)投影到地理场景，得到像点p₁和p₂对应的地面点的地理坐标P(X，Y)；

(5)计算下一张图像与地理场景之间的单应矩阵H2：

利用匹配点在第二张图像上的图像坐标p₂(r₂，c₂)和其对应的地理坐标P(X，Y)，计算第二张图像与地理场景之间的单应矩阵H2；求得H2后，第二张图像上任意像点p(r，c)都可以投影到地理空间，与实际地理点对应起来，投影公式为：

公式中H2_ij表示H2矩阵的第i行第j列上的元素。

有益效果：本发明只需采集监控相机在初始位置时，对应的地理场景地面控制点坐标，计算初始位的单应矩阵，然后在云台监控相机旋转的过程中，都可以实现自动计算视频图像与地理场景之间的单应矩阵，从而达到视频图像到地理场景的投影。

本发明简单方便、自动计算，实现视频图像到地理场景的投影。

附图说明

图1为本发明中实施例中的流程图；

图2为本发明实施例中的SIFT匹配结果图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

为便于更清楚的理解本发明，此处做以下说明：

单应矩阵是指，在计算机视觉中，平面的单应性被定义为从一个平面到另一个平面的投影映射，这种映射关系可以用一个3×3的矩阵表示，该矩阵就称为两个平面的单应矩阵。计算出两幅图像之间的单应矩阵H，那么应用这个关系可以将一个视图中的所有点变换到另一个视图中。

SIFT(Scale-invariant feature transform，尺度不变特征转换)匹配，是指David Lowe于1999年提出、2004年完善总结的一种计算机视觉的算法。SIFT特征匹配算法可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有很强的匹配能力。该算法主要包括两个阶段：第一个阶段是SIFT特征的生成，SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关；第二阶段是SIFT特征向量的匹配，特征点向量相似的SIFT特征匹配到一起。

对应点是指，因云台相机姿态可能变化，拍摄的两张图像中，同一空间目标点在图像中的像点及像点位置(图像坐标)不同，但它们对应于同一个空间目标，这样的点就称为对应点。

本发明中的基于SIFT匹配的云台监控相机旋转过程中图像空间与地理场景自动映射方法为：

采集监控相机在初始位置对应地理场景的控制点坐标，并基于SIFT匹配算法，自动计算云台监控相机在旋转过程中，不同时刻拍摄的图像与地理场景之间的单应矩阵，并实现视频图像到地理场景的投影，可以提高视频GIS系统中，视频图像到地理场景之间投影的效率。

实施例1：

如图1所示，一种基于SIFT匹配的图像空间与地理场景自动映射方法，具体包括以下步骤：

步骤1：采集用于计算相机初始位图像空间与地理场景单应矩阵的数据。利用Trimble VX空间测站仪测量本示例所用云台监控相机在初始位时，对应的地理场景控制点坐标(X，Y)，利用图像处理软件Photoshop CS6测量云台相机在初始位拍摄的图像中地理控制点对应的像点的图像坐标(r，c)，r为图像行号，c为图像列号，本实施例1中采集10组对应点，具体数据如下表：

表1实施例1中十组对应点

步骤2：计算相机初始位图像空间与地理场景之间的单应矩阵H1。将步骤1中采集的数据代入单应矩阵的计算公式，计算云台相机在初始位时拍摄的图像与地理场景的单应矩阵H1：

步骤3：SIFT匹配。利用计算机图像学中的SIFT匹配算法，寻找云台相机在初始位拍的图像和下一张图像之间的对应点对，及对应点的图像坐标(r，c)，r为像点的行号，c为像点的列号。假设P1和P2是其中一组对应点对，从匹配结果中可以得到P1(211,423)、P2(217,276)。匹配结果如图2。

步骤4：匹配点投影到地理场景。利用单应矩阵H1和SIFT匹配结果，把第一张图像上像P1(r₁，c₁)这样的匹配点都投影到地理场景，得到像点P1(r₁，c₁)对应的地面点地理坐标P(X，Y)。

步骤5：利用匹配点在第二张图像上的图像坐标P2(r₂，c₂)和其对应的地理坐标P(X，Y)(由步骤4中投影到地理场景得到)，计算第二张图像与地理场景之间的单应矩阵H2，

当求得H2后，第二张图像上一像点p(189，321)代入如下计算公式，

求得其投影到地理空间的坐标为P(3554386.7，679673.417)。