一种基于特征匹配的全景图生成方法及系统

摘要

本发明提供了一种基于特征匹配的全景图生成方法及系统，该方法包括：提取相邻图像A和图像B的特征点，建立所述特征点的向量参数，并确定所述特征点的坐标；以所述图像A的特征点作为样本，对所述图像B的特征点进行分类，在所述图像B的每种分类中，选取与所述图像A中的样本最匹配的特征点；利用所述特征点的匹配关系，计算所述图像A变换到图像B的坐标系下的关系式，并依据所述关系式将图像A变换到图像B的坐标系下；将所述图像A和图像B拼接为图像A’。本发明使用最近邻法训练分类器对特征点进行匹配，并通过总体最小二乘法得到准确度高的变换关系式，从而实现了快速准确的生成全景图。

说明书

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于特征匹配的全景图生成方法及系统。

背景技术

视角范围是摄像设备的一个重要参数，用于度量摄像设备所能采集的场景范围。一般摄像设备的视角范围非常有限，水平方向大约50度，垂直方向大约35度；人眼的视角范围相对比较广阔，水平方向大约200度，垂直方向大约135度；然而整个三维场景中的视角范围，在水平方向是360度，垂直方向是180度。显然，无论是通过摄像设备还是使用肉眼，都无法同时获得整个三维场景的信息，针对该问题，产生了全景图生成技术。

全景图(Panoramic image)技术是：首先利用摄像设备在不同角度或位置对场景进行拍摄，获得反映整个三维场景信息的多张图像，然后将这些图像根据一定的原则拼接成一张大图，在这张大图上表现整个场景的全部信息，从而实现了将整个场景信息集中到一张图上表示。

目前全景图技术主要通过以下两种方法实现：

一种方法是柱面全景图生成技术。该方法将摄像机固定在空间一点，360度旋转摄像机，对场景进行拍摄，得到描述不同角度场景的图像，利用几何变换，将这些图像投影到同一个柱面上；柱面的某些区域可能会同时有相邻两张图像的投影，利用这些重叠区域可以得到相邻两张图像的匹配关系，通过匹配实现柱面上的图像拼接；最后将柱面图反变换回普通视图平面，就得到全景图。该方法一般需要已知摄像机的内参数和每张图像拍摄时的外参数才可以进行柱面投影，因此该方法的实现对摄像机和拍摄的要求都很严格，实现起来比较困难和复杂。

而另一种基于特征匹配的全景图生成方法，对摄像机和拍摄没有过多的要求，也无需对摄像机进行任何校准，直接使用拍摄的图像就可以生成全景图。该方法使用摄像机对整个场景顺次拍摄的一系列图像，保证相邻两张图像有足够的描述相同场景的区域；然后对相邻两张图像进行局部特征点提取，并应用遍历搜索的方法对该特征点之间进行特征匹配，通过匹配将两张图像拼接起来；顺次的将所有图像拼接起来，就生成了全景图。然而，在基于特征匹配的全景图生成方法中，应用遍历搜索的方法对特征点进行特征匹配时，计算量很大，且容易遗漏一些匹配特征点，由此影响了生成全景图的效率和精确度。

由此可知，目前迫切需要本领域技术人员解决的一个技术问题就是：如何能够快速准确的生成全景图。

发明内容

本发明所要解决的技术问题是提供一种基于特征匹配的全景图生成方法及系统，能够快速准确的生成全景图。

为了解决上述问题，本发明公开了一种基于特征匹配的全景图生成方法，该方法包括：

步骤一，提取相邻的图像A和图像B的特征点；建立所述特征点的向量参数；并确定所述特征点的坐标；

步骤二，以所述图像A的特征点作为样本，对所述图像B的特征点进行分类，在所述图像B的每种分类中，选取与所述图像A中的样本最匹配的特征点；

步骤三，利用所述特征点的匹配关系，计算所述图像A变换到图像B的坐标系下的关系式；并依据所述关系式将所述图像A变换到图像B的坐标系下；

步骤四，将所述图像A和图像B拼接为图像A’。

进一步，所述全景图生成方法还包括：重复所述相邻图像A和图像B拼接为图像A’的操作，将多张图像拼接成一张全景图。

优选的，使用SIFT特征提取算法，提取所述图像的特征点。

具体的，所述步骤二包括：以所述图像A的特征点作为训练样本，赋予所述每个特征点一种类别，并以所述特征点的向量参数作为特征，使用最近邻法训练分类器；用所述训练后的分类器对作为测试样本的所述图像B的特征点进行分类；在每种类别内，选择与所述训练样本距离最近的所述测试样本作为候选特征点；在所述每种类别内，依据预置规则，筛选所述候选特征点；所述预置规则为：当所述候选特征点和所述训练样本之间的距离小于第一预设阈值，并且类别内其他所述测试样本和所述训练样本之间的距离大于第二预设阈值时，选取所述候选特征点为所述训练样本的匹配特征点。

具体的，所述计算图像A变换到图像B的坐标系下的关系式的过程为：建立图像坐标变换模型，即建立所述图像A的特征点坐标与所述图像B中与该特征点匹配的特征点坐标之间的对应方程式；根据多对所述匹配的特征点，使用总体最小二乘法，求解所述对应方程式，得到所述关系式。

具体的，所述步骤四包括：在所述图像B的坐标系下，将所述图像A和图像B重合的部分，进行加权平均得到该部分的像素值；对所述图像A和图像B不重合的部分，使用各图像的像素值。

优选的，所述全景图生成方法还包括：当所述图像A’与下一相邻的图像拼接时，把所述图像B的特征点进行坐标平移，得到所述图像A’的特征点。

优选的，所述每相邻的两张图像中，都有百分之二十的区域描述相同的空间场景。

为了解决上述问题，本发明还公开了一种基于特征匹配的全景图生成系统，该系统可以包括：

特征点提取模块，用于提取相邻的图像A和图像B的特征点，以及建立所述特征点的向量参数和确定所述特征点的坐标；

匹配关系模块，用于以所述图像A的特征点作为样本，对所述图像B的特征点进行分类，在所述图像B的每种分类中，选取与所述图像A中的样本最匹配的特征点；

坐标变换模块，用于根据所述特征点的匹配关系，计算所述图像A变换到图像B的坐标系下的关系式；并依据所述关系式将所述图像A变换到图像B的坐标系下；

拼接模块，用于将所述图像A和图像B拼接为图像A’。

具体的，所述匹配关系模块包括：

训练分类器子模块，用于赋予作为训练样本的所述图像A的每个特征点一种类别，并以所述特征点的向量参数作为特征，使用最近邻法训练分类器；

分类子模块，用于利用所述训练后的分类器对作为测试样本的所述图像B的特征点进行分类；

候选特征点选取子模块，用于在每种类别内，选择与所述训练样本距离最近的所述测试样本作为候选特征点；

筛选子模块，用于在所述每种类别内，依据预置规则，筛选出所述候选特征点；

所述预置规则为：当所述候选特征点和所述训练样本之间的距离小于第一预设阈值，并且类别内其他所述测试样本和所述训练样本之间的距离大于第二预设阈值时，选取所述候选特征点为所述训练样本的匹配特征点。

进一步，所述坐标变换模块包括：

建立变换模型子模块，用于建立图像坐标变换模型，即建立所述图像A的特征点坐标与所述图像B中与该特征点匹配的特征点坐标之间的对应方程式；

计算子模块，用于根据多对所述匹配的特征点，使用总体最小二乘法，求解所述对应方程式，得到所述关系式；

变换子模块，用于依据所述关系式将所述图像A变换到图像B的坐标系下。

优选的，所述系统还包括：坐标平移模块，用于在所述图像A’与下一相邻的图像拼接时，把所述图像B的特征点进行坐标平移，得到所述图像A’的特征点。

与现有技术相比，本发明具有以下优点：

在本发明的解决方案中，使用最近邻法训练分类器对特征点进行匹配，快速准确的得到特征点之间的匹配关系；并通过总体最小二乘法准确的得到两张图像的变换关系式，实现对两张图像的拼接；在最后顺次拼接的过程中，使用特征点平移的方法进行特征点提取，进一步减少了计算量，从而能够准确快速的生成全景图。

附图说明

图1是本发明基于特征匹配的全景图生成方法实施例1的步骤流程图；

图2是本发明基于特征匹配的全景图生成方法实施例2的步骤流程图；

图3是本发明基于特征匹配的全景图生成方法实施例2的子步骤流程图；

图4是本发明基于特征匹配的全景图生成方法实施例2的子步骤流程图；

图5是本发明基于特征匹配的全景图生成系统实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明基于特征匹配的全景图生成方法实施例1，具体可以包括：

步骤101，提取相邻的图像A和图像B的特征点；建立所述特征点的向量参数；并确定所述特征点的坐标；

步骤102，以所述图像A的特征点作为样本，对所述图像B的特征点进行分类，在所述图像B的每种分类中，选取与所述图像A中的样本最匹配的特征点；

步骤103，利用所述特征点的匹配关系，计算所述图像A变换到图像B的坐标系下的关系式；并依据所述关系式将所述图像A变换到图像B的坐标系下；

步骤104，将所述图像A和图像B拼接为图像A’，即全景图。

参照图2，示出了本发明基于特征匹配的全景图生成方法实施例2，具体可以包括：

步骤201，提取相邻的两张图像(即图像一和图像二)的特征点；建立所述特征点的向量参数；并确定所述特征点的坐标。

生成全景图的过程一般为：先利用摄像设备在不同角度或位置对场景进行拍摄，获得要反映的整个场景信息的多张图像，然后将这些图像根据一定的规则拼接成一张大图即全景图，在该全景图上表现了整个场景的全部信息。

完成步骤201的方法有很多，如可以采用人工特征提取，抽取物体轮廓的特征提取，以图像块灰度值为特征的特征提取方法等等。本实施例的一种优选方案是采用SIFT特征提取算法。根据SIFT特征提取的方法，在图像中找到具有特征的纹理区域，精确计算出这一区域在图像中的二维坐标；并且计算该区域在各个方向上的颜色梯度，统计得到梯度方向直方图，以直方图定义一个高维向量作为向量参数；该向量参数在特征点发生平移、伸缩或旋转时将不会发生变化，同时，该向量参数特征对图像明暗变化也有很强的不变性。由此，使用SIFT特征提取算法，具有全自动和提取的特征对明暗、旋转具有鲁棒性的优点。由于SIFT特征提取算法在现有的算法，所以具体过程在此不再赘述。

步骤202，以所述图像一的特征点作为样本，对所述图像二的特征点进行分类，在所述图像二的每种分类中，选取与所述图像一中的样本最匹配的特征点。

作为优选的实施方案，该步骤的过程可以参见图3，包括以下子步骤：

子步骤2021，以所述图像一的特征点作为训练样本，赋予所述每个特征点一种类别，并以所述特征点的向量参数作为特征，使用最近邻法训练分类器。

最近邻法是一种分类方法，对于一个测试样本，在训练样本集中寻找与该测试样本距离最近的一个训练样本，以该训练样本的类别标号作为此测试样本的类别标号。所述样本之间的距离，可以定义为向量的夹角、向量各维度之间的加权欧氏距离或者向量之间的欧氏距离。本实施例中，采用向量之间的欧氏距离来定义样本之间的距离。欧氏距离(Euclidean distance)是一个常用的距离定义，它是在多维空间中两个点之间的真实距离。

分类器是一种机器学习程序，其实质为数学模型，属于人工智能的范畴；其作用是通过训练后，可以自动的对给定的数据进行分类。

子步骤2022，用所述训练后的分类器对作为测试样本的所述图像二的特征点进行分类。由于两张图像的特征点数量不一定相同，分类之后很有可能出现有些类别有多个测试样本，有些类别没有测试样本的情况。

子步骤2023，基于子步骤2022中的分类结果，在每种类别内，选择与所述训练样本距离最近的所述测试样本作为候选特征点。

子步骤2024，在所述每种类别内，依据预置规则，筛选所述候选特征点，由此在图像一和图像二中得到多对相互匹配的特征点，即每对匹配特征点描述的是场景中相同的点。

所述预置规则为：当所述候选特征点和所述训练样本之间的距离小于第一预设阈值(一般取0-10)，并且类别内其他测试样本和所述训练样本之间的距离大于第二预设阈值(一般去1-30)时，选取所述候选特征点为所述训练样本的匹配特征点。所述阈值的取值是经过试验确定的，一般情况下，第二预设阈值为第一预设阈值的1.5-2倍。

所述子步骤2021到子步骤2024描述的优选方案，能快速有效地实现待拼接图像的特征点匹配，提高算法的鲁棒性和准确性。

为了得到效果好的全景图，往往对获得的反映整个场景的多张图像有一定的要求。本实施例中，一种优选的方案是，要求每两张相邻图像(即在多张图像中，反映连续场景的两张连续的图像)中都有20％的区域描述的是相同的场景，这就保证了这两张图像间可以提取出足够的匹配特征点。当然，如果图像的纹理比较丰富，可以有足够的匹配特征点，那么描述相同场景的区域可以小于20％。

步骤203，利用所述特征点的匹配关系，计算所述图像一变换到图像二的坐标系下的关系式；并依据所述关系式将所述图像一变换到图像二的坐标系下。

另一种优选的实施方式是，步骤203中，所述计算图像一变换到图像二的坐标系下的关系式的过程参见图4，可以分为以下子步骤：

子步骤2031，建立图像坐标变换模型，即建立所述图像一的特征点坐标与所述图像二中与该特征点匹配的特征点坐标之间的对应方程式。

优选的，设图像一的特征点坐标为(x，y)，将它变换(旋转、平移或缩放)到图像二的坐标系后，其坐标变为(x′，y′)(实际上就是图像二中与其匹配的特征点的坐标)，则(x，y)和(x′，y′)之间满足如下的方程式：

$\left(\begin{array}{c}u\\ v\\ w\end{array}\right)=\left(\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ m_6& m_7& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)---\left(1\right)$

$x\prime =\frac{u}{w}=\frac{m_{0}x+m_{1}y+m_2}{m_{6}x+m_{7}y+1}---\left(2\right)$

$y\prime =\frac{v}{w}=\frac{m_{3}x+m_{4}y+m_5}{m_{6}x+m_{7}y+1}---\left(7\right)$

其中m₀-m₇等为8个变换需要的参数，需要求解。

子步骤2032，根据多对所述匹配的特征点，使用总体最小二乘法，求解所述方程式，得到所述关系式。

由变换矩阵(1)式可知，该方程式中有8个未知数，由(2)和(3)式可知，每一对匹配的特征点可以给出关于这8个未知数的2个关系式。由此，取4对匹配特征点，就可以建立方程组，求解出上述8个未知数，得到所述变换的关系式。(4)式即为4对匹配特征点求解的方程组。

优选的，本实施例可以选取多于4对匹配特征点，建立超定方程，使用总体最小二乘法求解上述方程，得到精确度更高的变换关系式。

总体最小二乘法的原理是：在处理一个包含k(k<n)个未知数，且由n个方程构成的方程组时，该方法认为，由于方程组中的系数都是实验数据，这就会造成最后求解的结果有误差；于是该方法就在最小化误差的目标下，求解超定方程，得到较为准确的k个未知数的值。而最小二乘法只把方程中的部分系数认为是实验数据，只对其认定的实验数据进行优化。显然，在本发明实施例中，方程中的系数都是有误差的。由此，比较而言，本发明使用总体最小二乘法进行计算，其准确性高。

$\left(\begin{array}{cccccccc}{x}_1& y_1& 1& 0& 0& 0& -x_1{x\prime }_1& -{x\prime }_1{y}_1\\ x_2& y_2& 1& 0& 0& 0& -x_2{x\prime }_2& -{x\prime }_2{y}_2\\ x_3& y_3& 1& 0& 0& 0& -x_3{x\prime }_3& -{x\prime }_3{y}_3\\ x_4& y_4& 1& 0& 0& 0& -x_4{x\prime }_4& -{x\prime }_4{y}_4\\ 0& 0& 0& x_1& y_1& 1& -x_1{y\prime }_1& -{y\prime }_1{y}_1\\ 0& 0& 0& x_2& y_2& 1& -x_2{y\prime }_2& -{y\prime }_2{y}_2\\ 0& 0& 0& x_3& y_3& 1& -x_3{y\prime }_3& -y{\prime }_3{y}_3\\ 0& 0& 0& x_4& y_4& 1& -x_4{y\prime }_4& -{y\prime }_4{y}_4\end{array}\right)\left(\begin{array}{c}{m}_0\\ m_1\\ m_2\\ m_3\\ m_4\\ m_5\\ m_6\\ m_7\end{array}\right)=\left(\begin{array}{c}{x\prime }_1\\ {x\prime }_2\\ {x\prime }_3\\ {x\prime }_4\\ {y\prime }_1\\ {y\prime }_2\\ {y\prime }_3\\ {y\prime }_4\end{array}\right)---\left(4\right)$

步骤204，将所述图像一和图像二拼接为图像M，即全景图。

作为本实施例的优选方式，该步骤的过程为：在图像二的坐标系下，将所述图像一和图像二重合的部分，进行加权平均得到该部分的像素值；对所述图像一和图像二不重合的部分，使用各图像的像素值。具体处理过程为：在图像二的基础上，考虑图像一中像素变换之后的坐标，如果图像二中像素没有占用这一坐标，则对该坐标赋以图像一的像素值；如果图像二中像素已经占据这一坐标，则认为这里是两张图像重叠的区域，对该区域需用两图对应像素的加权平均值进行赋值，赋值方法如公式(5)所示：

I＝ω_AI_A+ω_BI_B         (5)

其中，I表示像素值，对于黑白图像是亮度，对于彩色图像一般是RGB值，ω_A和ω_B分别是图像一和图像二的亮度权值。权值是根据像素到两图像的中心的距离，距图像一中心越近，距图像二中心越远，则图像一中的像素所占的权值就越大，图像二中的像素所占的权值就越小。公式(6)和(7)具体给出了ω_A和ω_B的选择过程：

ω_A+ω_B＝1               (6)

ω_A/ω_B＝L_B/L_A         (7)

其中，L_A和L_B表示像素到图像一中心和图像二中心的距离。

在本实施例中，进一步的优选方案是，当由多张连续的图像拼接为一张全景图时，由以下过程实现：

1)由本实施例中介绍的两张图像的拼接方法，完成前两张相邻图像的拼接，拼接为图像M。

2)通过特征点平移获取图像M的有用特征点，所述有用特征点是：在图像M与下一张图像(即图像三)拼接中，计算匹配特征点时，有用的特征点。在拼接过程中，由于图像二与图像三相邻，所以图像M中的有用特征点实际上是图像二的特征点(而不是图像一的特征点)。在图像变换过程中，由于是将图像一变换到图像二的坐标系下，所以图像二的特征点只会因坐标原点移动发生平移，而不会有任何旋转或缩放变化，所以，只要记录平移参数(a，b)，即图像二中的坐标原点在图像M中的坐标为(a，b)，就可以通过平移得到图像二的特征点在图像M’中的位置(x’+a，y’+b)，其中(x’，y’)是图像二的特征点在图像二中的坐标。用该坐标平移的方法，减少了特征提取的计算量。

3)使用SIFT方法提取图像三的特征点。具体方法如前步骤201所述。

4)将完成特征点提取的图像M和图像三进行图像拼接，得到一张新的拼接图。拼接过程使用如前步骤202到步骤204所述的方法。如果后面还有图像未拼接，则将此图继续用于后面的拼接。如此进行下去，直到将所有图像完成拼接，得到全景图。

参照图5，示出了本发明基于特征匹配的全景图生成系统实施例，具体可以包括：

特征点提取模块501，用于提取相邻的图像A和图像B的特征点，以及建立所述特征点的向量参数和确定所述特征点的坐标；

匹配关系模块502，用于以所述图像A的特征点作为样本，对所述图像B的特征点进行分类，在所述图像B的每种分类中，选取与所述图像A中的样本最匹配的特征点；

坐标变换模块503，用于根据所述特征点的匹配关系，计算所述图像A变换到图像B的坐标系下的关系式；并依据所述关系式将所述图像A变换到图像B的坐标系下；

拼接模块504，用于将所述图像A和图像B拼接为图像A’。

进一步的，所述匹配关系模块502包括以下子模块：

训练分类器子模块，用于赋予作为训练样本的所述图像A的每个特征点一种类别，并以所述特征点的向量参数作为特征，使用最近邻法训练分类器；

分类子模块，用于利用所述训练后的分类器对作为测试样本的所述图像B的特征点进行分类；

候选特征点选取子模块，用于在每种类别内，选择与所述训练样本距离最近的测试样本作为候选特征点；

筛选子模块，用于在所述每种类别内，依据预置规则，筛选出所述候选特征点；

所述预置规则为：当所述候选特征点和所述训练样本之间的距离小于第一预设阈值，并且类别内其他所述测试样本和所述训练样本之间的距离大于第二预设阈值时，选取所述候选特征点为所述训练样本的匹配特征点。

具体的，所述坐标变换模块503包括以下子模块：

建立变换模型子模块，用于建立图像坐标变换模型，即建立所述图像A的特征点坐标与所述图像B中与该特征点匹配的特征点坐标之间的对应方程式；

计算子模块，用于根据多对所述匹配的特征点，使用总体最小二乘法，求解所述对应方程式，得到所述关系式；

变换子模块，用于依据所述关系式将所述图像A变换到图像B的坐标系下。

优选的，所述系统实施例还可以包括：

坐标平移模块，用于在所述图像A’与下一相邻的图像拼接时，把所述图像B的特征点进行坐标平移，得到所述图像A’的特征点。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的一种基于特征匹配的全景图生成方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。