一种平面运动中基于内点更新的全局基础矩阵估计方法

摘要

本发明是一种平面运动中基于内点更新的全局基础矩阵估计方法。本发明为了解决相机在平面运动中从不同视角拍摄的场景图像中特征点的对应关系问题，提高物体表面特征点的重建精度，本发明将共面约束条件融入到基础矩阵的求解中，减少基础矩阵中的待求解参数个数；根据设定的极线几何距离阈值引入内点更新矩阵，剔除潜在的误匹配点并获得可靠的基础矩阵估计初始值；在此基础上采用四点法迭代求解基础矩阵，得到的基础矩阵同时满足秩的约束条件，基础矩阵估计方法对噪声和误匹配点具有较好的鲁棒性；在基于特征点的姿态测量中，卫星姿态测量的最大角度误差小于0.273°，提高了特征点的重建精度，在多视图三维重建中具有良好的实际应用前景。

说明书

技术领域

本发明涉及平面运动技术领域，是一种平面运动中基于内点更新的全局基础矩阵估计方法。

背景技术

在计算机视觉和机器人学中，根据图像中特征点的匹配关系估计基础矩阵是极线几何中的一个重要问题。随着计算机视觉技术的飞速发展，计算机图形学、虚拟现实等领域对三维模型的需求及应用都在迅速增长，其中利用拍摄的物体或场景图片的三维重建技术受到了广泛的关注。在基于单目视觉的多视图三维重建中，运动结构恢复算法根据输入的一系列图像利用特征点的匹配关系来恢复相机在不同时刻下的位置、方向以及场景结构。图像中特征点的匹配关系与相机间的相对位姿信息直接影响物体的三维重建精度。在机器人学中，基础矩阵的精确估计是视觉导航的前提和基础。精确估计的基础矩阵可以建立图像中特征点的匹配关系，同时相机间的相对位姿信息又包含在基础矩阵中，因此，研究一种高精度、稳健的基础矩阵估计方法对物体的三维重建和机器人的导航与规划具有重要意义。

基础矩阵的估计精度主要与特征点的提取精度和特征点的匹配关系有关。其中，特征点的定位误差通常是由图像中的噪声引起的；当特征点匹配不准确时，只有少数几个误匹配点也会严重影响基础矩阵的计算精度。为了解决上述问题，近年来涌现出了大量的基础矩阵估计方法，主要包括线性法、迭代法和鲁棒性方法。

线性法主要包括七点法，八点法，改进八点法等。该方法通过求解一组线性方程组，利用最小二乘和奇异值分解来估计基础矩阵。线性方法通常效率较高，在特征点提取与匹配足够精确的情况下，可以得到准确的基础矩阵估计结果，然而当特征点匹配关系存在异常时会严重影响线性方法的精度。迭代法主要分为基于最小化极线几何距离和基于梯度两种方法。相比于线性方法，迭代法提高了基础矩阵的求解精度并有效减少了噪声的影响，然而该方法计算复杂度高且同样不适用于含有较多误匹配点的情况。鲁棒性方法因具有剔除误匹配点、抗噪声能力强等优点，成为了研究的主要方向。M估计法(M-estimators)、最小中值平方法(LMedS)和随机样本一致性方法(RANSAC)是目前最有效的鲁棒性方法。为了获得可靠的结果，通常在计算之前对初始的匹配点进行筛选，取出其中误差较小的匹配点作为内点集合，之后利用内点集合中的点来估计基础矩阵。其中，M-estimators法通过对每个点赋予不同的权重系数来降低误匹配点的影响，然而该方法对基础矩阵的初始值要求较高；LMedS法利用点到对应极线距离的中位数来优化基础矩阵，但此方法非常耗时；RANSAC算法通过迭代选择内点来计算基础矩阵，具有精度高，抗噪声能力强等优点，是应用最为广泛的鲁棒性方法，然而当误匹配点比例较高时，该方法效率变低。

为了进一步提高基础矩阵估计的鲁棒性和计算效率，众多学者对RANSAC算法进行了一些改进。Hartley等利用极线几何关系来识别内点和误匹配点，但是存在误匹配点不能完全被识别的情况且误匹配点的剔除依赖于基础矩阵的估计精度随机化RANSAC算法，该算法首先检验内点集合中的部分点，如果该部分点通过检验则对剩余的点进行全局检验，有效地减少了计算量。利用不同的约束条件来迭代求解基础矩阵。Xiao等人提出了一种基于内点集合优化的基础矩阵估计方法(ISSO)，该方法通过引入引导抽样和局部优化算法，有效的剔除了部分误匹配点。这些方法在一定程度上缓解了RANSAC算法的不足，但仍存在随着误匹配点比例的增加而导致的基础矩阵求解精度变差的问题。Yan等人提出了一种基于极线几何误差的基础矩阵估计方法(EGEC)，该方法在求解基础矩阵的过程中剔除误匹配点，提高了基础矩阵的计算效率，但计算精度有待提高。He等人等人介绍了近年来机器人在视觉导航和定位中的研究成果，给出了平面运动中基础矩阵的表达方式。

基于上述分析可以发现，目前存在的基础矩阵估计方法主要解决一般运动下基础矩阵的估计问题。其中，线性法和迭代法的鲁棒性较差，不适用于含有较多误匹配点的情况。RANSAC算法虽然可以对误匹配点进行剔除但存在当误匹配点比例较高时，计算结果不稳定的问题且算法的迭代次数随着所需内点数目的增加呈指数性增长。当相机在平面上运动时，一般运动下基础矩阵估计方法的估计精度降低且所需的内点数目较多。

发明内容

本发明为提高基础矩阵的求解精度，因此本发明提供了一种平面运动中基于内点更新的全局基础矩阵估计方法，本发明提供了以下技术方案：

一种平面运动中基于内点更新的全局基础矩阵估计方法，包括以下步骤：

步骤1：将共面约束条件融入到基础矩阵的求解中，减少基础矩阵中的待求解参数个数；

步骤2：设定的极线几何距离阈值引入内点更新矩阵，剔除潜在的误匹配点并获得可靠的基础矩阵估计初始值；

步骤3：采用四点法迭代求解基础矩阵，得到的基础矩阵满足秩的约束条件；

步骤4：将双目视觉中的极线几何关系扩展到三视图中，通过极小化每组图像中极线交点与同名特征点的坐标偏差来对基础矩阵进行组内全局优化。

优选地，所述步骤1具体为：

步骤1.1：当移动机器人在水平面上移动时，设定相机坐标系与机器人坐标系重合，相机从位置1处移动到位置2处，绕y轴的旋转角度为

确定位置2处相机坐标系与位置1处相机坐标系间的旋转和平移关系：

E＝t×R (2)

其中，E为本征矩阵；

步骤1.2：将式(1)带入式(2)中：

设相机的内参数为K，且相机在移动过程中内参保持不变：

其中,f

步骤1.3：根据基础矩阵与本征矩阵的关系：

d＝1/f

f

f

f

基础矩阵满足：

det(F)＝0

det(F+F

Mf＝0 (7)

其中：

优选地，所述步骤2具体为：

步骤2.1：建立一个矩阵L表示不含噪声的矩阵M，接着利用式(8)在求解L的同时剔除误匹配点；

rank(L)＝rank(M)

其中，W＝diag(w

步骤2.2：由于矩阵L满足Lf＝0，因此可以将式(8)转化为式(9)的最小化问题：

所有的点均为正确的匹配点，因此W矩阵初始为n×n的单位矩阵，ξ＝Inf；

步骤2.3：在迭代开始前，根据相机在平面运动中具有空间一致性的特点，利用图像中同名特征点坐标的相似性消除明显的误匹配点，对W进行第一次更新；对式(9)进行求解，将M

其中：ε

为极线几何距离的最低四分位数；

优选地，第i对匹配点为正确的匹配点则设置w

优选地，所述步骤3具体为：

利用基础矩阵的初值得到的极线几何距离的平均值作为阈值，采用四点法在获得的内点集合中进行多次重复运算，选取包含内点数目最多的模型作为估计出的基础矩阵，所得到的基础矩阵具有稳定性且同时满足秩的约束条件。

优选地，在内点集合中随机选取四对匹配点并带入到式(7)中：

Af＝0 (12)

其中：

已知f

f＝af

将向量转换为基础矩阵的形式并设定c＝1：

F＝aF

其中，a，b为待求解的参数；

联立式(6)与式(14)：

C[a

其中：

利用最小问题自动求解器即求解参数，最后将参数带入到式(14)中完成基础矩阵的估计。

优选地，所述步骤4具体为：

将采集到的图像中相邻的三帧图像设置为一组，分别求取第一帧图像和中间帧图像间的基础矩阵F

本发明具有以下有益效果：

本发明根据移动机器人自身的运动特性，降低了基础矩阵的复杂度，把线性方法和鲁棒性方法的优点结合起来，将所有的匹配点都参与到基础矩阵的初始模型计算中，所采用的基础矩阵估计四点法在每次迭代中利用基础矩阵自身的性质进行求解，同时解决了在迭代过程中因内点的随机选取而导致的基础矩阵求解可能会陷入局部最优的问题，避免使用人为设置的阈值而引入的误差不确定性。并根据三视图中的极线几何关系，对每组图像中的基础矩阵进行组内全局优化，提高了基础矩阵的求解精度。

附图说明

图1为双目视觉中的极线几何关系；

图2为平面上的相机运动；

图3为三视图中的极线几何关系；

图4为不同噪声和不同比例误匹配点下的极线几何距离；

图5为不同噪声和不同比例误匹配点下特征点与极线交点间的距离；

图6为图像中的极线几何关系；

图7为图像中的特征点与极线交点；

图8为卫星特征点三维重建；

图9为动态角度误差。

具体实施方式

以下结合具体实施例，对本发明进行了详细说明。

具体实施例一：

根据图1至图9所示，为了解决相机在平面运动中从不同视角拍摄的场景图像中特征点的对应关系问题，提高物体表面特征点的重建精度，本发明将共面约束条件融入到基础矩阵的求解中，减少基础矩阵中的待求解参数个数；并根据设定的极线几何距离阈值引入内点更新矩阵，剔除潜在的误匹配点并获得可靠的基础矩阵估计初始值；在此基础上采用四点法迭代求解基础矩阵，所得到的基础矩阵能够同时满足秩的约束条件；此外将双目视觉中的极线几何关系扩展到三视图中，通过极小化每组图像中极线交点与同名特征点的坐标偏差来对基础矩阵进行组内全局优化。实验结果表明，本发明基础矩阵估计方法对噪声和误匹配点具有较好的鲁棒性；在基于特征点的姿态测量中，卫星姿态测量的最大角度误差小于0.273°，提高了特征点的重建精度，在多视图三维重建中具有良好的实际应用前景。

本发明为解决上述技术问题采取的具体优化技术方案是：本发明涉及一种平面运动中基于内点更新的全局基础矩阵估计方法。

本发明涉及一种平面运动中基于内点更新的全局基础矩阵估计方法，具体为：

一种平面运动中基于内点更新的全局基础矩阵估计方法，包括以下步骤：

步骤1：将共面约束条件融入到基础矩阵的求解中，减少基础矩阵中的待求解参数个数；对平面运动中两视图间的基础矩阵进行分析，简化后的基础矩阵包含了平面运动共面性这一约束。如图2所示，当移动机器人在水平面上移动时，设相机坐标系与机器人坐标系重合。

优选地，所述步骤1具体为：

步骤1.1：当移动机器人在水平面上移动时，设定相机坐标系与机器人坐标系重合，相机从位置1处移动到位置2处，绕y轴的旋转角度为

确定位置2处相机坐标系与位置1处相机坐标系间的旋转和平移关系：

E＝t×R (2)

其中，E为本征矩阵；

步骤1.2：将式(1)带入式(2)中：

设相机的内参数为K，且相机在移动过程中内参保持不变：

其中,f

步骤1.3：根据基础矩阵与本征矩阵的关系：

d＝1/f

f

f

f

基础矩阵满足：

det(F)＝0

det(F+F

Mf＝0 (7)

其中：

步骤2：设定的极线几何距离阈值引入内点更新矩阵，剔除潜在的误匹配点并获得可靠的基础矩阵估计初始值；

优选地，所述步骤2具体为：

步骤2.1：建立一个矩阵L表示不含噪声的矩阵M，接着利用式(8)在求解L的同时剔除误匹配点；

rank(L)＝rank(M)-1 (8)

其中，W＝diag(w

步骤2.2：由于矩阵L满足Lf＝0，因此可以将式(8)转化为式(9)的最小化问题：

所有的点均为正确的匹配点，因此W矩阵初始为n×n的单位矩阵，ξ＝Inf；

步骤2.3：在迭代开始前，根据相机在平面运动中具有空间一致性的特点，利用图像中同名特征点坐标的相似性消除明显的误匹配点，对W进行第一次更新；对式(9)进行求解，将M

其中：ε

为极线几何距离的最低四分位数；

第i对匹配点为正确的匹配点则设置w

步骤3：采用四点法迭代求解基础矩阵，得到的基础矩阵满足秩的约束条件；

所述步骤3具体为：

在RANSAC算法中，通常利用人为设定的一个阈值来对模型进行迭代更新且求解出的基础矩阵不满足秩为2的约束，因此需要将矩阵中最后一个奇异值强制置为0来使基础矩阵满足秩的约束条件。

首先将利用基础矩阵的初值得到的极线几何距离的平均值作为阈值，采用四点法在获得的内点集合中进行多次重复运算。最后，选取包含内点数目最多的模型作为估计出的基础矩阵，所得到的基础矩阵具有稳定性且同时满足秩的约束条件。

利用基础矩阵的初值得到的极线几何距离的平均值作为阈值，采用四点法在获得的内点集合中进行多次重复运算，选取包含内点数目最多的模型作为估计出的基础矩阵，所得到的基础矩阵具有稳定性且同时满足秩的约束条件。

优选地，在内点集合中随机选取四对匹配点并带入到式(7)中：

Af＝0 (12)

其中：

已知f

f＝af

将向量转换为基础矩阵的形式并设定c＝1：

F＝aF

其中，a，b为待求解的参数；

联立式(6)与式(14)：

C[a

其中：

利用最小问题自动求解器即求解参数，最后将参数带入到式(14)中完成基础矩阵的估计。

步骤4：将双目视觉中的极线几何关系扩展到三视图中，通过极小化每组图像中极线交点与同名特征点的坐标偏差来对基础矩阵进行组内全局优化。

所述步骤4具体为：

将采集到的图像中相邻的三帧图像设置为一组，分别求取第一帧图像和中间帧图像间的基础矩阵F

具体实施例二：

如图1所示，空间点P

设空间点P

m

m′

根据相机的极线几何关系可得：

m′

其中F为基础矩阵。

设基础矩阵为：

联立式(1)，(2)，(3)：

Uf＝0 (4)

其中：

f＝[F

最后将基础矩阵的求解转化为||f||＝1约束条件下min||Uf||的最小二乘问题。由于在实际测量中噪声的影响以及错误的匹配关系从而导致不能直接通过求解线性方程组来得到基础矩阵，基于RANSAC的基础矩阵估计方法被广泛应用。

首先在匹配点集中随机选取八对匹配点并利用式(4)求解基础矩阵F；之后利用基础矩阵F计算所有匹配点的极线几何距离，极线几何距离小于设定阈值的点则被认定为内点；通过多次重复实验，得到基础矩阵的估计结果。基于RANSAC算法的基础矩阵估计方法的精度较为依赖于内点的比例。当匹配点集中的内点比例较低时，RANSAC算法难以准确找到用于估计基础矩阵的内点集合且通过随机抽样选取的特征点可能存在分布不均匀的情况，同样会影响基础矩阵的求解精度与稳定性。

采用Middlebury数据集中不同场景的真实图像和包含不同水平的高斯噪声与误匹配点的模拟数据进行实验，并将本发明方法与ISSO算法，EGEC算法，RANSAC算法进行对比。将极线几何距离的平均值和极线交点与特征点间距离的平均值作为衡量基础矩阵计算精度的标准。

在仿真实验中，根据Middlebury数据集Midd图像中特征点的分布规律仿真生成了300对匹配点。通过加入均值为0，标准差为σ的高斯噪声和不同比例的误匹配点来模拟特征点的定位误差与特征点的误匹配关系。对每组实验数据均进行了100次独立测试并选取所有实验数据的平均值作为最终结果。

图4显示了当误匹配点比例为0时，利用不同的基础矩阵估计方法得到的极线几何距离的平均值与噪声的关系。随着噪声的变强，所有基础矩阵估计方法的精度呈线性方式下降。RANSAC方法与EGEC方法的精度基本一致，本发明所提出的方法在不同噪声水平下均具有较好的效果。图4验证了当匹配点中不存在噪声时，相比于RANSAC算法，其余三种算法对误匹配点均具有较强的鲁棒性；在本发明方法中，极线几何距离的平均值与误匹配点比例基本无关。

在理想情况下，图3中极线的交点与图像中的同名特征点应该重合。图5分别展示了当误匹配点比例为0与匹配点中不存在噪声时，极线的交点与特征点间距离的平均值与噪声和误匹配点比例的关系。从图5中可以看出，在相同条件下，利用改进的基础矩阵估计方法得到的极线的交点与特征点间距离的平均值更小。由此可见，该算法的抗干扰性能优于其他算法，可以适应不同程度的图像噪声和误匹配点不确定性。

为了模拟实际情况，在仿真数据中添加了比例为10％的误匹配点，并加入均值为0、标准差为0～2个像素的高斯噪声，表1和表2分别展示了在不同情况下极线几何距离的平均值与极线交点与特征点间距离的平均值。随着噪声水平的增加，所有估计方法的误差逐渐变大，当误匹配点比例为10％时，在本发明方法，ISSO方法以及EGEC方法中，噪声的影响要大于误匹配点的影响。此外，所提出的方法在数据集中同时存在误匹配点和噪声的情况下具有较高的精度。

表1极线几何距离(像素)

表2特征点与极线交点间的距离(像素)

在真实实验中我们增加了一组拍摄的卫星图像。分别利用本文方法，ISSO算法和EGEC算法对基础矩阵进行估计。图6中的‘*’为采集到的前两帧图像中的特征点，接着利用估计出的基础矩阵恢复出图像中的极线，从图中可以看出特征点基本落在了对应的极线上，显示了精确的极线几何关系。表3给出了在四组实际图像中极线几何距离的平均值。

表3极线几何距离(像素)

从表3中可以看出，利用改进的基础矩阵估计方法在实际图像中得到的极线几何距离误差更小，所求得的基础矩阵精度更高。图7中的‘o’为采集到的中间帧图像中的特征点，‘+’为求解出的极线交点，从图7中可以看出，极线的交点与特征点基本重合。表4给出了在四组实际图像中极线的交点与特征点间距离的平均值。结果证明我们提出的算法比其他传统方法更准确。

表4特征点与极线交点间的距离(像素)

为了进一步验证应用本发明基础矩阵估计方法在提高特征点重建精度方面的效果，将卫星作为重建目标，并设计了静态实验和动态实验，通过计算卫星的旋转角度来验证特征点的重建精度。实验中将卫星置于转台上，转台的控制精度为0.010°，首先控制相机在十个不同的角度下对卫星进行图像的采集。在重建过程中，定义第一帧图像中的相机坐标系为世界坐标系，分别利用本发明中的估计方法和ISSO方法估计出的基础矩阵对卫星表面的特征点进行三维重建，建立卫星特征点库。图8显示了利用本发明中的估计方法得到的卫星表面特征点的重建结果和相机在采集图像时相机坐标系间的相对位置关系。

之后，控制转台在0°～10°范围内进行旋转，每2°暂停一次进行图像的采集。利用采集的图像和在不同基础矩阵估计方法下建立的卫星特征点库采用透视n点算法计算卫星的旋转角度，测得的静态角度误差如表5所示。从表5中可以看出，角度误差随着旋转角度的增加而变大。在本发明估计方法中，最大角度误差为0.104°，精度优于ISSO方法中的结果。

表5静态旋转角度误差

然后，控制转台的运动轨迹为从0°到10°的余弦曲线，转台的平均运行速度为1°/s，图9显示了卫星在一个运动周期内测得的动态角度误差，在本发明方法中，卫星的动态角度误差均在0.273°范围内。静态实验和动态实验结果表明，所提出的基础矩阵估计方法提高了特征点的重建精度。

本发明将误匹配点的剔除与基础矩阵的估计结合起来，提供稳定可靠的基础矩阵初始值和内点集合；然后将秩的约束条件融入到基础矩阵的估计中并构造三视图约束条件下的基础矩阵全局优化函数。实验结果表明，当相机在平面上运动时，相比于传统方法，本发明基础矩阵估计方法效果更好，提高了特征点的重建精度，对于高精度非合作目标姿态测量问题和机器人视觉导航与定位问题的研究具有重要意义。

以上所述仅是一种平面运动中基于内点更新的全局基础矩阵估计方法的优选实施方式，一种平面运动中基于内点更新的全局基础矩阵估计方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。