已知相对旋转角度条件下的像机相对运动估计方法

摘要

本申请涉及一种已知相对旋转角度条件下基于仿射匹配点对的像机相对运动估计方法。利用惯性测量单元与像机固联安装条件时，惯性测量单元和像机在运动过程中各自的相对旋转角相同这一性质，惯性测量单元输出的相对旋转角可以直接用作像机或多像机的相对旋转角，可应用于惯性测量单元与像机之间的安装关系未知或存在变化等更广泛的场景。同时，引入了像机或多像机系统相对旋转角已知的情况，采用两个仿射匹配点对的图像坐标及领域中的局部仿射变换矩阵，即可估计单像机和多像机系统的相对运动。从而提高计算精度和效率，适用于计算能力有限的设备，例如无人机自主导航、自动驾驶汽车和增强现实设备。

说明书

技术领域

本申请涉及定位技术领域，特别是涉及一种已知相对旋转角度条件下的像机相对运动估计方法。

背景技术

单像机或多像机的相对运动估计是三维视觉中的一个基本问题，例如机器人定位和地图绘制，增强现实和自动驾驶。单像机系统采用中心透视投影模型建模，单像机的相对运动估计通常利用5个同名点对的本质矩阵算法，或者利用4个同名点对的单应性矩阵算法。多像机系统由固定在单一刚体上的多个单像机组成。它采用通用像机模型建模，且没有单一的投影中心。多像机的相对运动估计通常利用6个同名点对的最小配置解，或者17个同名点对的线性求解方法。

当前，手机、无人机等电子设备中通常都有惯性测量单元和像机等传感器，而且惯性测量单元和像机固联安装，因此可以利用惯性测量单元为像机相对运动估计提供旋转角度信息，主要可分为以下两种情况：（1）若惯性测量单元与像机之间的安装关系事先精确标定已知，根据惯性测量单元输出的旋转角度能够直接为像机提供姿态角，从而减少像机相对运动估计中待求解的位姿参数。例如，在惯性测量单元为像机提供统一重力方向的条件下，利用3个同名点对能够估计单像机系统的相对运动，4个同名点对能够估计多像机系统的相对运动。（2）若惯性测量单元与像机之间的安装关系未知，可根据两者固联安装条件下，惯性测量单元和像机在运动过程中各自的相对旋转角相同这一性质，惯性测量单元输出的相对旋转角可以直接用作像机的相对旋转角，同样能减少像机相对运动估计中待求解的位姿参数。利用4个同名点对和5个同名点对分别能估计单像机系统和多像机系统的相对运动。由于不需要对惯性测量单元与像机进行标定，使得惯性测量单元和像机的融合更加灵活方便，在三维重建、视觉里程计等领域具有广泛的应用场景。

传统的相对运动估计算法通常采用SIFT和SURF等特征算法获得同名点对。目前多视图几何估计中，通过ASIFT和MODS等特征算法提取的仿射匹配对点，因为包含更多的图像点对信息而受到了越来越多的关注。仿射匹配对点不仅包括同名点对的图像坐标，而且包括同名点对之间领域信息的局部仿射矩阵。每个仿射匹配点对在对极几何关系上给出三个约束方程，能够有效减少相对运动估计方法所需点对的数量。

发明内容

基于此，有必要针对上述技术问题，提供一种能够利用仿射匹配点对解决已知相对旋转角度条件下的像机相对运动估计方法。

一种已知相对旋转角度条件下的像机相对运动估计方法，所述方法包括：

获取像机拍摄的第一视图和第二视图中至少两个仿射匹配点对，选择第j个所述仿射匹配点对建立世界参考系；所述世界参考系的原点为第j个所述仿射匹配点对在三维空间中的位置，所述世界参考系的坐标轴方向与所述第一视图方向一致；

获取所述第一视图和所述第二视图之间的第一位姿关系，获取所述第一视图和所述世界参考系的第二位姿关系，以及获取第二视图和所述世界参考系的第三位姿关系；所述第一位姿关系、所述第二位姿关系以及所述第三位姿关系中均包括旋转矩阵和平移向量；

对所述旋转矩阵和所述平移向量进行参数化，以及根据所述第一视图和所述第二视图之间的相对旋转角度，确定所述旋转矩阵对应未知数的旋转参数约束；

采用参数化后的所述旋转矩阵和所述平移向量表示所述第一位姿关系以及获取对应的本质矩阵；

获取由第j个所述仿射匹配点确定的所述本质矩阵与所述仿射匹配点中仿射匹配矩阵对应的两个仿射变换约束，获取其他所述仿射匹配点确定的所述第一视图和所述第二视图的一个对极几何约束以及所述本质矩阵与所述仿射匹配点中仿射匹配矩阵对应的两个仿射变换约束；

根据第j个所述仿射匹配点对应的两个仿射变换约束，以及其他所述仿射匹配点确定的一个对极几何约束和两个仿射变换约束，求解得到所述旋转矩阵和所述平移向量，根据所述旋转矩阵和所述平移向量确定像机相对运动关系。

上述已知相对旋转角度条件下的像机相对运动估计方法，利用惯性测量单元提供的相对旋转角度，并根据仿射匹配对点和像机运动模型之间的约束。提出了基于两个仿射匹配点对的相对运动估计最小解，分别估计单个像机和多像机系统的运动，从而极大减少求解单像机和多像机系统相对运动估计问题所需要的点对数量，明显提高了算法的精度及鲁棒性，并且适用于惯性测量单元与像机之间安装关系未知或存在变化的情况。

附图说明

图1为一个实施例中已知相对旋转角度条件下的像机相对运动估计方法；

图2为一个实施例中单像机参数分布示意图；

图3为一个实施例中多像机参数分布示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种已知相对旋转角度条件下的像机相对运动估计方法，包括以下步骤：

步骤102，获取像机拍摄的第一视图和第二视图中至少两个仿射匹配点对，选择第j个仿射匹配点对建立世界参考系。

世界参考系的原点为第j个仿射匹配点对在三维空间中的位置，世界参考系的坐标轴方向与第一视图方向一致。

步骤104，获取第一视图和第二视图之间的第一位姿关系，获取第一视图和世界参考系的第二位姿关系，以及获取第二视图和世界参考系的第三位姿关系。

第一位姿关系、第二位姿关系以及第三位姿关系中均包括旋转矩阵和平移向量。

步骤106，对旋转矩阵和平移向量进行参数化，以及根据第一视图和第二视图之间的相对旋转角度，确定旋转矩阵对应未知数的旋转参数约束，采用参数化后的旋转矩阵和平移向量表示第一位姿关系以及获取对应的本质矩阵。

步骤108，获取由第j个仿射匹配点确定的本质矩阵与仿射匹配点中仿射匹配矩阵对应的两个仿射变换约束，获取其他仿射匹配点确定的第一视图和第二视图的一个对极几何约束以及本质矩阵与仿射匹配点中仿射匹配矩阵对应的两个仿射变换约束。

步骤110，根据第j个仿射匹配点对应的两个仿射变换约束，以及其他仿射匹配点确定的一个对极几何约束和两个仿射变换约束，得到旋转矩阵和平移向量，根据旋转矩阵和平移向量确定像机相对运动关系。

上述已知相对旋转角度条件下的像机相对运动估计方法，利用惯性测量单元提供的相对旋转角度，并根据仿射匹配对点和像机运动模型之间的约束。提出了基于两个仿射匹配点对的相对运动估计最小解，分别估计单个像机和多像机系统的运动，从而极大减少求解单像机和多像机系统相对运动估计问题所需要的点对数量，明显提高了算法的精度及鲁棒性，并且适用于惯性测量单元与像机之间安装关系未知或存在变化的情况。

对于单像机相对运动估计，假定第j个仿射匹配点对表示为

在其中一个实施例中，获取对旋转矩阵进行参数化得到的旋转矩阵为：

其中，

根据第一视图和第二视图之间的相对旋转角度，确定旋转矩阵对应未知数的旋转参数约束为：

其中，

在其中一个实施例中，获取对平移向量进行参数化得到的第二位姿关系中平移向量和第三位姿关系中平移向量分别为：

其中，

采用参数化后的旋转矩阵和平移向量表示第一位姿关系为：

其中，

以及获取对应的本质矩阵为：

其中，E表示本质矩阵，

在其中一个实施例中，对极几何约束为：

其中，

仿射变换约束为：

其中，下标(1:2)表示前两个方程式。

在其中一个实施例中，根据旋转参数约束，确定单像机的相对运动参数为四个自由度；选择所述第j个仿射匹配点对应的两个仿射变换约束，以及其他仿射匹配点确定的一个对极几何约束，构建第一求解模型为：

其中，

选择其他仿射匹配点建立世界参考系，得到第二求解模型为：

其中，

根据第一求解模型和第二求解模型，得到关于未知数

通过Gröbner基求解法获得六个方程的代数解，根据代数解确定第一位姿关系的旋转矩阵R，根据

在其中一个实施例中，当像机为多像机系统时，获取多像机系统中像机

采用Plücker向量对所述多像机系统中平移向量进行参数化，得到平移向量为：

其中，

根据参数化后的旋转矩阵和平移向量，得到第一视图和第二视图对应的两个透视相机之间的第四位姿关系为：

计算第四位姿关系对应的本质矩阵为：

在其中一个实施例中，根据所述旋转参数约束，确定多像机系统的相对运动参数为五个自由度；

选择所述第j个所述仿射匹配点对应的两个仿射变换约束，以及其他所述仿射匹配点确定的一个对极几何约束和一个仿射变换约束，构建第三求解模型为：

选择其他所述仿射匹配点建立世界参考系，得到第四求解模型为：

根据所述第三求解模型和所述第四求解模型，得到关于未知数

通过Gröbner基求解法获得八个方程的代数解，根据所述代数解确定多像机系统第一位姿关系的旋转矩阵R，根据

以下分别以单像机和多相机两种情况进行进一步说明。

单像机

选择任意一个仿射匹配点对来定义世界参考系W，如图2所示。假设当前选择了第j个仿射匹配点对，选取第j个仿射匹配点对在三维空间中的位置作为W的原点，且W的坐标轴方向与视图1（图2中View1）一致。将视图1和视图2（图2中View2）之间的位姿关系表示为

其中

其中

接下来，将

两个视图之间的相对运动由两个变换的组合确定：（i）从视图1到W，（ii）从W到视图2。未知数

本质矩阵可以表示为：

通过将式

一个仿射匹配点对能够为几何模型估计提取三个独立的约束，包括一个从同名点对关系导出的对极几何约束

描述本质矩阵

其中下标(1:2)表示前两个方程式。

由于已经选择一个仿射匹配点对作为世界参考系的原点来对平移向量进行特殊参数化，发现所选仿射匹配点对中的同名点对应关系不能贡献一个新的约束，因为所得方程的系数都为零。因此，当第j个仿射匹配点对被用于建立世界参考系W时，两个仿射匹配点对能够提供五个方程。具体而言，第j个仿射匹配点对基于式

其中，

在通过惯性测量单元获得两个像机之间的相对旋转角度后，单像机的相对运动估计问题为四个自由度。但是，两个仿射匹配点对可以提供六个独立的约束。这意味着约束的数量大于未知数的数量，并且存在冗余的约束。因此，最少一个仿射匹配点对和一个同名点对就足以估计已知相对旋转角度条件下的单像机相对运动。可以从式

由于式

总而言之，假设选择第j个仿射匹配点对来建立世界基准系W。由于在最小解情况下需要有两个仿射匹配点对，所以也可以选择另外一个仿射匹配点对来建立世界参考系W。假设选择了第j'个AC，就可以得到一个类似于式

将式

上式为关于

对于式

上述求解方法最多有20个复数解和尺寸为36×56的消除模板。一旦获得了旋转参数

多像机

选择第j个仿射匹配点对来定义世界参考系W，如图3所示。选取第j个仿射匹配点对在三维空间中的位置作为W的原点，且W的坐标轴方向与视图1（图3中View1）一致。在多像机系统的参考中将

其中

假设选择第j个仿射匹配点对对应的三维空间位置

等效地，也可以表述为：

其中，

每个仿射匹配点对关联着视图1和视图2中两个透视像机。两个像机之间的相对运动

每个仿射匹配点对中两个透视像机之间相对运动

通过将式

在通过惯性测量单元获得两个多像机系统之间的相对旋转角度后，多像机的相对运动估计问题为五个自由度。考虑到两个仿射匹配点对提供六个独立的约束，约束的数量大于未知数，并且存在冗余约束。因此，从式

由于式

同样，可以选择另一个仿射匹配点对来建立世界参考系W。假设选择了第

将式

这些方程的次数为6。此外，在刚刚的问题中发现了一个额外的约束，即

仿射变换约束为上述问题提供了额外的方程。只有当使用第j个仿射匹配点对来建立世界参考系W时，第j个仿射匹配点对的两个仿射变换约束才用于构造额外方程。因此，对于多像机的相对运动估计问题，存在三个额外的方程：

上式为关于

使用Gröbner基方法进行求解。将式

一旦获得了旋转参数

本发明可以达到以下的技术效果：

1)本发明针对惯性测量单元直接提供相对旋转角度的条件下，充分利用视图之间的仿射匹配点对信息，极大减少求解单像机和多像机系统相对运动估计问题所需要的点对数量，明显提高了算法的精度及鲁棒性。

2)本发明利用惯性测量单元与像机固联安装条件下，惯性测量单元和像机在运动过程中各自的相对旋转角相同这一性质，惯性测量单元输出的相对旋转角可以直接用作像机或多像机的相对旋转角，可应用于惯性测量单元与像机之间的安装关系未知或存在变化等更广泛的场景。

3)针对惯性测量单元直接提供单像机相对旋转角度的条件下，单像机相对运动具有4个自由度。提出了一种新的单像机相对运动估计最小配置解求解方法，该求解方法通过2个仿射匹配点对可以准确估计出单像机的相对运动。

4)针对惯性测量单元直接提供多像机相对旋转角度的条件下，多像机相对运动具有5个自由度。提出了一种新的多像机相对运动估计最小配置解求解方法，该求解方法通过2个交叉或非交叉仿射匹配点对可以准确估计多像机系统的相对运动。

5)本发明的方法不需要对惯性测量单元与像机进行标定，使得惯性测量单元和像机的融合更加灵活方便，而且提出的方法具有更高的精度和效率，适用于计算能力有限的设备，例如无人机自主导航、自动驾驶汽车和增强现实设备等。

本发明对于固联安装惯性测量单元和像机的手机、无人机等电子设备，利用惯性测量单元为像机提供相对旋转角度信息，利用二个仿射匹配点对估计单像机和多像机系统的相对运动过程如下：

1）通过ASIFT和MODS等算法提取像机相对运动中两视图之间的仿射匹配点对，包括同名点对图像坐标和相应领域信息之间的局部仿射矩阵；

2）利用与像机固联安装的惯性测量单元直接输出的相对旋转角度信息；

3）根据两视图之间提取的仿射匹配点对，惯性测量单元输出的相对旋转角度和本发明提出相对运动估计算法，求解单像机和多像机系统之间的相对运动。同时结合RANSAC框架剔除仿射匹配点对中的误匹配点对，并恢复像机的相对运动结果。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。