一种基于视觉引导的舰载机着陆过程姿态预估方法

摘要

本发明公开一种基于视觉引导的舰载机着陆过程姿态预估方法，首先对舰载机采集到的连续两帧图像的特征点进行提取和匹配，根据匹配点对及其像素坐标，计算出两帧图像的对极几何关系得到基础矩阵，通过基础矩阵与本质矩阵的对应关系来确定本质矩阵，对本质矩阵进行奇异值分解后求解出旋转矩阵，将求得的旋转矩阵转换为欧拉角，从而估计出舰载机下降过程中的姿态信息。本发明只需利用两帧及以上观测图像即可估计出舰载机的姿态信息，具有更强的灵活性，基于视觉引导的方式，成本低、精度高，且抗干扰能力强。

说明书

技术领域

本发明涉及一种基于视觉引导的舰载机着陆过程姿态预估方法，属于计算机 视觉技术领域。

背景技术

舰载机是航空母舰主要的作战武器。舰载机的性能对航空母舰是否能发挥最 大作战力量起着决定性的作用。关于舰载机仍存在许多难点需要攻坚，例如舰载 机的降落问题，因其危险程度高、降落难度大，且降落事故引起的损失惨重，因 此，引导舰载机安全降落也一直是全世界研究的重点。

获取准确、高精度的着舰过程的姿态信息是舰载机安全降落的关键，而姿态 信息是由导航系统所提供。传统的导航技术包括惯性导航、雷达导航、GPS导航 等。传统的导航技术存在着一些问题：惯性导航对惯性元件的要求较高，且误差 会逐渐增大，影响导航精度；雷达导航的定位精度受限于雷达，且需采用雷达回 收站，费用将增加；GPS导航是目前应用最广泛的导航方式，但由于GPS借助卫 星定位，容易受到电子的干扰；而视觉导航作为一种新型导航技术，因其不受地 形干扰、精度高、自主化程度高、成本较低等优点，得到人们广泛的关注。

视觉导航是以图像处理技术为基础，对摄像机采集到的图像进行处理，从而 估计出目标运动过程中的位姿信息，以进行对目标的进一步控制，其中，根据图 像信息获取目标的姿态信息一直是研究的重点和难点。

发明内容

为解决上述问题，本发明在现有的导航技术理论下，运用视觉里程计中的特 征点法，提出一种基于视觉引导的舰载机着陆过程姿态预估方法。该方法根据舰 载机摄像机采集到的舰载机降落过程的序列图像，获取相应的特征点，并利用相 邻两帧的变化关系解得帧间的相对运动参数，进而得到舰载机的位姿信息，进而 实现舰载机运动控制。具体技术方案如下：

一种基于视觉引导的舰载机着陆过程姿态预估方法，包括以下步骤：

S1.对舰载机机载摄像机拍摄的连续两帧图像进行特征点提取和匹配，获得 匹配点对；

S2.根据获得的匹配点对计算出两帧图像间的对极几何关系，得到基础矩阵 F；

S3.对基础矩阵F通过归一化图像坐标进行转换以得到本质矩阵E；

S4.对本质矩阵E进行奇异值分解后求解出旋转矩阵R；

S5.将求得的旋转矩阵R转换为欧拉角，通过欧拉角来描述舰载机的预估位 姿信息。

作为一种优选方案，在S1中还包括判断匹配是否成功，若出现匹配点少于 期望值N或未匹配现象，则根据上一帧信息预测当前帧的特征点位置，并结合上 一帧特征点更新匹配点对，N的取值不小于8。

作为一种优选方案，根据上一帧信息利用卡尔曼滤波器预测当前帧的特征点 位置。

作为一种优选方案，步骤S1采用SIFT算法进行特征点的提取和匹配。

作为一种优选方案，步骤S1包括：

S11.建立高斯差分金字塔：构建的高斯金字塔，将构建完成的高斯金字塔 同一组中相邻两层的图像相减，按组排列生成一系列差分图像，这些差分图像即 构成高斯差分金字塔；

S12.关键点的初查：寻找高斯差分金字塔的局部极值点并将这些局部极值 点定义为关键点；

S13.关键点精确定位：对寻找到的关键点进一步筛选，去除低对比度的关键 点及不稳定的边缘响应点；

S14.关键点方向分配：计算任一关键点的邻域像素的梯度信息，再根据梯 度信息，为每一个经精确定位后的关键点分配方向；

S15.关键点特征描述；为每一个经精确定位后的关键点建立特征描述符， 根据梯度信息得到对应关键点的特征向量；

S16.特征点匹配：通过计算两组特征点特征向量的欧式距离度量两组特征 点的相似性，当两个特征点特征向量的欧式距离小于设定的距离阈值时，则接收 这一对匹配点。

作为一种优选方案，步骤S12中，寻找局部极值点时，样本点要与它当前图 像邻近的8个点，以及上下相邻层上的邻近的各9个点做比较，依次遍历每一个 点，当所选样本点比所有近邻点大或小时被选择为关键点。

作为一种优选方案，步骤S14中，对梯度计算后，使用直方图对邻域像素的 梯度方向进行统计，将直方图的峰值方向作为关键点的主方向，将大于主方向峰 值80％的方向保留并作为关键点的辅方向。

作为一种优选方案，步骤S2采用RANSAC算法计算基础矩阵。

RANSAC算法计算如下：

对舰载机机载摄像机拍摄的两帧图中任意一对匹配点基本矩阵F满 足条件x'^TFx＝0，记两帧图匹配点坐标分别为x＝(x,y,1)^T，x'＝(x',y',1)^T，f_ij为>

展开后有：

x'xf₁₁+x'yf₁₂+x'f₁₃+y'xf₂₁+y'yf₂₂+y'f₂₃+xf₃₁+yf₃₂+f₃₃＝0

将基础矩阵F写成列向量f的形式，则有：

[x'x x'y x' y'x y'y y' x y 1]f＝0

随机从匹配点对中选定8组，设为则有：

令左边矩阵为A，则有Af＝0，进行线性运算易得基础矩阵F，用F进行验 算，计算验算成功的点对数n；再随机选择8组点对，重复以上步骤，找到使n 最大的F作为最终求得的基础矩阵F。

作为一种优选方案，步骤S3包括：

假设舰载机机载摄像机外参矩阵P＝[R|t]，则x＝PX，已知机载摄像机标 定矩阵K，将K的逆矩阵作用于点x得到点则是图像 上的点在归一化坐标下的表示，本质矩阵即在归一化图像坐标下的基础矩阵；

假设令其对应反对称矩阵为：

则本质矩阵具有如下形式：

E＝[t]_XR＝R[R|t]_X

用归一化图像坐标表示点对则本质矩阵的定义方程为：

将代入上式得x'^TK'^-TEK^-1x＝0；

与x'^TFx＝0比较，得到本质矩阵E和基础矩阵F的关系：

E＝K'^TFK

在已知舰载机机载摄像机内参矩阵的条件下，可根据上述公式将基础矩阵F 转换为本质矩阵E。

作为一种优选方案，步骤S4包括：

本质矩阵E已知，即可恢复舰载机机载摄像机的内参矩阵，令E＝[t]_×R＝SR，>T，利用如下矩阵：

在相差一个符号的意义下，Z＝diag(1 1 0)W,S＝Udiag(1 1 0)WU^T，>

E＝SR＝Udiag(1 1 0)(WU^TR)

假设E的奇异值分解为Udiag(1 1 0)V^T,R＝UXV^T,则有：

Udiag(1 1 0)V^T＝E＝SR＝(UZU^T)(UXV^T)＝U(ZX)V^T

故，ZX＝diag(1 1 0)，推得X＝W或X＝W^T；

又因为St＝[t]_Xt＝0，计算得到t＝U(0>T＝u₃，即等于分解矩阵U的>

应四种可能解，即：

P＝[UWV^T|u₃]；[UWV^T|-u₃]；[UW^TV^T|u₃]；[UW^TV^T|-u₃]，

选择拍摄的物体位于舰载机机载摄像机的前方所对应的点，得到机载摄像机的外

参矩阵P的解，从而得到旋转矩阵。

作为一种优选方案，步骤S5包括：

设舰载机单独绕x、y、z轴旋转θ角度的旋转矩阵分别为 R_x(θ)、R_y(θ)、R_z(θ)，则有：

若舰载机按x轴、y轴、z轴的顺序旋转，记x、y、z三个轴欧拉角的正弦 和余弦函数为s_x,c_x,s_y,c_y,s_z,c_z；

该变换的旋转矩阵为：

设旋转矩阵形式如下：

设舰载机x轴、y轴、z轴欧拉角分别为θ_x,θ_y,θ_z，根据旋转矩阵表达式，则>

θ_x＝a>32,r₃₃)

θ_z＝a>21,r₁₁)

由此，基于视觉的引导，估计出舰载机下降过程的姿态信息。

本发明提出的基于视觉引导的舰载机着陆过程姿态预估方法与现有的技术 相比优点在于：

(1)本发明基于视觉引导的方式，只需要利用两帧及以上的观测图像即可 估算出舰载机的姿态信息，灵活性高、抗干扰能力强，适用性广，且精度较高、 成本低廉。

(2)因匹配点对远超过8对，本发明运用RANSAC算法计算基础矩阵，充分 利用所有匹配点对，大大提高了基础矩阵计算的准确率，有效地避免错误数据对 整体结果的影响，从而得到更为准确的舰载机位姿信息。

(3)本发明中采用的特征点法的思想，对解决相机位姿估计、同时定位与 建图等问题均具有重要的参考意义。

附图说明

图1为基于视觉引导的舰载机着陆过程姿态预估方法流程图；

图2为高斯差分金字塔的生成示意图；

图3为空间极值点检测示意图；

图4为对极几何示意图；

图5为摄像机矩阵四个解的几何解释示意图。

具体实施方式

根据舰载机机载摄像机在着陆过程中拍摄的图像序列，对帧间图像进行特 征提取和匹配，并计算得到同一时刻匹配点对的像素坐标，再利用前后两帧匹配 点对的坐标值估算出舰载机的姿态信息，进而实现舰载机运动控制。

对舰载机机载摄像机拍摄的连续两帧图像进行特征点提取和匹配，若出现匹 配点对较少甚至未匹配现象，则根据上一帧信息预测当前帧的特征点位置，结合 上一帧特征点更新匹配点对；

根据匹配点对求解基础矩阵，确定本质矩阵，从而计算出旋转矩阵，估计出 舰载机的姿态信息。

下面结合附图和具体实施步骤对本发明进行详细说明。

如图1所示，本发明的具体实施方法如下：

步骤一、对舰载机机载摄像机拍摄的连续两帧图像进行特征点提取和匹配， 获得匹配点对。

本发明采用SIFT算法进行特征点的提取和匹配。SIFT算法的具体实现过程 如下所示：

(1)生成高斯差分金字塔(DOG金字塔)

想要构建高斯差分金字塔，必须先构建高斯金字塔。高斯金字塔的构建如下： 首先，将舰载机降落时采集的原始图像做降采样，并按大图在下，小图在上排列， 一层层的图像组成个类似于金字塔的模型；其次，再对这一层层图像做不同尺度 的高斯模糊，将每一层不同尺度的高斯模糊图的集合称作一组。这些图像一起就 构成了高斯金字塔。

如图2所示，高斯金字塔构建完成后，即可在此基础之上构建高斯差分金字 塔。将高斯金字塔同一组中相邻两层的图像相减，按组排列生成一系列差分图像， 这些差分图像就构成了高斯差分金字塔。

(2)检测空间极值点(即关键点的初查)

将高斯差分金字塔的局部极值点作为关键点，在高斯差分金字塔的基础上寻 找这些关键点。

如图3所示，寻找局部极值点时，样本点要与它当前图像邻近的8个点，以 及上下相邻层上的邻近的各9个点做比较。依次遍历每一个点，当所选样本点比 所有近邻点大或小时，此样本点被选择为关键点。

(3)关键点的精确定位

对上一步所检测到的局部极值点还需要进行进一步的筛选。

尺度空间函数D(x,y,σ)的Taylor展开式(保留前两项)为：

其中，X＝(x,y,σ)^T。(x,y)为图像上的点，σ为尺度空间因子。

对上式求导，并让方程等于0。计算出极值点为：

将极值点的值代入到尺度空间函数的Taylor展开式中，则有：

将的关键点去除，去除了低对比度的关键点。

同时也要去除不稳定的边缘响应点。获取关键点的Hessian矩阵，Hessian 矩阵的公式如下所示：

其中D_xx表示同一尺度下图像对x方向求导2次，D_yy表示对y方向求导2>xy先对x方向求导，再对y方向求导。通过Hessian矩阵计算主曲率。假>

若则将此关键点保留。

基于上述两个步骤，完成对关键点的精确定位。

(4)关键点方向分配

对于任一关键点，利用公式计算其邻域像素的梯度信息。再根据梯度信息， 为每一个关键点分配方向。

记梯度的幅值为m(x,y)，梯度的方向为θ(x,y)，关键点所在尺度空间值为 L(x,y)。

梯度的幅值公式如下：

梯度的方向公式如下：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

梯度计算后，使用直方图对邻域像素的梯度方向进行统计。将直方图的峰值 方向作为关键点的主方向，并将大于主方向峰值80％的方向保留，作为该关键 点的辅方向。

(5)关键点特征描述

为每个关键点建立描述符。确定计算描述符所需的图像区域。将坐标轴旋转 为关键点的方向，以确保旋转不变性。将邻域内的采样点分配到对应的子区域内， 将子区域内的梯度值分配到8个方向上，计算其权值。插值计算每个种子点八个 方向的梯度。如上统计的128个梯度信息即为该关键点的特征向量。

(6)特征点匹配

基于SIFT算法，对提取的特征点进行匹配。特征点的匹配是通过计算两组 特征点特征向量的欧式距离来度量两组特征点的相似性。特征点由128维特征向 量表示，假设两特征点间欧式距离为L，两特征点描述元素分别为X_i、Y_i，则有>

设置距离阈值，当两个特征点特征向量的欧式距离L小于设定的阈值时，则 接收这一对匹配点。

步骤二、判断匹配是否成功，针对两种情况进行不同处理。

在对舰载机采集到的两帧图像进行特征匹配后，若得到的匹配点对数目非常 多，则可判定为匹配成功，直接输出匹配点对对应的像素坐标即可；若得到的匹 配点对数目少于8对或出现未实现匹配的现象，则可判定为匹配失败。根据上一 帧图像的特征点坐标，利用卡尔曼滤波器预测当前帧图像的特征点坐标，与上一 帧图像的特征点结合更新匹配点对，并输出对应的像素坐标以便后续处理。具体 实现过程如下：

因为相邻2帧的时间非常短，可将舰载机在相邻帧间的运动近似为匀速运 动，则系统为线性动态模型，该系统的状态方程和观测方程如下：

X(k)＝AX(k-1)+BU(k)+w(k)

Z(k)＝HX(k)+v(k)

其中，X(k)定义为k时刻系统状态，U(k)为k时刻对系统的控制量，A为 状态转移矩阵，B为控制输入矩阵，w(k)为过程噪声，Z(k)为k时刻系统测量 值，H为观测矩阵，v(k)为测量噪声。

将状态向量X(k)设为：

X(k)＝[x(k) y(k) x'(k) y'(k)]^T

其中x(k)、y(k)分别为特征点的横、纵坐标，x'(k)、y'(k)表示在x、y 方向上的速度。可见，X(k)赋予了特征点的位置和速度信息。

状态转移矩阵A设为：

其中Δt为相邻2帧的间隔。

观测矩阵H设为：

此外，过程噪声协方差矩阵Q、测量噪声协方差矩阵R以及最小均方误差矩 阵P均可设为对角矩阵。由此定义了舰载机运动的状态方程和观测方程，从而 可预测出当前帧图像的特征点坐标，与上一帧的特征点结合形成匹配点对，并得 出相应的像素坐标。

步骤三、根据匹配点对计算出两帧图像间的对极几何关系，即基础矩阵F。

实施例中优选RANSAC算法计算基础矩阵。首先简述对极几何的概念，如图 4所示，C和C'为两摄像机的中心，对于空间中的一点X，在两幅视图上的投 影分别为x和x'，摄像机基线为连接两摄像机基线的直线CC'。可见摄像机中心 C、C'，空间点X以及图像点x、x'在同一个平面π上。摄像机基线与图像平面 相交于两对极点e、e'。任何包含基线的平面π是一张对极平面，并与图像平面 相交于对极线l、l'。对于一幅图像上的点x，在另一幅图像中存在一条对应的对 极线l'，任何一个与x匹配的点必然在对极线l'上，即存在一个点到对应对极线 的映射关系：

x→l'

假设令其对应反对称矩阵为：

给定点x'，e'、x'都在对极线l'上。且x、x'是射影等价的，可找到一个单 应矩阵H_π，使得x'＝H_πx，则有：

l'＝e'×x'＝[e']_×x'＝[e']_×H_πx＝Fx

由此可见，基本矩阵F即表示x→l'的射影映射。且对两幅图中任何一对对 应点基本矩阵满足条件x'^TFx＝0。

下面对基础矩阵F进行求解。因为匹配点对数多于8，考虑充分利用这些点 对，采用RANSAC算法找出基础矩阵F。

记点坐标为x＝(x y 1)^T，x'＝(x'>T，f_ij为基础矩阵F的i行i列>

展开后有：

x'xf₁₁+x'yf₁₂+x'f₁₃+y'xf₂₁+y'yf₂₂+y'f₂₃+xf₃₁+yf₃₂+f₃₃＝0

将矩阵F写成列向量f的形式，则有：

[x'x x'y x' y'x y'y y' x y 1]f＝0

假设随机选定8组点对，设为则有：

令左边矩阵为A，则有Af＝0。进行线性运算求得基础矩阵F。用F进行验 算，计算验算成功的点对数n。再随机选择8组点对，重复以上步骤，找到使n 最大的F作为最终求得的基础矩阵F。

步骤四、根据基础矩阵F和本质矩阵E的关系，在已知舰载机机载摄像机内 参矩阵的情况下，得到本质矩阵E。

假设舰载机机载摄像机矩阵P＝[R|t]，则x＝PX。已知机载摄像机的标定 矩阵K，将K的逆矩阵作用于点x得到点则是图像上 的点在归一化坐标下的表示。与归一化机载摄像机矩阵对应的基础矩阵称为本质 矩阵。

本质矩阵具有如下形式：

E＝[t]_XR＝R[R|t]_X

用归一化图像坐标表示点对则本质矩阵的定义方程为：

将代入上式得x'^TK'^-TEK^-1x＝0。与x'^TFx＝0比较，得到本质矩>

E＝K'^TFK

在已知舰载机机载摄像机内参矩阵的条件下，可根据上述公式将基础矩阵F 转换为本质矩阵E。

步骤五、由求得的本质矩阵E恢复摄像机的外参数矩阵，即可得到旋转矩阵 R。

本质矩阵E已知，即可恢复舰载机机载摄像机矩阵。令E＝[t]_×R＝SR，S为>T。利用如下矩阵：

在相差一个符号的意义下，Z＝diag(1 1 0)W,S＝Udiag(1 1 0)WU^T，>

E＝SR＝Udiag(1 1 0)(WU^TR)

可见这正是E的奇异值分解。

假设E的奇异值(SVD)分解为Udiag(1 1 0)V^T,R＝UXV^T,则有：

Udiag(1 1 0)V^T＝E＝SR＝(UZU^T)(UXVT)＝U(ZX)V^T

故ZX＝diag(1 1 0)，从而推得X＝W或X＝W^T。又因为St＝[t]_Xt＝0，从而 可以计算出t＝U(0>T＝u₃，等于U最后一列，然而E的符号未知，故t的>

P＝[UWV^T|u₃]；[UWV^T|-u₃]；[UW^TV^T|u₃]；[UW^TV^T|-u₃]。

四个解对应的几何解释如图5所示,由图5(1)可看出，图中空间点X在摄 像机的前方，符合真实的情况，故选择解P＝[UWV^T|u₃]，其中，旋转矩阵R>T，平移矩阵T就是u₃，即外参矩阵包括旋转矩阵R和平移矩阵T。这>

步骤六、将求得的旋转矩阵转换为欧拉角，估计出舰载机下降过程的姿态信 息。

设舰载机单独绕x、y、z轴旋转θ角度的旋转矩阵分别为 R_x(θ)、R_y(θ)、R_z(θ)，则有：

若舰载机按x轴、y轴、z轴的顺序旋转，记x、y、z三个轴欧拉角的正弦 和余弦函数为s_x,c_x,s_y,c_y,s_z,c_z。则该变换的旋转矩阵为：

设旋转矩阵形式如下：

设舰载机x轴、y轴、z轴欧拉角分别为θ_x,θ_y,θ_z。根据旋转矩阵表达式，则>

θ_x＝a>32,r₃₃)

θ_z＝a>21,r₁₁)

综上所述，本发明基于视觉引导的思想，采用Sift算法对舰载机采集到的 帧间图像进行特征匹配，根据匹配点对的像素坐标，进行一系列的运算计算出 旋转矩阵，从而估计出舰载机当前的位姿信息。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域 的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内， 所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。