针对无人机视频采集的混合抖动纠正方法

摘要

本发明提供一种针对无人机视频采集的混合抖动纠正方法，该方法包括：从无人机视频图像内获得预采集图像；利用预采集图像内因抖动而产生图像旋转的特征点来计算卡尔曼滤波器的系统状态转换矩阵A；构建卡尔曼滤波器系统方程和过程观察方程；根据系统噪音方差Q和观察噪音方差R计算预采集图像在k时刻的系统状态的估算值

说明书

技术领域

本发明涉及视频图像处理领域，且特别涉及一种针对无人机视频采集的混合抖动纠正方法。

背景技术

随着无人机技术的不断发展，无人机在空中拍摄或视频监控的应用日趋广泛，逐渐应用在测绘、侦查等高精度的侦测领域。受气流和电动机自身震动等因素影响无人机在运行时会发生抖动，从而使得机载相机所拍摄的影像存在晃动、震动和畸变等现象，这会造成无人机拍摄的视频帧间不稳定，帧间视点变换角度大，运动模糊。严重影响任务执行，为后续处理带来困难。

此外，对于小型无人机由于其体积小，飞行速度快，更容易受到干扰，所以侦察视频有时抖动较大，特别是转换跟踪目标时，边缘与细节失真严重。相比航片拍摄，航片拍摄周期相对较长且速度相对缓慢，其所获影像相对稳定，故对于同一地物，航片与侦察视频间分辨率相差较大，侦察视频帧与帧之间视点变换、角度变化较大，同时存在运动模糊问题与噪声问题。

发明内容

本发明为了克服现有无人机在图像采集时因抖动而使得拍摄的影像存在晃动、震动和畸变等现象的问题，提供一种针对无人机视频采集的混合抖动纠正方法。

为了实现上述目的，本发明提供一种针对无人机视频采集的混合抖动纠正方法，该方法包括以下步骤：

从无人机视频图像内获得预采集图像；

利用预采集图像内因抖动而产生图像旋转的特征点来计算卡尔曼滤波器的系统状态转换矩阵A：

其中，θ为相邻图像的旋转角度，T_x为相邻图像在横轴上的平移量，T_y为相邻图像在纵轴上的平移量；

根据卡尔曼滤波器的系统状态转换矩阵A构建卡尔曼滤波器系统方程和过程观察方程；

根据系统噪音方差Q和观察噪音方差R计算预采集图像在k时刻的系统状态的估算值和状态观察值的估算值

根据系统状态估算值和状态观察估算值计算卡尔曼增益并结合卡尔曼增益计算卡尔曼评估图像的特征参数：：

K_g＝P_k-1H^T(HP_k-1H^T+R)^-1

其中，K_g为卡尔曼增益，x_k为卡尔曼评估图像的系统状态值，P_k为卡尔曼评估图像的状态观察值，为卡尔曼评估图像的亮度矩阵，H为卡尔曼滤波器过程观察方程中的系统观察矩阵；

采用离散化高斯滤波器对卡尔曼评估图像的亮度矩阵进行低通滤波，滤除系统噪音和观察噪音，得到纠正后的无抖动的图像。

于本发明的一实施例中，根据卡尔曼滤波器的系统状态转换矩阵A构建卡尔曼滤波器系统方程为：

X_k+1＝AX_k+W_k

其中，X_k为k时刻的系统状态，X_k+1为k+1时刻的系统状态，A为系统状态转换矩阵，W_k为系统噪音。

于本发明的一实施例中，构建的卡尔曼滤波器过程观察方程为：

Z_k＝HX_k+V_k

其中，Z_k为状态观察值，V_k为观察噪音R。

于本发明的一实施例中，离散化高斯滤波器的滤波函数为：

其中，σ＝4，滤波图像帧数r＝10，k＝[-r,r]。

于本发明的一实施例中，预采集图像内因抖动而产生图像旋转的特征点为图像的四个边角点或图像内的参照物。

综上所述，本发明提供的针对无人机视频采集的混合抖动纠正方法以预采集图像内因抖动而产生图像旋转的特征点来构建可实际地描述由于机载相机运动所造成的帧间运动的卡尔曼动态运动模型。通过递归估算的方法来获得包含系统噪音和观察噪音的评估图像，最后采用离散化的高斯滤波器将系统噪音和观察噪音滤除，能达到很好的抖动纠正效果，也可避免过处理现象，能避免参数变化趋势预测不准的问题。进一步的，卡尔曼滤波器是一种计算量小且灵活的算法该特点使得本发明提供的针对无人机视频采集的混合抖动纠正方法图像处理速度快，具有很好的实时性。

为让本发明的上述和其它目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合附图，作详细说明如下。

附图说明

图1所示为本发明一实施例提供的针对无人机视频采集的混合抖动纠正方法的流程图。

具体实施方式

如图1所示，本实施例提供的针对无人机视频采集的混合抖动纠正方法始于步骤S1、从无人机视频图像内获得预采集图像。于本实施例中，无人机采集到的视频图像传输至云存储器内，故可在云存储器内获得预采集图像。然而，本发明对无人机图像的存储或传输方式不作任何限定。

在获得预采集图像后采用卡尔曼滤波器来估算抖动参数，卡尔曼滤波器是一种计算量小且灵活的算法。通过大量的实验证明采用卡尔曼滤波器来对无人机的预采集图像进行处理，可很好的描述机载相机的抖动所形成的视频图像的帧间运动。小而灵活的算法使得本实施例提供的针对无人机视频采集的混合抖动纠正方法具有快速的纠正速度，实时性非常的好，可很好的满足现有无人机的图像采集速度。

具体而言：执行步骤S2利用预采集图像内因抖动而产生图像旋转的特征点来计算卡尔曼滤波器的系统状态转换矩阵A。无人机机载相机在抖动时会使得拍摄的图像发生旋转，在图像上能很好的表征图像旋转的特征点是图像的四个边角，四个边角区域一旦有微小的旋转均能体现出来，故于本实施例中，因抖动而产生图像旋转的特征点为图像的四个边角点。然而，本发明对此不作任何限定。于其它实施例中，当图像内含有面积较大的参照物时，抖动产生的旋转在参照物上也会表现得非常明显，此时可以利用参照物上的点作为因抖动而产生图像旋转的特征点。

于本实施例中，采用如下公式计算得到卡尔曼滤波器的系统状态转换矩阵A。

其中，θ为相邻图像的旋转角度，T_x为相邻图像在横轴上的平移量，T_y为相邻图像在纵轴上的平移量。

当获得卡尔曼滤波器的系统状态转换矩阵A后执行步骤S3根据卡尔曼滤波器的系统状态转换矩阵A构建卡尔曼滤波器系统方程和过程观察方程。于本实施例中，卡尔曼滤波器系统方程为：

X_k+1＝AX_k+W_k

其中，X_k为k时刻的系统状态，X_k+1为k+1时刻的系统状态，A为系统状态转换矩阵，W_k为系统噪音。

卡尔曼滤波器过程观察方程为：

Z_k＝HX_k+V_k

其中，Z_k为状态观察值，V_k为观察噪音R。

由于系统状态转换矩阵A是根据预采集图像上的特征点计算而得到的，故根据系统状态转换矩阵A建立的卡尔曼滤波器系统方程和过程观察方程可准确的描述由于机载相机抖动所造成的视频图像的帧间运动。

接着，执行步骤S4根据系统噪音方差Q和观察噪音方差R计算预采集图像在k时刻的系统状态的估算值和状态观察值的估算值

在获得系统状态的估算值和状态观察值的估算值后执行步骤S5采用递归估算的方法获得卡尔曼增益并结合卡尔曼增益来计算卡尔曼评估图像的特征参数。具体的计算公式如下，其中K_g为卡尔曼增益，x_k为卡尔曼评估图像的系统状态值，P_k为卡尔曼评估图像的状态观察值，为卡尔曼评估图像的亮度矩阵，H为卡尔曼滤波器过程观察方程中的系统观察矩阵。

K_g＝P_k-1H^T(HP_k-1H^T+R)^-1

尔曼评估图像的亮度矩阵包含了预采集图像系统状态值、系统状态观察值以及卡尔曼增益等表征预采集图像旋转的特征参数。

步骤S6、采用离散化高斯滤波器对卡尔曼评估图像的亮度矩阵进行低通滤波，滤除系统噪音和观察噪音，得到纠正后的无抖动的图像。离散化高斯滤波器的滤波函数为：

其中，σ＝4，滤波图像帧数r＝10，k＝[-r,r]。

综上所述，本发明提供的针对无人机视频采集的混合抖动纠正方法以预采集图像内因抖动而产生图像旋转的特征点来构建可实际地描述由于机载相机运动所造成的帧间运动的卡尔曼动态运动模型。通过递归估算的方法来获得包含系统噪音和观察噪音的评估图像，最后采用离散化的高斯滤波器将系统噪音和观察噪音滤除，能达到很好的抖动纠正效果，也可避免过处理现象，能避免参数变化趋势预测不准的问题。进一步的，卡尔曼滤波器是一种计算量小且灵活的算法该特点使得本发明提供的针对无人机视频采集的混合抖动纠正方法图像处理速度快，具有很好的实时性。

虽然本发明已由较佳实施例揭露如上，然而并非用以限定本发明，任何熟知此技艺者，在不脱离本发明的精神和范围内，可作些许的更动与润饰，因此本发明的保护范围当视权利要求书所要求保护的范围为准。