一种基于有效目标判断的无人机机动目标检测方法

摘要

本发明属于图像和视频处理领域，具体涉及一种基于有效目标判断的无人机机动目标检测方法。所述目标检测方法包括以下步骤：A）将上一帧图像与当前帧图像进行配准；B）将配准结果与当前帧图像进行差分和边缘抑制；C）对差分图像进行形态学处理，连通目标区域并去除噪点影响；D）在差分图像上检测目标区域，并对目标区域进行有效判断，提取出实际运动目标区域；E）在原始图像中框选出有效运动目标并显示检测图像。本发明的有益效果为：1）检测率高，误检率低，受运动平台姿态变化以及外界干扰的影响小；2）各个步骤运算量较低，方法实时性强。

说明书

技术领域

本发明属于图像和视频处理领域，具体涉及一种基于有效目标判断的无人机机动目标检测方法。

背景技术

运动目标检测是图像处理中一个重要的研究领域。无人机视频中的运动目标检测，可以使观看者能快速捕捉所关注的运动目标，也可以为图像跟踪定位、目标显示等处理环节提供便利。由于无人机平台时刻处于运动中，载荷拍摄的区域不断发生变化，特别是小型无人机，很容易受到外界环境干扰，姿态变化比较剧烈，因此现有成熟的运动目标检测方法不适用于无人机航拍背景。无人机运动目标检测通常采用图像配准后进行帧间差分获得，差分图像的准确性受配准结果的影响较大，因此效率高，准确性强的图像配准方法是提升运动目标检测准确性的关键。同时，速度快图像配准算法难免会带来一些误检现象，而现有误检判断方法通常存在准确性差，实时性不强等缺点，因此设计有效目标判断方法，降低算法的误检率是无人机航拍领域下运动目标检测的重中之重。

发明内容

为了解决目标检测算法中误检率高的问题，引入一种基于BING特征的SVM分类器进行目标有效性判断方法。同时为保证算法执行效率，采用图像块匹配辅助特征点匹配的方法进行图像配准。为了去除图像差分后存在的误检情况，引入了多帧图像差分来减少配准带来的误差影响。并运用多种形态学方法去除差分后的噪声影响，最终实现了运动平台的实时目标检测。

具体技术方案如下：一种基于有效目标判断的无人机机动目标检测方法，所述目标检测方法应用基于BING特征的SVM分类器进行目标有效判断。

进一步地，所述目标检测方法包括以下步骤：

A)将上一帧图像与当前帧图像进行配准；

B)将配准结果与当前帧图像进行差分和边缘抑制；

C)对差分图像进行形态学处理，连通目标区域并去除噪点影响；

D)在差分图像上检测目标区域，并对目标区域进行有效判断，提取出实际运动目标区域；

E)在原始图像中框选出有效运动目标并显示检测图像。

进一步地，所述步骤A)具体包括如下步骤：将上一帧图像f_i-1进行缩放因子为s的尺度放缩，图像f_i-1缩放前的宽为w，高为h，图像f_i-1缩放后的低分辨率图像f_i-1^s的宽为高为在图像f_i-1^s上选取以图像中心点为中，宽和高均为l的矩形tR，其中l取值为：

其中为和中的最小值，将f_i-1^s图像上，tR区域的图像块f_i-1^tR作为低分辨率图像模板匹配的模块，在当前分辨率图像f_i^s匹配模版f_i-1^tR，得到在f_i^s上模版中心点的最佳匹配的位置(x,y)，应用如下公式计算两帧图像之间的水平和垂直方向上的偏移dx与dy：

$>dx=(x-(\frac{w}{2*s}-\frac{l}{2}\left)\right)*s$>

$>dy=(y-(\frac{h}{2*s}-\frac{l}{2}\left)\right)*s$>

根据偏移dx与dy对摄像机的平移运动进行补偿，重复操作完成对连续帧之间的平移运动补偿。

进一步地，所述步骤A)还包括消除目标旋转运动，具体包括如下步骤：

1)在图像f_i-1^s上提取特征点集合

2)将每一个特征点映射至原始尺寸下的坐标

3)以每一个特征点为中心，在图像f_i-1上选取变长为l_feature的矩形框，将框中的图像块存储为该特征点的区域模块

4)以每一个特征点为中心，在图像f_i上选取边长为l_range的矩形框作为搜索范围，对进行匹配，找到边长为l_range矩形框内最匹配的位置，并计算匹配程度；

5)对所有特征点匹配的匹配度进行排序，保留匹配程度最高的前18对匹配点，基于这18对匹配点，计算两帧图像之间的单应性矩阵H，完成对摄像机旋转平移运动的补偿。

进一步地，在步骤A)中获得图像f_i-1相应的配准图像在步骤B)中将配准图像与当前帧图像f_i进行差分，获得差分图像d_i，对差分图像是否有效检测到运动目标进行判断，所述判断包括以下步骤：

1)对差分图像d_i进行二值化处理，灰度值大于阈值θ的像素点的灰度值置为255，灰度值小于阈值θ的像素点的灰度值置为0，所述θ＝30；

2)计算d_i中非零像素点的数量i₁；

3)若i₁大于d_i总像素数量的1％则判断该帧配准误差较大，放弃在该帧进行目标检测，若i₁小于d_i总像素数量的1％则继续进行下一步处理。

进一步地，所述步骤C)对差分图像d_i进行形态学处理以连通目标区域并去除差分图像中噪点的影响，步骤C)中具体采用如下步骤将目标区域连通起来：

(1)对差分图像d_i进行膨胀操作，其中膨胀内核尺寸为k₁*k₁，所述k₁＝11；

(2)进行腐蚀操作，其中腐蚀内核尺寸为k₁*k₁；

(3)进行中值滤波，其中滤波内核尺寸为k₂*k₂，所述k₂＝3；

(4)进行膨胀操作，其中腐蚀内核尺寸为k₃*k₃，所述k₃＝9；获得连通目标区域作为疑似目标区域，完成连通。

进一步地，所述步骤D)对目标区域进行有效判断具体包括如下步骤：

(1)截取已有无人机实拍视频中的运动目标图像作为训练正样本，随机获得其他图像作为训练负样本，经过测试，在正样本数量为400-600，负样本数量为800-1200；

(2)分别提取所有正负样本图像的BING特征，具体实现方式为：

对于输入图像s_i，计算s_i的梯度图像g_i，对梯度图像g_i进行尺度变化，获得尺度为gx*gx的梯度图像g_i^B，所述gx取值为8；对g_i^B中所有像素点的像素值进行归一化处理获得BING特征图像，所述归一化阈值gt取为100；

(3)采用SVM对正负样本图像对应的BING特征图像进行训练，获得基于BING特征的目标有效性判断模板w；

(4)按照步骤(2)中的方法分别提取图像f_i中所有疑似目标区域的BING特征图像f_i^B{j}对判据模板w和f_i^B{j}分别进行与运算，并统计运算结果中非零点的数量i₂，若i₂>t则认为该区域为有效运动目标区域，若i₂<t则认为该区域为无效运动目标区域，其中t为调节目标判断严格程度的参数。

本发明与现有技术相比的优点在于：和已有基于运动平台的运动目标检测方法相比，本发明提出的运动目标检测方法具有以下两个特点：

1)检测率高，误检率低，受运动平台姿态变化以及外界干扰的影响小；

2)各个步骤运算量较低，方法实时性强。

通过对大量不同型号、不同载荷、在不同地点和不同时段拍摄的无人机视频进行试验，证明所提出的方法实现了实时目标检测，获得了较好的目标检测结果。

附图说明

图1为本发明检测方法的流程示意图；

图2为本发明形态处理前的差分图像；

图3为本发明形态处理后的差分图像；

图4为本发明有效目标判断前检测结果图像；

图5为本发明有效目标判断后检测结果图像。

具体实施方式

下面从图像配准，图像差分，形态学处理，有效目标判断和实验结果比较分析等几个方面，结合附图对本发明做进一步介绍。

1、图像配准

如图1、图2、图3、图4、图5所示，上一帧图像f_i-1的宽为w，高为h。对f_i-1进行缩放因子为s的尺度缩放，缩放后的低分辨率图像f_i-1^s宽为高为经过测试，s为4时匹配速度较快，且不会过多影响匹配精度。在图像f_i-1^s上选取以图像中心点为中心，宽和高均为l的矩形tR。l过大则会降低匹配精度，而l过小则会降低匹配速度，因此通过反复实验，l可使用如下的公式计算获得

$>l=\frac{min(\frac{w}{s},\frac{h}{s})}{2}$>

其中min(x，y)表示计算x和y中的最小值。将f_i-1^s图像上，tR区域的图像块f_i-1^tR作为低分辨率图像模板匹配的模板。在当前低分辨率图像f_i^s匹配模板f_i-1^tR。得到在f_i^s上模板中心点的最佳匹配的位置(x，y)。使用如下公式计算两帧图像之间在水平和垂直方向上的偏移dx与dy。

$>dx=(x-(\frac{w}{2*s}-\frac{l}{2}\left)\right)*s$>

$>dy=(y-(\frac{h}{2*s}-\frac{l}{2}\left)\right)*s$>

在图像大小缩小至时使用中心区域模板匹配可以快速对摄像机的平移运动进行补偿。通过重复该操作可实现对连续帧之间的平移运动补偿。

采用如下的流程进行较高分辨率的匹配并消除目标旋转运动。

(1)在图像f_i-1^s上提取特征点集合

(2)将每一个特征点映射至原始尺寸下的坐标

(3)以每一个特征点为中心，在图像f_i-1上选取边长为l_feature的矩形框，将框中的图像块存储为该特征点的区域模板

(4)以每一个特征点为中心，在图像f_i上选取边长为l_range的矩形框作为搜索范围。对进行匹配，找到边长为l_range矩形框内最匹配的位置，并计算匹配程度。匹配度的计算采用现有技术中的常用技术手段即可实现，例如根据像素点灰度值与输入点灰度值的差计算，差值越小匹配度越高。

(5)对所有特征点匹配的匹配度进行排序，保留匹配程度最高的前18对匹配点。

基于这18对匹配点，计算两帧图像之间的单应性矩阵H。完成对摄像机旋转平移运动的补偿。单应性矩阵的计算可以采用RANSAC算法进一步剔除误匹配点，得到较为精确的单应性矩阵。剔除误匹配点之后，如果参与计算的内部点数量大于4时，可以计算出一个相对精确的单应性矩阵。该矩阵可以表示两帧之间的平移、旋转以及透视关系。

其中l_feature＝8，l_range＝16在实际测试中取得了良好的效果，选取特征点的数目可以根据硬件性能来定，在配置较高的电脑上可以选200个左右的特征点；在嵌入式设备上可以选取100个左右的特征点。通过该单应性矩阵的计算，可以在跟踪时提供一个较为精确且较小的搜索范围。更精确更小的搜索范围可以实现目标的更快速更稳定的跟踪。

2、图像差分

在上一步骤中获得了图像f_i-1相应的配准图像将配准图像与当前帧图像f_i进行差分。由于无人机在飞行过程中姿态变化程度不同，在姿态变化剧烈的情况下，图像配准过程也会存在较大的误差，需要对差分图像进行边缘抑制以减少图像配准误差对于检测结果的影响。

具体实现过程为分别提取图像f_i-1的梯度图像，对梯度图像进行非运算后再与差分图像进行与运算获得这一过程中的差分图像d_i。在一些情况下，由于图像配准的结果偏差较大，导致生成的d_i中误检区域很大。在这种情况下已经无法通过差分图像有效检测到运动目标，故而在此加入一个判断环节步骤如下：

(1)对差分图像d_i进行二值化处理，灰度值大于阈值θ的像素点的灰度值置为255，灰度值小于阈值θ的像素点的灰度值置为0，阈值θ的设置需要在保留目标完备性的同时尽量滤除噪点，在实验中选取经验值θ＝30；

(2)计算d_i中非零像素点的数量i₁；

(3)若i₁大于d_i总像素数量的1％则认为该帧配准误差较大，放弃在该帧进行目标检测。若i₁小于d_i总像素数量的1％则继续进行下一步处理。