基于感兴趣区域分层的无人机图像运动目标检测方法

摘要

本发明公开了一种基于感兴趣区域分层的无人机图像运动目标检测方法，属于遥感图像处理技术领域。本发明首先将感兴趣区域分为图像背景层、图像过渡层和图像目标层三层，然后在图像背景层基于遥测参数进行全局运动估计；在图像过渡层基于图像压缩矢量进行局部运动估计；在图像目标层，基于仿射不变特征进行运动目标检测。本发明把感兴趣区域分层的思路引入到图像目标检测中，从图像的背景层、过渡层、目标层逐渐精确的进行目标检测，能够保证目标检测的正确率和精度；充分挖掘了机载传感器现有信息的价值，将传感器信息与图像信息综合应用，既合理地扩大了目标检测有用信息，又有效地减低了目标检测时间消耗。

说明书

技术领域

本发明属于遥感图像处理技术领域，具体涉及一种基于感兴趣区域分层的无人机图像运 动目标检测方法。

背景技术

图像运动目标检测是一个系统工程问题，它跨越了计算机科学、光学、数学以及认知科 学等。虽然二十世纪六十年代初就得到了学术界和应用部门的高度重视，但是直到最近几十 年随着对人类视觉系统认识的不断深入以及各种复杂算法、微处理器技术、超大规模集成电 路技术的高速发展，才使得对运动目标检测研究从理论探索走向实际应用。

运动目标检测技术的应用相当广泛，其中最为重要的应用之一是银行、停车场和海岸等 对安全要求敏感场合的安全监控。美国自从“911”恐怖袭击之后，在全国范围内安装了视频 监测系统，以达到预先报警及时处理的目的。特别当某处出现恐怖袭击时，可以从无人机和 地面等多个视频平台对恐怖袭击者和车辆进行实时检测识别跟踪，为采取进一步措施提供了 有利保障。此外，在各发达国家未来军事技术发展规划中，目标检测与跟踪的地位十分引人 注目。美国、法国等已经开始研究在武器上安装高分辨率电视摄像机、微光电视和红外摄像 机，以提高检测和跟踪目标的概率。因此运动目标检测与跟踪技术具有极其重要的战略意义。

发明内容

针对无人机图像运动目标检测的问题，本发明提出了一种基于感兴趣区域分层的无人机 图像运动目标检测方法。

本发明中所述的感兴趣区域可以分为三层，包括：图像背景层、图像过渡层和图像目标 层。在此基础上，目标检测方法可以分为以下步骤：

第一步：在图像背景层，基于遥测参数进行全局运动估计。

首先，利用机载传感器参数对图像背景层进行全局运动估计；然后，利用图像子块间的 相关理论对全局运动进行修正。

第二步：在图像过渡层，基于图像压缩矢量进行局部运动估计。

首先，是图像局部运动估计。然后，确定图像目标过渡区域。

第三步：在图像目标层，基于仿射不变特征进行运动目标检测。

首先，由二阶和三阶中心距构成的仿射矩不变量建立目标特征描述向量。在相邻图像帧 间，以图像过渡层为作用区域，计算目标特征描述向量。然后定义向量匹配函数，在相邻图 像帧间对目标进行检测。

本发明的优点为：

(1)把感兴趣区域分层的思路引入到图像目标检测中，从图像的背景层、过渡层、目标 层逐渐精确的进行目标检测，能够保证目标检测的正确率和精度。

(2)充分挖掘了机载传感器现有信息的价值，将传感器信息与图像信息综合应用，既合 理地扩大了目标检测有用信息，又有效地减低了目标检测时间消耗。

(3)本发明提出的图像目标检测方法，考虑全局运动和局部运动，在处理技术上，更加 符合机载图像运动目标检测的特点。

附图说明

图1是本发明中感兴趣区域分层的示意图。

图2是本发明基于感兴趣区域分层的无人机图像运动目标检测方法总体流程图。

图3是运动速度估算中的摄像头和运动目标的位置关系简图。

具体实施方式

下面结合附图，对本发明的具体实施方法进行详细说明。

本发明提出的一种基于感兴趣区域分层的无人机图像运动目标检测方法，所述方法认为 运动目标所在的感兴趣区域可以分为三层，包括：图像背景层、图像过渡层和图像目标层。 其中，图像目标层是指包含目标的图像子块及其相邻图像子块组成的目标区域；图像过渡层 是指由图像目标层向外扩散一定范围而得到的不包含图像目标层的图像子块集合，是目标之 前所在的区域和之后可能到达的区域；图像背景层是指在图像中远离目标层的所有图像子块 的集合，它不会提供与目标相关的任何信息，分层示意图如图1。

基于上述感兴趣区域分层描述方法，无人机图像目标检测方法可以分为三步，依次在图 像背景层、图像过渡层和图像目标层展开。

本发明的的一种基于感兴趣区域分层的无人机图像运动目标检测方法，具体实施步骤如 下：

第一步：在图像背景层，基于遥测参数进行全局运动估计。

(1)首先，利用机载传感器参数对图像背景层进行全局运动估计。

从空速表、高度表、陀螺仪、摄像头云台控制系统等机载设备上提取飞行参数和云台运 动参数，组成多元集P：

其中V_uav,H_uav分别为飞机的飞行速度与高度；α_uav,β_uav分别为飞机的方位角与俯仰角；>cam为云台相对于飞机运动的速度；γ_cam,λ_cam分别为摄像机的转动角与俯仰角；为摄像头视 场角；I(w,h)为所获视频流的每帧图像，宽w，高h，以像素为单位；fr为视频流的帧率。

根据所述的多元集P计算：

侦察区域S_c:

两连续图像帧间背景位移l为:l＝V_uav/fr>

背景位移l沿地面参照物水平分量为:l_h＝l×cosα_uav>

背景位移l沿地面参照物垂直分量为:l_v＝l×sinα_uav>

所获全局运动为:

水平方向分量:i₀＝l_h/S_c×w>

竖直方向分量:j₀＝l_v/S_c×w>

故全局运动矢量

其中，w表示图像宽，h为图像高；i₀,j₀为全局运动矢量在水平和竖直方向的分量。

由于机载传感器安装存在一定误差，数据复用也会引起误差累积，所以根据上面的方法 得到的全局运动矢量只能作为一个初步的估计。即便如此，它也为后续的目标定位提供了重 要的信息。

(2)然后，利用图像子块间的相关理论对上面的全局运动矢量进行修正。

为了得到更加准确的全局运动矢量，本发明设计了利用分块相位相关进行二次补偿的方 法。为便于对图像分块的表示，将第t帧图像的某一个大小为N×N的图像子块的时域表达 f_t(x,y)转化为二维离散傅立叶变换F_t(u,v)：

其中x＝0,1,2...N-1；y＝0,1,2...N-1，F_t(u,v)表示离散傅立叶变换。在图像子块的相同位>0,y₀)。即下一帧的时域表达为：

f_t+1(x,y)＝f_t(x-x₀,y-y₀)>

首先，通过理论推导来证明分块相位相关的可行性。根据傅立叶变换的平移性，可得：

右式中u＝0,1,2...N-1；v＝0,1,2...N-1。根据相位相关思想，两个大小为N×N图像子块 的互功率谱为：

由二维离散傅立叶变换对可知：其中，x＝0,1,2...N-1， y＝0,1,2...N-1，δ(x-x₀,y-y₀)表示在x＝x₀,y＝y₀处互功率谱最大，即两个图像子块的相>t(u,v)，F_t+1(u,v)分别表示第t帧图像子块和第t+1帧对应的图像子块的傅立>表示F_t(u,v)的共轭矩阵。可见，分块相位相关可以用于平移检测。

第二步：在图像过渡层，基于图像压缩矢量进行局部运动估计。

图像过渡层的局部运动估计是基于图像压缩矢量信息得到的。下面基于运动估计原理， 通过分析H.264标准中的运动矢量信息，建立H.264标准的编码流中运动矢量与场景中物体 运动状态的对应关系，实现运动目标与背景的分离，确定图像过渡层。

(1)首先是图像局部运动估计。

由于无人机侦察视频一般都是高空拍摄。在不考虑景深影响的情况下二阶参数建模适用 于摄像机旋转、平移等场景状态。对应像素区域运动状态的二阶方程建模如公式(12)所示:

v_x，v_y为水平和竖直方向的像素区域运动矢量，a₁，a₂，a₃，a₄，a₅，a₆，a₇，a₈为所述二阶方程参数。

对于两图像帧间摄像头旋转等情况，所述二阶方程中的8个系数(a₁，a₂，a₃，a₄，a₅，a₆，a₇，a₈)能够很好地表征平面变化。而对于两图像帧间图像微变的情况，将二阶方程降>

其中，f_t(m,n)和f_t-1(m+i,n+j)分别为t时刻和t-1时刻图像帧内(m，n)位置像素点的亮>

H.264标准中，帧间编码过程中计算所得的运动矢量实际上反应了场景中各部分相对于 摄像头的运动状态，这些内容正好对应于图像中的过渡层。对于远距离或可平面化的场景环 境，运动矢量包含了各像素块相对于背景的运动与摄像头相对于背景的运动两部分运动信息， 而场景中的运动目标有不同于背景的运动规律，如果能检测出构成运动目标的各个像素块， 就能实现图像中的局部运动。公式(14)引入运动矢量统计信息，实现了运动目标像素块与背 景像素块的分离，第n个像素块的相对运动矢量M(n)为:

M(n)＝d(n)-dm (14)

其中，n为第n个像素块；d(n)为该第n个像素块运动矢量；dm为像素帧内所有像素块 运动矢量平均值。dm引入了运动矢量的统计信息，它包含了背景相对于摄像头的运动信息。 因此dm可用全局运动矢量代替。这样通过与各像素块做矢量差，实现了像素块由相对摄像 头运动到相对背景运动的转化，排除了摄像头的运动干扰。所有像素块经过上述运算得到的 相对运动矢量按阈值分割，最终得到的不为0的连续小区域即为存在局部运动的图像区域。

(2)接下来确定图像目标过渡层。

在景深可忽略的环境下，知道了摄像头与目标的距离、可视角、以及运动目标的运动矢 量，就可以对目标运动速度进行粗略估算，摄像头与目标的位置关系可简化如图3所示。

假设dm为该帧所有像素块运动矢量平均值，目前的运动目标运动矢量为d(n)，摄像头 帧率为F_r(如25帧/秒)，θ为摄像头宽度方向的可视角，H为摄像头与目标的距离，W为实>w为摄像头当前图像格式下的水平分辨率(如CIF格式下为352)，S(n)为当前>

得到目标估计速度V(n)后，就可以计算出一段时间内目标的潜在区域，得到图像目标过 渡层。

第三步：在图像目标层，基于仿射不变特征进行运动目标检测。

受无人机成像系统性所限，侦察图像帧间普遍存在仿射变换关系。因此需要建立目标仿 射不变特征来描述兴趣目标。

仿射矩不变量是由代数不变量定理推导而来的，仿射矩不变量在仿射变换下具有不变性。 仿射变换即：

其中，b₀,b₁,b₂,b₃,b₄,b₅,b₆为常数系数。

将其分解为6个单参数变换：

其中，c、e、w、δ、l、m分别表示单参数变换的常数系数。

对应任意函数F，如果能够在这6中变换下保持不变，那么函数F具有仿射不变性。

我们利用由二阶和三阶中心距构成的仿射矩不变量建立目标特征描述向量F：

其中，

I₁＝(μ₂₀μ₀₂-μ₁₁²)/μ₀₀⁴，

I₂＝(μ₃₀²μ₀₃²-6μ₃₀μ₂₁μ₁₂μ₀₃+4μ₃₀μ₁₂³+4μ₂₁³μ₀₃-3μ₂₁²μ₁₂²)/μ₀₀¹⁰，

I₃＝(μ₂₀(μ₂₁μ₀₃-μ₁₂²)-μ₁₁(μ₃₀μ₀₃-μ₂₁μ₁₂)+μ₀₂(μ₃₀μ₁₂-μ₂₁²))/μ₀₀⁷。

其中，f(x,y)为图像，R为图像范围，μ_pq＝∫∫_R(x-x_c)^p(y-y_c)^qf(x,y)dxdy，>pq＝∫∫_Rx^py^qf(x,y)dxdy，x_c＝m_1,0/m_0,0，y_c＝m_0,1/m_0,0为图像重心。p＝0,1,2,3；q＝0,1,2,3。

由于目标特征描述向量F是由仿射不变矩I₁、I₂、I₃构成的，因此在侦察图像的帧间变换>

为了加速目标定位的过程，将相邻图像帧间的特征匹配运算按下面的方法进行。

定义公式(18)作为特征向量匹配的函数：

其中D(t-1,t)代表图像过渡层内某位置上t-1时刻与t时刻目标特征向量的距离，α，β，γ 为满足α+β+γ＝1的任意数，表示t时刻目标的2阶矩。基于目标特征描述向量F和特征 向量匹配的函数D可以进行目标检测。