基于粒子滤波视觉注意力模型的运动目标检测方法

摘要

本发明公开了一种基于粒子滤波视觉注意力模型的运动目标检测方法，首先依据贝叶斯估计原理，构建粒子滤波双向融合注意力模型；然后以粒子滤波双向融合注意力模型框架为基础，以运动注意力和目标颜色注意力分别为B-U和T-D注意力输入，通过粒子权值计算改变粒子分布状态，形成注意力显著图，并最终确定运动目标位置。本发明的方法，融合时间和空间注意力，使得运动注意力计算更为准确；融合自底向上和自顶向下注意力，简单有效的模拟了人类视觉注意形成过程；针对复杂全局运动场景，提高了运动目标检测的有效性和准确性。

说明书

技术领域

本发明属于视频图像检测技术领域，涉及一种基于粒子滤波视觉 注意力模型的运动目标检测方法。

背景技术

运动目标检测是机器视觉领域的重要问题之一，是目标跟踪、识 别的前提，但在复杂运动场景中，现有运动目标检测方法仍存在较大 局限和不足。近些年，视觉感知研究逐渐融入了人类生理和心理的研 究成果，其主要思路是采用计算机模拟人类生理的局部功能用于解决 视觉领域中存在的难题，视觉注意力就是这类研究的典型，其研究成 果对目标检测、分割等视觉问题具有重要的推动作用。

传统的运动目标检测方法有帧间差分法、背景差分法和全局运动 补偿法，其中背景差分法和帧间差分法只局限于局部运动场景，全局 运动补偿法适用范围广，但准确性受到目标大小和运动强度影响，当 目标体较大或运动较强烈时，全局运动估算准确性下降，不能进行全 局有效补偿，导致运动目标检测存在较大误差。

人类视觉注意力是由自底向上(Bottom-Up，简称B-U)和自顶 向下(Top-Down，简称T-D)两种注意力共同作用产生形成的。2002 年，Itti和Koch建立了亮度、颜色和方向等特征为主的B-U视觉注 意力模型，随后的研究衍生出多种视觉注意力计算方法及应用。目前， 视觉注意力模型大致可分为自底向上型和双向型两种类型。自底向上 型描述B-U注意力计算方法；双向型描述B-U和T-D共同作用的注 意力计算方法。

注意力属于人类视觉系统对外部观察的初期反应，一些学者从注 意力的角度对目标检测问题进行了初步研究。其中有些采用双向注意 力方法进行静态目标检测。Sang-Woo Ban等对特定静态目标颜色特 征进行自组织神经网络学习，生成权重矩阵，并将其作为T-D的影响 因素调节B-U注意力计算过程，形成目标注意力显著图。Yuming Fang 等提取目标的方向特征作为T-D注意力，并与B-U注意力进行比例 加权融合，最终确定目标位置。Yuanlong Yu等建立目标特征长期记 忆(LTM)单元，通过与低级特征的对比计算位置概率分布偏置，并进 行双向加权融合，确定目标位置。

另外，也有文献建立了运动注意力模型用于运动目标检测，主要 思路是根据运动反差定义运动注意力模型，使运动显著性区域逼近目 标区域。Yu-Fei Ma根据从MPEG码流中解压所得到的运动矢量场的 运动矢量能量、空间相关性和时间相关性综合定义了运动注意力模 型，通过该模型可以得到运动显著性区域。Junwei Han将注意力分为 静态注意力和动态注意力两种，静态注意力主要由图像的亮度、颜色 等信息引起，动态注意力是在全局运动补偿的基础上计算区域的变化 像素的比例进行定义的，注意力模型最终由静态注意力和动态注意力 融合得到主要应用于运动目标检测。

综上所述，从视觉注意力角度对目标检测进行研究具有积极意 义，但目前的研究多数针对静止目标检测，缺乏运动目标检测的研究； 另外，运动注意力模型限于自底向上的数据驱模型方法，没有融合颜 色、运动等多个特征的双向注意力模型。

发明内容

本发明的目的是提供一种基于粒子滤波视觉注意力模型的运动 目标检测方法，解决了现有技术运动注意力模型限于自底向上的数据 驱模型方法，没有融合颜色、运动等多个特征，不能够适应复杂运动 场景，难以有效、准确地检测运动目标的问题。

本发明所采用的技术方案是，一种基于粒子滤波视觉注意力模型 的运动目标检测方法，首先依据贝叶斯估计原理，构建粒子滤波双向 融合注意力模型；然后以粒子滤波双向融合注意力模型框架为基础， 以运动注意力和目标颜色注意力分别为B-U和T-D注意力输入，通 过粒子权值计算改变粒子分布状态，形成注意力显著图，并最终确定 运动目标位置。

本发明的有益效果是：

1)对视频图像进行高斯多尺度分解，更符合人类的视觉特性， 对运动矢量场进行叠加和滤波预处理，减少估计误差和噪声的影响。

2)融合时间和空间注意力，使得运动注意力计算更为准确。

3)依据贝叶斯估计原理引入粒子滤波机制，融合自底向上和自 顶向下注意力，构建双向融合注意力模型，简单有效的模拟了人类视 觉注意形成过程。

4)运用双向融合注意力模型进行运动目标检测，针对复杂全局 运动场景，提高了运动目标检测的有效性和准确性。

附图说明

图1是本发明方法的流程框图；

图2是本发明实施例视频图像三层高斯金字塔，其中的(a)为原始 尺度，(b)为次低尺度，(c)为低尺度；

图3是本发明实施对应运动矢量场及其预处理结果，其中的(a) 为运动矢量场，(b)叠加滤波后运动矢量场，(c)为中值滤波后运动矢 量场；

图4是本发明实施B-U注意力显著图，其中的(a)为注意力显著 图，(b)为注意力显著热图；

图5是本发明实施粒子滤波融合双向注意力结果，其中的(a)为重 要性采样结果，(b)为重采样后粒子分布图；

图6是本发明实施粒子注意力显著图和目标定位，其中的(a)为粒 子空间分布生成注意力显著值的示意图，(b)为根据重采样后的粒子 得到注意力显著图，(c)为目标定位结果。

图7是本发明实施例1“飞行器”视频序列的实验结果，第一至 四行分别为第5、28、40、60帧，其中的(a)为原始帧，(b)为Yu-Fei Ma 运动注意力模型结果，(c)为基于全局运动补偿的视觉注意力 (GMC-VA)模型结果，(d)为YumingFang双向加权融合视觉注意力结 果，(e)为本发明双向注意力模型结果，(f)为本发明方法的运动目标检 测定位结果；

图8是本发明实施例2“马”视频序列的实验结果，第一至四行 分别为第4、15、38、100帧。

具体实施方式

以下结合附图和具体实施方式对本发明进行详细说明。

本发明基于粒子滤波视觉注意力模型的运动目标检测方法，首先 依据贝叶斯估计原理，构建粒子滤波双向融合注意力模型；然后以粒 子滤波双向融合注意力模型框架为基础，以运动注意力和目标颜色注 意力分别为B-U和T-D注意力输入，通过粒子权值计算改变粒子分 布状态，形成注意力显著图(通过滤波后的粒子分布状态计算注意力 显著度)，并最终确定运动目标位置。

本发明方法的具体实施步骤是：

步骤1、计算当前t时刻运动注意力作为B-U注意力，显著度记 作通过控制粒子初始重要性采样；

对视频图像进行高斯多尺度分解；分别对其估计运动矢量场， 对运动矢量场进行预处理；定义时间和空间注意力因子，构建运动注 意力，融合多尺度运动注意力得到通过控制粒子重要 性采样。具体包括以下步骤：

1.1)图像的高斯多尺度分解

多尺度分析采用高斯图像金字塔法，具体可通过高斯平滑、降采 样处理得到三层尺度图像，如图2所示，实施例中采用了三层高斯金 字塔方法。

1.2)采用光流法估算运动矢量场，并对运动矢量场进行叠加和 滤波两个预处理

如图3(a)所示，采用光流法估算的运动矢量场一般呈现出稀疏和 局部凌乱的运动特征，这是因为相邻帧的运动特征不够强烈，同时视 频信号中存在一定的噪声，这些问题不利于运动注意力准确计算。通 过对运动矢量场进行叠加和滤波两个预处理，能够很好的减少估计误 差和噪声的影响。

运动矢量叠加过程为：设当前帧运动矢量场为MVF_t，宏块的中 心坐标为(k,l)，与之对应的运动矢量表示为与前后帧 的运动矢量叠加按公式$(v_x^{\mathrm{kl}},v_y^{\mathrm{kl}})=\underset{i=n-c}{\overset{i=n+c}{\Sigma }}(v_x^{\mathrm{kl}}\left(i\right),v_y^{\mathrm{kl}}\left(i\right))$计算，叠加后结果如图 3(b)所示。

运动矢量在叠加后采用中值滤波进行处理，即对于每一个非零运 动矢量，用相邻的运动矢量中值代替其值，中值滤波结果如图3(c) 所示。

1.3)计算运动注意力作为B-U注意力

计算运动注意力，定义时间和空间两方面注意力，设和 分别表示时间和空间注意力，分别定义为：

${\mathrm{SM}}_{t,i,j}^T=\left|\mathrm{\Delta V}\right|=|{\overrightarrow{V}}_{t,i,j}-{\overrightarrow{V}}_{t-1,i,j}|,$

${\mathrm{SM}}_{t,i,j}^S=|{\overrightarrow{V}}_{t,i,j}-{\overrightarrow{u}}_{t,i,j}|,$

其中和分别代表在t和t-1时刻运动矢量场中坐标位置 为(i,j)的运动矢量，代表邻域Λ范围内的运动矢 量均值，

运动注意力由时间和空间注意力线性融合得到，即 ${\mathrm{SM}}_t^{B-U}=\alpha ·{\mathrm{SM}}_t^T+\beta ·{\mathrm{SM}}_t^S,$

式中，α、β为正值的系数，B-U注意力如图4所示。

1.4)通过控制粒子重要性采样

采用运动显著性特征来调节高斯随机粒子采样的密度，获得随运 动显著性变化的随机采样结果，采用高斯随机采样，获得粒子初始分 布状态，设i＝1,2,…,N独立同分布，令：

$\left(\begin{array}{c}{\hat{x}}^{\left(i\right)}=(\underset{i=1}{\overset{N}{\Sigma }}{z}_1^{\left(i\right)}-N·{\mu }_x)/\sqrt{N·{\delta }_x^2},i=\mathrm{1,2},···,N\\ {\hat{y}}^{\left(i\right)}=(\underset{i=1}{\overset{N}{\Sigma }}{z}_2^{\left(i\right)}-N·{\mu }_y)/\sqrt{N·{\delta }_y^2}\end{array}\right)$

其中，μ_x、μ_y、和分别是伪随机序列的均值和方差， 通过上述公式在以(μ_x,μ_y)为坐标中心的区域内产生随机的高斯采样 结果，区域内采样粒子密度受运动显著度调控，假定是t时 刻的显著图在(x,y)坐标上的显著值，定义采样密度函数如下：

$\underset{(x,y)\in \Lambda }{\Gamma }\left({\mathrm{SM}}^{B-U}\right)=\frac{1}{\sqrt{2\pi }{\delta }_A}·\exp (-\frac{1}{2}{\left(\frac{{\mathrm{SM}}^{B-U}(x_0,y_0)-{\mu }_A}{{\delta }_A}\right)}^2),$

其中，i和j分别表示显著图中的横纵坐标，均值和 方差重要性采样结果如图5(a)所示。

若为初始时刻，按照上述方法采样粒子，形成初始粒子分布状态； 否则，此刻运动注意力与前一时刻运动注意力的差异位置采样一部分 粒子，替换掉前一时刻相同数量的权值较低的粒子，以此作为此时刻 的初始粒子状态。

步骤2、根据目标特征计算T-D颜色注意力

T-D颜色注意力显著度记作T-D注意力的大小采用目标特 征与图像特征的相似性程度衡量，

2.1)设定颜色直方图作为目标特征量化表示方式，记作为 m为分量个数，则粒子目标区域的颜色分布定义为 ${\hat{p}}^{\left(u\right)}\left(X_t\right)=C·\underset{i=1}{\overset{M}{\Sigma }}K\left(\right|\left|\frac{x-x_i}{h}\right|\left|\right)·\delta (b\left(x_i\right)-u),$其中δ(□)为Delta函数， 为归一化因子，使得K(□)为 Epanechnikov核函数，定义为$K_E\left(\right|\left|r\right|\left|\right)=\left(\begin{array}{cc}1-{\left|\right|r\left|\right|}^2,& \left|\right|r\left|\right|<1\\ 0,& \left|\right|r\left|\right|\ge 1\end{array}\right).$

2.2)T-D注意力显著性计算定义为：其 中，ρ为巴查理亚(Bhattacharyya)系数。

步骤3、采用粒子滤波融合双向注意力，计算粒子权值，重采样 后形成新的粒子分布

将粒子滤波视为贝叶斯估计求解过程，即给定观测值，估计当前 状态的条件期望值，其过程分为重要性采样、权值计算和重采样三个 环节，

3.1)重要性采样

分别定义B-U和T-D注意力的观测似然概率，通过贝叶斯融合B-U 和T-D的观测似然概率，更新粒子权值，

重要性采样方法如上述步骤1.4)中所述，采用运动显著性特征 来调节高斯随机粒子采样的密度；

3.2)权值计算

利用重采样淘汰权值较低的粒子，使粒子向权值高的粒子周围聚 集，设粒子状态为观测值为Z^k，则k时刻的后验概率密度函 数近似为：$p\left(X^T\right|Z^T)\approx \underset{i=1}{\overset{N}{\Sigma }}{\lambda }^{\left(i\right)}·\delta (X^T-X_{\left(i\right)}^T),$

其中，i＝1,2,…,N，假设双向融合注意力显著图状态 为x_0:t，B-U和T-D注意力观测值分别为和则后验概率 P(X^T|Z^T)表示为

假设条件：(i)时间动态过程符合马尔科夫过程；(ii)不同时间 的观测值相互独立，观测值只与当前状态相关，则双向注意力的后验 概率求解简单推导如下：

$\left(\begin{array}{c}p\left(x_{0:t}\right|z_{1:t}^{B-U},z_{1:t}^{T-D})\\ =\frac{p\left(z_t^{B-U}\right|x_{0:t},z_{1:t-1}^{B-U},z_{1:t}^{T-D})p\left(x_{0:t}\right|z_{1:t-1}^{B-U},z_{1:t}^{T-D})}{p\left(z_t^{B-U}\right|z_{1:t-1}^{B-U},z_{1:t}^{T-D})}\\ =\frac{1}{k_t}p\left(z_t^{B-U}\right|x_t)p\left(z_t^{T-D}\right|x_t,z_t^{B-U})p\left(x_t\right|x_{0:t-1})p\left(x_{0:t-1}\right|z_{1:t-1}^{B-U},z_{1:t-1}^{T-D})\end{array}\right)$

根据重要性采样定理，粒子权重λ⁽ⁱ⁾正比表示如下：

${\lambda }_t^{\left(i\right)}\infty \frac{p\left({\hat{x}}_{0:t}^{\left(i\right)}\right|z_{0:t})}{q\left({\hat{x}}_{0:t}^{\left(i\right)}\right|z_{0:t})}=\frac{p\left(z_t^{B-U}\right|{\hat{x}}_t^{\left(i\right)})p\left(z_t^{T-D}\right|{\hat{x}}_t^{\left(i\right)},z_t^{B-U})p\left({\hat{x}}_t^{\left(i\right)}\right|{\hat{x}}_{t-1}^{\left(i\right)})p\left({\hat{x}}_{0:t-1}^{\left(i\right)}\right|z_{1:t-1}^{B-U},z_{1:t-1}^{T-D})}{q\left({\hat{x}}_t^{\left(i\right)}\right|{\hat{x}}_{t-1}^{\left(i\right)},z_t)q\left({\hat{x}}_{t-1}^{\left(i\right)}\right|z_{t-1})},$

则有：

${\lambda }_t^{\left(i\right)}\infty {\lambda }_{t-1}^{\left(i\right)}·\frac{p\left(z_t^{B-U}\right|{\hat{x}}_t^{\left(i\right)})p\left(z_t^{T-D}\right|{\hat{x}}_t^{\left(i\right)},z_t^{B-U})p\left({\hat{x}}_t^{\left(i\right)}\right|{\hat{x}}_{t-1}^{\left(i\right)})}{q\left({\hat{x}}_t^{\left(i\right)}\right|{\hat{x}}_{t-1}^{\left(i\right)},z_t)}\approx {\lambda }_{t-1}^{\left(i\right)}·p\left(z_t^{B-U}\right|{\hat{x}}_t^{\left(i\right)})p\left(z_t^{T-D}\right|{\hat{x}}_t^{\left(i\right)},z_t^{B-U})$

其中，代表在当前粒子注意力状态下的B-U注意力观 测的条件概率，而是在B-U观测和当前粒子注意力状 态下的T-D注意力观测的条件概率，和直接 决定了更新粒子的权值大小，对其分别定义如下：

3.3)重采样

粒子权值重新计算后，加入重采样以淘汰权值较低的粒子，使粒 子向权值高的粒子周围聚集，本发明实施例采用重要性重采样方法， 重采样之后粒子分布状态如图5(b)所示。

步骤4、根据此时粒子分布状态计算注意力显著图SM′_t，并确定 目标位置

4.1)粒子显著图SM′_t

经过重采样后，粒子分布的疏密程度反映了注意力强弱，粒子分 布密集区域注意力显著性强，分布稀疏的区域注意力显著性弱，

根据粒子分布状态，在二维空间上，定义注意力显著大小如下：

其中，(x,y)为粒子分布的空间位置，n为粒子个数，为 窗口宽度，窗函数采用二维高斯窗函数，则上式变换为：

$\mathrm{SM}\left(\text{x,y}\right)=\frac{1}{2\mathrm{\pi n}{\sigma }^2}\underset{i=1}{\overset{n}{\Sigma }}\exp (-\frac{{(x-x_i)}^2+{(y-y_i)}^2}{2{\sigma }^2}),$

注意力显著性的计算结果示意图如图6(a)所示，根据计算得到的 注意力显著值与运动注意力叠加并归一化后，作为当前注意力显著 值，当前注意力显著图如图6(b)所示

4.2)目标定位

经过上述处理后，得到每一帧图像中所有粒子的分布状态，粒子 群密度越大运动目标存在可能性越大，因此通过计算粒子群位置均值 估计出目标位置信息，计算公式为：即成。

最终的目标定位结果如图6(c)所示。

图7，图8分别为“飞行器”序列和“马”序列的测试实验结果。 “飞行器”序列：待测目标选定为红衣飞行员，目标在空中高速滑动， 背景为地面远景物体，纹理复杂，飞行器向图像上方运动，镜头随飞 行器移动；“马”序列：待测目标选定为马，目标激烈运动，背景为 树木和草地，纹理变化平坦，马向图像左侧奔跑，镜头快速向左侧移 动。测试结果显示本发明方法总体效果优于MA算法、GMC-VA算 法、YumingFang算法。MA算法受到运动估计精度的影响，导致运 动注意力计算不准确，当运动相对简单时，可获得较好的效果，如“飞 行器”序列，而当运动强烈时，运动注意力比较杂乱不能有效反应运 动目标显著性，如“马”序列；GMA-VA算法融合了全局运动补偿 和静态注意力，但通常由于全局运动估计存在误差，导致目标显著性 效果不佳；与GMA-VA算法相比，YumingFang算法的结果相对较好， 但是通过结果可以看出噪声较大，注意力显著焦点位置空间不连续， 有时存在较大误差.实验结果显示，本发明方法注意力显著图比MA 算法、GMC-VA算法、YumingFang算法的注意力图，背景噪声干扰 得到大幅度削弱，由于粒子滤波过程，使粒子分布状态随运动状态和 目标位置而改变，粒子最终收敛聚集于运动目标区域，使得注意力准 确性大大提高。