基于旋度和散度的运动特征提取方法及系统

摘要

本发明公开了一种基于旋度和散度的运动特征提取方法及系统，包括：S1：对任意给定的运动矢量场进行归一化处理；S2：计算归一化的运动矢量场中每个点的旋度和散度，得到旋度图和散度图；构建归一化的运动矢量场的对偶矢量场；S3：在归一化的运动矢量场及其对偶矢量场中进行运动轨迹采样，分别得到切向运动轨迹和径向运动轨迹；S4：对运动轨迹上的旋度和散度进行路径积分，即得到尺度不变和旋转不变的CD运动特征。本发明可以从整体上刻画运动的旋转和发散程度，并具有很强的鲁棒性。作为一种普适性的运动描述子，CD特征可以广泛应用于不同场景下的运动分析和行为识别。

说明书

技术领域

本发明涉及的是计算机视觉技术领域，具体地，涉及的是一种基于旋度和散度的运 动特征提取方法及系统。

背景技术

在计算机视觉技术领域，如何提取运动目标的运动特征是非常重要的一个问题。运 动特征的表示方法直接影响到后续高层视觉任务分析，比如动作识别，行为分类，异常 事件检测等等。最经典的底层运动特征，即光流，表示连续两帧之间目标运动矢量(包 括运动方向和幅度)。光流特征是像素级特征，描述局部瞬时运动信息。自从光流特征 被提出之后，关于如何计算光流特征的方法亦被不断改进优化，基本思想是在最初光流 方法上加上各种正则化约束，以期适应不同场景的光照变化、尺度变化、运动幅度变化 等等，从而得到更加鲁棒的运动特征。针对不同的视觉分析任务，很多基于光流的中层 运动特征被提出。

经对现有的技术文献检索发现，目前运动特征的中层表示方法已有很多，根据不同 的应用场景和需求，不同的中层运动特征被提出。比如从社会动力学的角度出发，基于 底层运动特征构建社会力来描述目标之间的作用力；从流体力学的角度出发，提出势能 场来表示群体的运动状态；从动态系统的稳定性出发，利用雅可比矩阵的特征值来描述 不同的群体运动类型；从粘性流体场的角度出发，通过构建时空粘性力场来表示群体的 运动特性；还有提出利用多尺度光流直方图检测群体场景中的异常事件。在群体分析场 景中，多种运动描述子被提出用来表示运动的复杂性、一致性、稳定性等。在动作识别 方面，运动学特征(包括散度、旋度、对称和非对称场以及梯度张量特征等)被提出用 来表示目标的运动。但是这是一种局部特征，而且没有考虑到运动的空间结构。后来， 基于改进的轨迹特征在动作识别领域取得了非常好的效果，因为该特征考虑到运动的空 间结构信息，沿着轨迹提取运动特征，而且通过去除背景运动来进一步提高特征表示的 准确性和鲁棒性。

虽然运动特征的研究已经有很多，但是依然存在一些问题，主要包括以下几点：1) 局部运动特征很难从整体上来描述运动特性，而且易受噪声干扰；2)忽略运动的空间 结构信息，即运动轨迹。这将导致运动特征不具有很好的区分性。3)易受尺度和角度 变化影响。同样的运动模式，在不同的尺度和角度上提取得到的特征不一样。这样的特 征不具有很好的鲁棒性和实用性。

发明内容

鉴于现有运动特征存在上述不足，本发明提出了一种基于旋度和散度的运动特征提 取方法及系统。该特征被称为CD(C，即Curl，代表旋度；D即Divergence，代表散 度)，它从旋转程度和发散(聚集)程度两个方面定量地描述运动。通过路径积分，该 特征将局部运动信息和空间结构信息联系起来，得到全局运动描述子，具有尺度不变和 旋转不变特性，可以从整体上刻画运动的旋转和发散程度，并具有很强的鲁棒性。作为 一种普适性的运动描述子，CD特征可以广泛应用于不同场景下的运动分析和行为识别。

为实现以上目的，本发明采用以下技术方案：

根据本发明的第一方面，提供一种基于旋度和散度的运动特征提取方法，所述方法 包括以下步骤：

S1：对任意给定的运动矢量场进行归一化处理；

S2：计算归一化的运动矢量场中每个点的旋度和散度，得到旋度图和散度图；构建 归一化的运动矢量场的对偶矢量场；

S3：在归一化的运动矢量场及其对偶矢量场中进行运动轨迹采样，分别得到切向运 动轨迹和径向运动轨迹；

S4：对运动轨迹上的旋度和散度进行路径积分，即得到尺度不变和旋转不变的旋度 和散度运动特征。

优选地，步骤S1中，所述矢量场归一化的方法为：对任意给定的运动矢量场中每 个运动矢量进行幅度归一化，运动方向则保持不变；

假设某个点的运动矢量在二维图像平面坐标系x-y中表示为：

(u₀，v₀)，

其中：u₀表示x方向的运动分量，v₀表示y方向的运动分量；

该运动矢量归一化之后为：

$(\frac{u_0}{\sqrt{u_0^2+v_0^2}},\frac{v_0}{\sqrt{u_0^2+v_0^2}}).$

优选地，步骤S2中，所述旋度图和散度图的计算方法为：

假设归一化的运动矢量场表示为：

M(x，y)＝u(x，y)i+v(x，y)j，

其中u和v分别表示x和y方向运动矢量；

旋度图为：

$c(x,y)=\frac{\partial v(x,y)}{\partial x}-\frac{\partial u(x,y)}{\partial y},$

散度图为：

$d(x,y)=\frac{\partial u(x,y)}{\partial x}+\frac{\partial v(x,y)}{\partial y}.$

优选地，步骤S2中，所述构建对偶矢量场的方法为：

矢量场M(x，y)的对偶矢量场表示为：

$\hat{M}(x,y)=-v(x,y)i+u(x,y)j,$

即中的运动矢量均垂直于M(x，y)中相应的运动矢量；i和j分别表示x和y方 向的单位向量；

的旋度图为：

$\hat{c}(x,y)=\frac{\partial u(x,y)}{\partial x}+\frac{\partial v(x,y)}{\partial y}=d(x,y),$

即的旋度图等于M(x，y)的散度图。

优选地，步骤S3中，所述轨迹采样的方法为：

假设m个粒子均匀的放在运动矢量场M(x，y)的初始位置，利用运动矢量驱动这些粒 子漂流，形成m条切向运动轨迹，表示为：

T＝{t₁，t₂，...，t_m}，T是按照的矢量方向排序的；

类似地，把n个粒子均匀地放在对偶矢量场的初始位置，通过粒子漂流得到 n条切向运动轨迹，表示为：

是按照M(x，y)的矢量方向排序的。

优选地，步骤S4中，所述路径积分的方法为：

对M(x，y)的旋度图c(x，y)在切向轨迹T上进行路径积分，得到旋度特征向量f_c；

类似地，对M(x，y)的散度图d(x，y)在径向轨迹上进行路径积分，得到散度特征向 量f_d；

则运动特征CD定义为：

CD：＝[f_c，f_d]，

其中：分别指m维和n维实数域；

通过理论证明，所述运动特征CD具有旋转不变和尺度不变特性。

根据本发明的第二方面，提供一种基于旋度和散度的运动特征提取系统，包括：

矢量归一化模块：对任意给定的运动矢量场进行归一化处理；

旋度图和散度图计算模块：计算归一化的运动矢量场中每个点的旋度和散度，得到 旋度图和散度图；

对偶矢量场建立模块：构建归一化的运动矢量场的对偶矢量场；

运动轨迹采样模块：在归一化的运动矢量场及其对偶矢量场中进行运动轨迹采样， 分别得到切向运动轨迹和径向运动轨迹；

路径积分模块：对运动轨迹上的旋度和散度进行路径积分，即得到尺度不变和旋转 不变的CD运动特征。

与现有技术相比，本发明具有以下有益效果：

本发明所述方法同时考虑运动的局部特性以及空间结构信息，从旋转和发散两个方 面在整体上定量地描述运动；该特征对运动的表示有很好的区分度，同时它的尺度不变 和旋转不变特性使得该特征在实际应用场景中具有很好的鲁棒性和适应性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特 征、目的和优点将会变得更明显：

图1为本发明一实施例的总体流程图；

图2为本发明实施例的三种典型归一化矢量场；

图3为本发明一实施例的旋度可视化效果图；

图4为本发明一实施例的散度可视化效果图；

图5为本发明一实施例的轨迹采样示意图；

图6为本发明一实施例的旋度特征可视化效果图；

图7为本发明一实施例的散度特征可视化效果图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人 员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技 术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于 本发明的保护范围。

实施例1

本实施例以三种典型的运动模式为例，如图2所示，分别是直行、旋转和聚集。

如图1所示，本实施例提供一种基于旋度和散度的运动特征提取方法，用于对任意 给定的运动矢量场提取CD运动特征，具体实施步骤为：

(1)：对任意给定的运动矢量场进行归一化处理1，即对任意给定的运动矢量场中 每个运动矢量进行幅度归一化，运动方向保持不变；具体步骤如下：

假设某个运动矢量在二维图像平面坐标系x-y中表示为(u₀，v₀)，其中u₀表示x方向 的运动分量，v₀表示y方向的运动分量；该运动矢量归一化之后为图 2即为归一化后的运动矢量场，矢量幅值均为1。

(2)：计算该矢量场中每个点的旋度和散度2，得到旋度图和散度图；具体步骤如 下：

假设归一化的运动矢量场表示为M(x，y)＝u(x，y)i+v(x，y)j，其中u和v分别表示x 和y方向运动矢量。旋度图为$c(x,y)=\frac{\partial v(x,y)}{\partial x}-\frac{\partial u(x,y)}{\partial y},$散度图为$d(x,y)=\frac{\partial u(x,y)}{\partial x}+\frac{\partial v(x,y)}{\partial y}.$这里值得一提的是，只在运动矢量场内部进行旋度和散度的计算，忽略矢量场边界导致 的无效旋度和散度。如图3所示即为旋度可视化效果图，如图4所示即为散度可视化效 果图。从图3和图4中可以看出：直行模式既无旋度也无散度，旋转模型只有旋度而无 散度，聚集模式只有散度而无旋度，这与我们对这种三种典型运动模式的直观理解也是 相符的。

(3)：构建该矢量场的对偶矢量场3；具体方法如下：

矢量场M(x，y)的对偶矢量场表示为即中的 运动矢量均垂直于M(x，y)中相应的运动矢量；的旋度图为 $\hat{c}(x,y)=\frac{\partial u(x,y)}{\partial x}+\frac{\partial v(x,y)}{\partial y}=d(x,y),$即的旋度图等于M(x，y)的散度图。

(4)：在该矢量场及其对偶矢量场中进行运动轨迹采样4，分别得到切向运动轨迹 和径向运动轨迹；具体方法如下：

假设m个粒子均匀的放在运动矢量场M(x，y)的初始位置，利用运动矢量驱动这些粒 子漂流，形成m条切向运动轨迹，可以表示为T＝{t₁，t₂，...，t_m}，T是按照的 矢量方向排序的；类似地，把n个粒子均匀地放在对偶矢量场的初始位置，通过 粒子漂流得到n条切向运动轨迹，表示为是按照M(x，y)的矢量方 向排序的。如图5所示，图中的实线即为采样的轨迹示意图。

(5)：对运动轨迹上的旋度和散度进行路径积分5，即得到尺度不变和旋转不变的 运动特征CD；具体方法如下：

对M(x，y)的旋度图c(x，y)在切向轨迹T上进行路径积分，得到旋度特征 类似地，对M(x，y)散度图d(x，y)在径向轨迹上进 行路径积分，得到散度特征$f_d\left(j\right)={\int }_{{\hat{t}}_j}d(x,y)d_s,j=1,2,...,n.$

运动特征CD定义为：CD：＝[f_c，f_d]，其中如图6所示即为旋 度特征可视化效果图，如图7所示即为散度特征可视化效果图。

通过理论证明，该运动特征具有尺度不变和旋转不变特性。

具体证明过程如下：

假设α是尺度因子，尺度变化之后的矢量场表示为M_α(x，y)：

M_α(x，y)＝M(αx，αy)＝u(αx，αy)i+v(αx，αy)j；

其旋度图c_α(x，y)和散度图d_α(x，y)分别为：

c_α(x，y)＝αc(αx，αy)，d_α(x，y)＝αd(αx，αy)；

相应的采样轨迹分别为：和

对M_α(x，y)的旋度图c_α(x，y)在轨迹T_α上进行路径积分，得到旋度特征：

$f_{\mathrm{\alpha c}}\left(i\right)={\int }_{t_{\mathrm{\alpha i}}}{c}_{\alpha }(x,y)d_s=f_c\left(i\right),i=\mathrm{1,2},...,m;$

类似地，对M_α(x，y)的散度图d_α(x，y)在轨迹上进行路径积分，得到散度特征：

$f_{\mathrm{\alpha d}}\left(j\right)=f_{\hat{t}{\alpha }_j}{d}_{\alpha }(x,y)d_s=f_d\left(j\right),j=\mathrm{1,2},...n;$

所以CD_α＝CD，即尺度不变。

假设矢量场M(x，y)旋转θ度，当θ为正时，表示逆时针方向旋转；当θ为负时，表示 顺时针方向旋转；旋转之后的矢量场表示为：

M′(x′，y′)＝u′(x′，y′)i+v′(x′，y′)j。

不难想象，由于是整体旋转，旋转之后每个运动矢量之间相对方向关系并没有发生 改变，就是旋度和散度没有改变，即：

c′(x′，y′)＝c(x，y)，d′(x′，y′)＝d(x，y)。

另外，轨迹的长度也未发生改变；所以路径积分之后得到的特征值也不会改变，即 CD′＝CD，也就是旋转不变。

实施例2

如图1所示，基于实施例1所述的方法，一种用于该方法的基于旋度和散度的运动 特征提取系统，包括：

矢量归一化模块：对任意给定的运动矢量场进行归一化处理；

旋度图和散度图计算模块：计算归一化的运动矢量场中每个点的旋度和散度，得到 旋度图和散度图；

对偶矢量场建立模块：构建归一化的运动矢量场的对偶矢量场；

运动轨迹采样模块：在归一化的运动矢量场及其对偶矢量场中进行运动轨迹采样， 分别得到切向运动轨迹和径向运动轨迹；

路径积分模块：对运动轨迹上的旋度和散度进行路径积分，即得到尺度不变和旋转 不变的CD运动特征。

上述各个模块所采用的技术特征见上述方法各个步骤对应部分，本系统能够很好的 实现旋转和发散运动特征的提取。

本发明同时考虑运动的局部特性以及空间结构信息，从旋转和发散两个方面在整体 上定量地描述运动。该特征对运动的表示有很好的区分度，同时它的尺度不变和旋转不 变特性使得该特征在实际应用场景中具有很好的鲁棒性和适应性。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上 述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改， 这并不影响本发明的实质内容。