视频图像中形状的局部与全局特征结构融合方法

摘要

本发明公开了一种视频图像中形状的局部与全局特征结构融合方法，采用形状轮廓上下文描述形状局部特征，采用轮廓点分布直方图描述形状全局特征；用x2测度分别进行形状局部结构和全局特征结构的度量；最终通过矩阵谱优化求解的方法进行形状局部特征结构和全局特征结构的融合映射，获得特征表征。本发明填补了现有技术的空白，能获得无监督聚类和分类判别能力强的特征表征。

说明书

技术领域

本发明属于视频监控图像处理领域，具体涉及一种视频图像中形状的局 部与全局特征结构融合方法。

背景技术

近年来，基于内容分析的智能视频监控系统的应用越来越多，要实现视 频监控图像的智能分析和识别目标，形状的表征与认知是需要解决的重要问 题。由于单一特征表征不充分，使得形状的表征具有多样性，多特征可以从 多个视角挖掘形状的独特判别特性，而多特征从结构难以融合，导致特征的 表征不精确。这种情况当前的方法无法进行特征的结构融合，进而无法更加 准确的表征形状轮廓特征。因此，提出形状的局部与全局特征结构融合方法， 进而获得分类判别能力强的特征表征，是急需解决的问题。

发明内容

本发明的目的是提供一种视频图像中形状的局部与全局特征结构融合 方法，填补了现有技术的空白，能获得无监督聚类和分类判别能力强的特征 表征。

本发明所采用的技术方案是，一种视频图像中形状的局部与全局特征结 构融合方法，其特征在于，包括以下步骤：

步骤1、采用形状轮廓上下文描述形状局部特征，采用轮廓点分布直方 图描述形状全局特征；

步骤2、用x²测度分别进行形状局部结构和全局特征结构的度量；

步骤3、最终通过矩阵谱优化求解的方法进行形状局部特征结构和全局 特征结构的融合映射，获得特征表征。

其中，步骤1的具体方法为：

设I为形状轮廓图像，I(x，y)为I在坐标(x，y)处的像素值，x和y分别表 示点的横纵坐标，c(x，y)为I的重心，x_c和y_c分别是c(x，y)的横纵坐标：

$x_c=\frac{\underset{x}{\Sigma }\underset{y}{\Sigma }x\times I(x,y)}{\underset{x}{\Sigma }\underset{y}{\Sigma }I(x,y)},$

$y_c=\frac{\underset{x}{\Sigma }\underset{y}{\Sigma }y\times I(x,y)}{\underset{x}{\Sigma }\underset{y}{\Sigma }I(x,y)},$

描述设有n个点，n取值为20，在形状轮廓上以等间隔采样的方法获得 形状轮廓的关键点集p＝{p₁(x，y)，p₂(x，y)，...，p_n(x，y)}；获得轮廓上关键点后， 以每个关键点p_k(x，y)(1≤k≤20)为中心，以距离p_k(x，y)最远轮廓上关键点的 欧氏距离为半径形成形状轮廓外接圆；

以p_k(x，y)为原点建立极坐标，极坐标的起点为p_k(x，y)和c(x，y)的连接线 方向；在角度上分18等份，径向上分等5份，使轮廓外接圆上形成90个区 域，统计在每个区域上关键点的个数，根据角度从小到大和径向距离从小到 大形成90维的向量h_x1(k)，统计的起点为极坐标的起点；通过向量除以向量 的均值进行归一化处理；形状可表征成90×n的向量x1，即为形状轮廓上下 文描述形状局部特征；

以c(x，y)为原点建立极坐标，形状轮廓外接圆的中心在c(x，y)上，在角度 上分18等份，径向上分等5份，使轮廓外接圆上形成90个区域，统计在每 个区域上关键点的个数，根据角度从小到大和径向距离从小到大形成90维 的向量h_x2(c)，统计的起点为极坐标角度为0度的方向，形状表征为90维的 向量x2，即为轮廓点分布直方图描述形状全局特征。

步骤2的具体方法为：

设有m个形状，根据步骤1得到该m个形状的局部特征集和全局特征 集分别为X1＝[x1₁，X1₂，...，X1_m]^T和X2＝[x2₁，x2₂，...，X2_m]^T，形状的局部特征结构度 量为d_X1(x1_i，x1_j)，x1_i和x1_j为形状i和形状j的局部特征表征；形状的全局特 征结构度量为d_X2(x2_i，x2_j)，x2_i和x2_j为形状i和形状j的全局特征表征，分 别由下式计算：

$d_{X1}({x1}_i,{x1}_j)=\frac{1}{2}\underset{1\le k\le n}{\Sigma }\frac{{[h_{{x1}_i}\left(k\right)-h_{{x1}_j}\left(k\right)]}^2}{h_{{x1}_i}\left(k\right)+h_{{x1}_j}\left(k\right)},$

和为形状i和形状j的轮廓点p_k(x，y)处的h_x1(k)，

$d_{X2}({x2}_i,{x2}_j)=\frac{1}{2}\frac{{[h_{{x2}_i}\left(c\right)-h_{{x2}_j}\left(c\right)]}^2}{h_{{x2}_i}\left(c\right)+h_{{x2}_j}\left(c\right)},$

和为形状i和形状j的重心点c(x，y)处的h_x2(c)。

步骤3的具体方法为：

定义X1＝[x1₁，x1₂..，x1_m]^T和X2＝[x2₁，x2₂，...，x2_m]^T特征结构测度相似矩阵， 以步骤  2  计算得到度量的相似矩阵为W1＝{W1_i，j}和 W2＝{W2_i，j}(i＝1，2，...，mj＝1，2，...，m)如下式：

x1_i的近邻定义为d_X1(x1_i，x1_j)最小的5个特征表征；x2_i的近邻定义为 d_X2(x2_i，x2_j)最小的5个特征表征：

X＝[X1 X2]，

W_i，j＝W1_i，j+W2_i，j，

W_i，j为W矩阵在i行j列的元素

L＝D-W，

其中，$D_{\mathrm{ii}}=\underset{j}{\Sigma }{W}_{i,j},$

XLX^Tα＝λXX^Tα，

通过矩阵谱优化求解方法，求解最小的d个广义特征值λ₁＜λ₂＜...＜λ_d对 应的特征向量α₁，α₂，...，α_d，则保持近邻相似度特性的线性变换矩阵为：

A＝[α₁，α₂，...，α_d]，

最终结构融合的特征为Y：

Y＝A^TX  。

本发明方法在获取形状轮廓的前提下，针对形状单一特征表征不充分， 多特征难以结构融合，不能显现特征本质的分辨特性，提出形状的局部与全 局特征结构融合方法，这种方法不仅从不同角度的特征描述中提取了更近似 的数据本质结构，而且在计算量变化不大的前提下降低了数据特征的维度。 其结构融合理论方法的思想不局限于形状的特征结构融合，对于各种特征结 构融合普遍适用。

具体实施方式

本发明视频图像中形状的局部与全局特征结构融合方法，包括以下步 骤：

步骤1、采用形状轮廓上下文描述形状局部特征，采用轮廓点分布直方 图描述形状全局特征。局部和全局特征表征有多种方法，能充分表现轮廓空 间点分布的特征为形状上下文描述局部点特征和轮廓点分布直方图，因为其 在特征描述时不仅考虑到相对距离，还考虑到了相关角度。

具体方法为：

设I为形状轮廓图像，I(x，y)为I在坐标(x，y)处的像素值，x和y分别表 示点的横纵坐标，c(x，y)为I的重心，x_c和y_c分别是c(x，y)的横纵坐标：

$x_c=\frac{\underset{x}{\Sigma }\underset{y}{\Sigma }x\times I(x,y)}{\underset{x}{\Sigma }\underset{y}{\Sigma }I(x,y)},$

$y_c=\frac{\underset{x}{\Sigma }\underset{y}{\Sigma }y\times I(x,y)}{\underset{x}{\Sigma }\underset{y}{\Sigma }I(x,y)},$

描述设有n个点，n取值为20，n取值能根据形状的复杂程度调整。在 形状轮廓上以等间隔采样的方法获得形状轮廓的关键点集 p＝{p₁(x，y)，p₂(x，y)，...，p_n(x，y)}，获得轮廓上关键点后，以每个关键点 p_k(x，y)(1≤k≤20)为中心，以距离p_k(x，y)最远轮廓上关键点的欧氏距离为半 径形成形状轮廓外接圆；

以p_k(x，y)为原点建立极坐标，极坐标的起点为p_k(x，y)和c(x，y)的连接线 方向；在角度上分18等份，径向上分等5份，使轮廓外接圆上形成90个区 域，统计在每个区域上关键点的个数，根据角度从小到大和径向距离从小到 大形成90维的向量h_x1(k)，统计的起点为极坐标的起点；为了保证尺度不变， 通过向量除以向量的均值进行归一化处理。因为参考点在轮廓上，所以特征 具有天然的平移不变性。描述设有n个点，形状可表征成90×n的向量x1， 即为形状轮廓上下文描述形状局部特征。

全局特征表征为轮廓空间点分布的特征，以c(x，y)为原点建立极坐标， 形状轮廓外接圆的中心在c(x，y)上，在角度上分18等份，径向上分等5份， 使轮廓外接圆上形成90个区域，统计在每个区域上关键点的个数，根据角 度从小到大和径向距离从小到大形成90维的向量h_x2(c)，统计的起点为极坐 标角度为0度的方向，形状表征为90维的向量x2，即为轮廓点分布直方图 描述形状全局特征。对于几何变换和非线性变换，和局部特征表征有相似的 性质。

步骤2、用x²测度分别进行形状局部结构和全局特征结构的度量。因为 选取的局部和全局特征描述都是分布特征，而且分布值特征因旋转变换产生 周期性平移，欧氏距离不能直接测度偏移的分布值特征，所以选用x²测度。 具体方法为：

设有m个形状，根据步骤1得到该m个形状的局部特征集和全局特征 集分别为X1＝[x1₁，x1₂，...，x1_m]^T和X2＝[x2₁，x2₂，...，x1_m]^T，形状的局部特征结构度 量为d_X1(x1_i，x1_j)，x1_i和x1_j为形状i和形状j的局部特征表征；形状的全局特 征结构度量为d_X2(x2_i，x2_j)，x2_i和x2_j为形状i和形状j的全局特征表征，分 别由下式计算：

$d_{X1}({x1}_i,{x1}_j)=\frac{1}{2}\underset{1\le k\le n}{\Sigma }\frac{{[h_{{x1}_i}\left(k\right)-h_{{x1}_j}\left(k\right)]}^2}{h_{{x1}_i}\left(k\right)+h_{{x1}_j}\left(k\right)},$

和为形状i和形状j的轮廓点p_k(x，y)处的h_x1(k)，

$d_{X2}({x2}_i,{x2}_j)=\frac{1}{2}\frac{{[h_{{x2}_i}\left(c\right)-h_{{x2}_j}\left(c\right)]}^2}{h_{{x2}_i}\left(c\right)+h_{{x2}_j}\left(c\right)},$

和为形状i和形状j的重心点c(x，y)处的h_x2(c)。

步骤3、最终通过矩阵谱优化求解的方法进行形状局部特征结构和全局 特征结构的融合映射，获得特征表征。具体方法为：

定义X1＝[x1₁，x1₂，...，x1_m]^T和X2＝[x2₁，x2₂，...，x2_m]^T特征结构测度相似矩阵， 以步骤  2  计算得到度量的相似矩阵为W1＝{W1_i，j}和 W2＝{W2_i，j}(i＝1，2，...，mj＝1，2，...，m)如下式：

x1_i的近邻定义为d_X1(x1_i，x1_j)最小的5个特征表征；x2_i的近邻定义为 d_X2(x2_i，x2_j)最小的5个特征表征：

X＝[x1 X2]，

W_i，j＝W1_i，j+W2_i，j，

W_i，j为W矩阵在i行j列的元素

L＝D-W，

其中，$D_{\mathrm{ii}}=\underset{j}{\Sigma }{W}_{i,j},$

XLX^Tα＝λXX^Tα，

通过矩阵谱优化求解方法，求解最小的d个广义特征值λ₁＜λ₂＜...＜λ_d对 应的特征向量α₁，α₂，...，α_d，则保持近邻相似度特性的线性变换矩阵为：

A＝[α₁，α₂，...，α_d]，

最终结构融合的特征为Y：

Y＝A^TX。