基于视频数据3D自相关性的视频多尺度几何分析方法

摘要

本发明公开一种基于视频数据3D自相关性的视频多尺度几何分析方法，根据视频数据的自相关性特点，采用维度冗余变换的方法将视频体映射到一个较其本身维度更高的空间，从而将那些沿着复杂方向分布的曲线奇异组织成较为规则的、简单的、近似于直线的奇异，再利用非自适应的基函数降低视频流形潜在的冗余，能够取得与自适应基函数相近的对于线、面奇异的稀疏表示性能；由于无需进行运动估计、自适应基函数选取等操作，本发明的计算量低于典型的基于3D基函数的视频多尺度几何分析方法和基于时空非局部性的视频多尺度几何分析方法。

说明书

技术领域

本发明涉及视频处理领域，尤其是一种计算复杂度低、无冗余的基于视频数据3Ｄ 自相关性的视频多尺度几何分析方法。

背景技术

视频数据的紧致表示(Compactrepresentation)是视频去噪、分割、特征提取、融 合、压缩、复原和超分辨率等诸多处理的基础，是指用较少的数学描述来捕获视频中的重要 信息，基于调和分析的稀疏表示是图像和视频紧致表示的方法之一。典型地，小波变换在表 示1D信号的点奇异性方面具有最优的逼近性能，成为近十年来自然信号处理和分析的强有 力工具。然而，对于2D图像或者更高维的数据，小波变换的稀疏表示能力则比较有限。2D可 分离小波基函数的支撑区间为一个正方形，且各向同性，只能表示2D或高维信号在竖直、水 平和对角线方向的直线奇异性。自然界中多数物体所具有的平滑边缘使得自然图像的奇异 点往往不是独立分布的，而是聚集成具有某些几何特征的奇异曲线。在这种情况下，小波的 各向同性的基函数不能有效地利用数据本身特有的几何特征来捕获沿着边缘方向的曲线 奇异，无法为视频及高维数据提供最优的或者最稀疏的表示。这样，处于数学分析、计算机 视觉、模式识别、统计分析等多个领域的很多专家在小波变换的理论基础之上分别独立地 发展着一种彼此极其相似的理论，称之为“多尺度几何分析(MultiscaleGeometrical Analysis，MGA)”，用以检测、表示、处理某些高维数据，并为这些数据提供多尺度的、多方 向的表示。现有的多尺度几何分析工具主要包括：脊波(Ridgelet)变换、曲波Curvelet变 换、条带波(Bandelets)变换、小线(Beamlets)变换、Directionlets变换、轮廓波 (Contourlet)变换、剪切波(Shearlet)变换、Surfacelets变换等。这些多尺度变换具有很 好的各向异性特征，成为处理2D图像数据的更优算法，很好地解决了小波变换不能有效表 示边缘、轮廓等线奇异的问题。

上述的多尺度几何分析工具皆只适用于2D静态图像。若将其应用在视频数据的处 理中，则需对这些变换向3D方向进行扩展，比较典型的方法包括：由2D变换通过张量积扩展 的视频多尺度几何分析、基于3D基函数的视频多尺度几何分析和基于时空非局部性的视频 多尺度几何分析等。但是，这三类方法中，有的方法只能捕获少数特定情况下的线、面奇异， 有的方法需要很高的计算量，有的方法则在严格意义上尚不能构成视频数据的正交表示甚 至完备表示。目前，尚不存在一种计算量适中、能有效捕获任意线、面奇异的视频多尺度几 何分析方法。

发明内容

本发明是为了解决现有技术所存在的上述技术问题，提供一种计算复杂度低、无 冗余的基于视频数据3D自相关性的视频多尺度几何分析方法。

本发明的技术解决方案是：一种基于视频数据3D自相关性的视频多尺度几何分析 方法，其特征在于按照如下步骤进行：

步骤1.输入帧待处理的视频数据和分解级数，设视频的空间分辨率为像 素；

步骤2.将视频分成组，每组包含帧，最后一组可不满帧，约定将其称为 子视频体；令，，，，；

步骤3.对于子视频体，根据公式沿着空间水平方向计算像素间的自相关系数：

其中，表示该组视频的平均像素值，表示第帧、第行、第列的像素值，表示第帧、第行、第列的像素值；

步骤4.对于子视频体，根据公式沿着空间竖直方向计算像素间的自相关系数：

其中，表示第帧、第行、第列的像素值；

步骤5.对于子视频体，根据公式沿着时间方向计算像素间的自相关系数：

其中，表示第帧、第行、第列的像素值；

步骤6.对和从大到小排序，并将其下标X、Y、Z按排序顺序存储起来作为 边信息；令数据自相关性最强的方向为，其次为，相关性最弱的方向为；

步骤7.将沿着方向划分为一系列像素平面，并对每个像素平面进行1级传统 2-D小波变换，从而得到一系列包含LL、LH、HL和HH等4种子带的像素平面，然后将每个像素 平面中的LL子带组成LL-子视频体，将每个像素平面中的LH子带组成LH-子视频体， 将每个像素平面中的HL子带组成HL-子视频体，将每个像素平面中的HH子带组成HH-子 视频体；

步骤8.沿着方向将步骤7得到的LH-子视频体、HL-子视频体和HH-子视 频体分别划分为一系列系数平面，并对每个系数平面进行1级2-D非冗余的尺度和方向 变换(NonredundantScaleandOrientationalTransform,NSOT)；

步骤9.令，，，，，若，则转 入步骤3；否则，沿着方向将子视频体划分为一系列系数平面，并对每个系数平面 进行1级2-D小波变换，转入步骤10；

步骤10.令，若，则，，转入步骤 3；否则，输出所有变换系数和边信息，算法结束。

与现有技术相比，本发明的技术特点在于：第一，采用维度冗余变换的方法将视频 体映射到一个较其本身维度更高的空间，从而易于将那些沿着复杂方向分布的曲线奇异组 织成较为规则的、简单的、近似于直线的奇异，再利用非自适应的基函数降低视频流形潜在 的冗余，能够取得与自适应基函数相近的对于线、面奇异的稀疏表示性能；第二，由于无需 进行运动估计、自适应基函数选取等操作，本发明的计算量低于典型的基于3D基函数的视 频多尺度几何分析方法和基于时空非局部性的视频多尺度几何分析方法。

具体实施方式

本发明的一种基于视频数据3D自相关性的视频多尺度几何分析方法，其特征在于 按照如下步骤进行；

步骤1.输入帧待处理的视频数据和分解级数，设视频的空间分辨率为像素；

步骤2.将视频分成组，每组包含帧（最后一组可不满帧），约定将其 称为子视频体；令，，，，；

步骤3.对于子视频体，根据公式沿着空间水平方向计算像素间的自相关系数 ：

其中，表示该组视频的平均像素值，表示第帧、第行、第列的像素值，表示第帧、第行、第列的像素值；

步骤4.对于子视频体，根据公式沿着空间竖直方向计算像素间的自相关系数 ：

其中，表示第帧、第行、第列的像素值；

步骤5.对于子视频体，根据公式沿着时间方向计算像素间的自相关系数：

其中，表示第帧、第行、第列的像素值；

步骤6.对和从大到小排序，并将其下标X、Y、Z按排序顺序存储起来作为边 信息；令数据自相关性最强的方向为，其次为，相关性最弱的方向为；

步骤7.将沿着方向划分为一系列像素平面，并对每个像素平面进行1级传统 2-D小波变换，从而得到一系列包含LL、LH、HL和HH等4种子带的像素平面，然后将每个像素 平面中的LL子带组成LL-子视频体，将每个像素平面中的LH子带组成LH-子视频体， 将每个像素平面中的HL子带组成HL-子视频体，将每个像素平面中的HH子带组成HH-子视 频体；

步骤8.沿着方向将第7步得到的LH-子视频体、HL-子视频体和HH-子视频 体分别划分为一系列系数平面，并对每个系数平面进行1级2-D非冗余的尺度和方向变 换(NonredundantScaleandOrientationalTransform,NSOT)；

步骤9.令，，，，，若，则转入 步骤3；否则，沿着方向将子视频体划分为一系列系数平面，并对每个系数平面进 行1级2-D小波变换，转入步骤10；

步骤10.令，若，则，，转入步骤 3；否则，输出所有变换系数和边信息，算法结束。