针对破损视频的α阶全变分约束的低秩张量补全方法

摘要

本发明公开了针对破损视频的α阶全变分约束的低秩张量补全方法，按照以下步骤实施：利用MATLAB将高丢失率的破损视频文件读入，将其处理为三维张量将三维张量沿着每一个模展开为二维矩阵，并对这些矩阵的边界进行正则化处理，得到零Dirichlit边界条件的二维矩阵；定义关于破损视频的张量补全的目标泛函,包括α阶全变分正则约束项和低秩约束项，这两项并不互相独立；为边界正则化的二维矩阵引入三个辅助矩阵，通过增广拉格朗日公式对目标泛函进行解耦、优化，并求解优化的目标泛函，通过不断迭代最终获得补全的三维视频张量；把在分数阶有界变分空间中的分数阶TV正则化项与低秩约束相结合进行张量修复，既能恢复全局信息，也能够恢复丢失的精细细节。

说明书

技术领域

本发明属于数字图像处理技术领域，涉及针对破损视频的α阶全变分约 束的低秩张量补全方法。

背景技术

数字图像修复是指以不易察觉的方式重建图像中完全丢失/破损的部分 或去除不想要的目标物体的技术。近年来，随着数据采集技术的飞速发展， 社会生产生活中的许多领域采集到了大量的多通道视觉数据集，例如：RGB 图像、数字视频、多光谱以及高光谱图像等，其中，视频数据集的规模与数 量与日俱增，特别在日常生活中，数字视频占据着相当重要的位置。但是， 由于传输或者压缩等原因的影响，视频数据经常出现部分信息丢失或破损的 情况，当丢失率较高时严重影响其观看效果或是降低后续处理操作的精度， 例如：降低后续视频目标跟踪或目标分割的准确性。如何修复这些受损的多 通道视频数据成为当下亟需解决的问题，尤其是当丢失比率较高时，更是对 修复方法提出了更高的挑战。

视频数据拥有两个空间维度和一个时间维度，可将这种多通道数据看作 一个三维张量，采用张量分析的方法来处理受损的多维视频数据。张量是一 种二维矩阵的延伸，它提供了一种高效的表示多通道数据的数学方法。因此， 可以采用“张量补全”的方法来修复丢失的视频数据。

近年来，人们对这个问题进行了深入研究以解决多通道数据恢复问题。 在这些研究中，假设要修复的矩阵或张量是低秩的，在修复缺失的信息时， 设计合适的泛函模型并试图使张量数据的秩最小化。在已有的方法中，确定 矩阵秩已经被扩展并利用到低秩张量修复方法(Low-Rank Tensor Completion, LRTC)中，主要有两种方式：一是组建沿每个模式的展开矩阵秩的凸性组 合；二是使用CANDECOMP/PARAFAC(CP)分解或Tucker分解，同时试图 使分解后的因子是低秩的。

全变分(Total Variation,TV)范数，因其可以保留图像中的分段平滑特性 而成功地应用于许多图像处理领域。近些年来，TV约束已经被应用到矩阵 修复或张量补全问题中，并被用作低秩约束的补充性约束，以局部的分段光 滑特性为先验条件。为简单起见，将这类方法称为Low-Rank Tensor Completion with Total Variation(简写为：LRTV)。

大量的研究表明，与整数阶相比，分数阶微积分是一种更强大的数学方 法，它的拮抗特性产生了一种特殊的仿生视觉感受野模型，可以最大限度地 保留平滑区域的低频轮廓特征，同时在高变化的灰度区域非线性地保持高频 边缘特征，在灰度级差异不明显的区域，它还可以增强纹理细节。

已有的LRTV不足以利用张量的非局部和细粒度的结构信息来修复图 像，这将会导致在结构复杂和细粒度纹理区域出现边缘模糊和仿射细节丢失 等问题。

发明内容

本发明的目的是提供针对破损视频的α阶全变分约束的低秩张量补全方 法，能够利用张量补全的方式来完成高丢失率的破损视频修复。

本发明所采用的技术方案是，针对破损视频的α阶全变分约束的低秩张 量补全方法，具体按照以下步骤实施：

步骤1、利用MATLAB将高丢失率的破损视频文件读入，将其处理为 三维张量

步骤2、定义关于破损视频的张量补全的目标泛函，目标泛函包括α阶 全变分正则约束项和低秩约束项；

并对二维矩阵的边界进行正则化处理，得到零Dirichlit边界条件的二维 矩阵；

步骤3、为零Dirichlit边界条件的二维矩阵引入三个辅助矩阵作为目标 泛函变量，通过增广拉格朗日公式对目标泛函进行解耦、优化，并求解优化 的目标泛函，通过不断迭代最终获得补全的三维视频张量。

步骤2中定义关于破损视频的张量补全的目标泛函具体过程为：

定义关于破损视频的张量补全的目标泛函：

式(1)中，第一部分为α阶全变分正则化约束项，包括施加到张量

步骤2中对二维矩阵的边界进行正则化处理具体过程为：取α阶全变分 正则化约束项中第n模展开矩阵，展开矩阵的图像域为Ξ

对亮度函数为

通过图像域Ξ

引入两个辅助函数e

根据式(5)和式(6)可得式(7)和式(8)，

e

其中

根据式(6)可得边界调整后的亮度函数

步骤3具体过程为：

步骤3.1、为零Dirichlit边界条件的二维矩阵引入三个辅助矩阵

其中，N表示三维张量的展开总模数，λ表示调整参数，Z

步骤3.2、利用增广拉格朗日公式对目标泛函进行解耦，引入三个拉格 朗日乘子

初始化式(4)中

步骤3.3、定义图像域Ξ

式(9)中，取函数f的Dirichlet边界条件为零，k＝1,2,…X；l＝1,2…Y；

步骤3.4、根据式(9)计算α阶微分离散化的近似矩阵，计算公式为：

其中

通过式(10)对α阶微分进行有限差分离散化处理，同时根据Gerschgorin circle定理求解离散化形式

步骤3.5、分别计算更新

步骤3.6、计算更新拉格朗日乘子

步骤3.7、返回步骤3.4，设定张量补全次数阈值为K，判断k是否等于 K或者连续两次补全张量

步骤3.5具体过程为：

令

通过公式(4)和公式(13)求解更新

根据公式(4)和公式(14)计算更新

根据公式(4)求解

同时，取计算补全三维破损张量次数为k＝1。

步骤3.6具体过程为：公式(16)和公式(17)计算更新拉格朗日乘子

(ρ

同理更新

本发明针对破损视频的α阶全变分约束的低秩张量补全方法有益效果 是：

1)提出了一种具有非局部扩散性的分数阶空间正则方案，把在分数阶 有界变分空间中的分数阶TV正则化项与低秩约束相结合进行张量修复，既 能恢复全局信息，也因分数阶空间正则而能够恢复丢失的精细细节；

2)在修复损毁的张量数据前，将张量在各模下展开矩阵的非零Dirichlet 边界条件变为零，以此克服边界处的振荡现象；

3)采用了增强拉格朗日公式来优化求解所提出的混合目标泛函问题， 对于分数阶空间正则化的优化子问题，推导出非局部分数阶导数的近似矩阵 并应用于前两个模的展开矩阵中，从而能够高效求解所提出的凸泛函。

4)通过不断迭代求解所提混合模型的目标泛函来完成高丢失率破损视 频的修复工作。

附图说明

图1是本发明的全局流程图；

图2是本发明的求解目标泛函具体流程图；

图3(a)是本发明实施例中采用的原始suzie视频的第1帧图像；

图3(b)是本发明实施例中数据丢失率为95％的suzie视频第1帧图像；

图3(c)是本发明实施例中数据丢失率为95％的suzie视频第1帧图像 的修复结果图；

图4(a)是本发明实施例中采用的原始hall_qcif视频的第20帧图像；

图4(b)是本发明实施例中数据丢失率为75％的hall_qcif视频第20帧 图像；

图4(c)是本发明实施例中数据丢失率为75％的hall_qcif视频第20帧 图像的修复结果图。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明针对破损视频的α阶全变分约束的低秩张量补全方法，如图1所 示，具体按照以下步骤实施：

步骤1、利用MATLAB将高丢失率的破损视频文件读入，将其处理为 三维张量

步骤2、定义关于破损视频的张量补全的目标泛函，目标泛函包括α阶 全变分正则约束项和低秩约束项；具体为：

定义关于破损视频的张量补全的目标泛函：

式(1)中，第一部分为α阶全变分正则化约束项，即TV

α阶全变分正则化约束项包括施加到张量

其中，

取α阶全变分正则化约束项中第n模展开矩阵，展开矩阵的图像域为Ξ

对亮度函数为

通过图像域Ξ

引入两个辅助函数e

根据式(5)和式(6)可得式(7)和式(8)，

e

其中

根据式(6)可得边界调整后的亮度函数

步骤3、具体过程为：

步骤3.1、为零Dirichlit边界条件的二维矩阵引入三个辅助矩阵

其中，N表示三维张量的展开总模数，λ表示调整参数，Z

步骤3.2、利用增广拉格朗日公式对目标泛函进行解耦，同时引入三个 拉格朗日乘子

初始化式(4)中

步骤3.3、定义图像域Ξ

式(9)中，取函数f的Dirichlet边界条件为零，k＝1,2,…X；l＝1,2…Y；

步骤3.4、根据式(9)计算α阶微分离散化的近似矩阵，计算公式为：

其中

通过式(10)对α阶微分进行有限差分离散化处理，同时根据Gerschgorin circle定理求解离散化形式

步骤3.5、分别计算更新

令

通过公式(4)和公式(13)求解更新

根据公式(4)和公式(14)计算更新

根据公式(4)求解

同时，取计算补全三维破损张量次数为k＝1。

步骤3.6、计算更新拉格朗日乘子

(ρ

同理更新

步骤3.7、返回步骤3.4，设定张量补全次数阈值为K，判断k是否等于 K或者连续两次补全张量

实施例

下面将利用YUV视频数据来说明本发明针对破损视频的α阶全变分约 束的低秩张量补全方法来进一步说明其效果：

本次实验数据来源于YUV视频序列，视频数据分别为suzie和hall_qcif。 将实验视频数据读入MATLAB中，采用了一些常用的4:2:0YUV格式的视 频测试序列，并选择前100帧作为实验数据，因此数据大小为176×144×100， 它们可以被视为一个三维张量。通过在实验视频数据的所有通道内随机屏蔽 掉一部分原始张量数据，利用剩余的像素点构成破损的三维张量

对数据丢失率为75％的hall_qcif破损视频进行修复，原始视频的第20 帧图像如图4(a)所示，数据丢失后的帧图像如图4(b)所示，经过上述 方法进行视频补全后，修复后的帧图像如图4(c)所示。根据图4(c)的 图像与修复前或者原始视频帧图像进行对比可知，修复前hall_qcif帧20图 像的峰值信噪比为4.6077dB，而修复后该帧图像的峰值信噪比提高为 31.4035dB，修复后的图像边缘结构和纹理细节都比较清晰，视觉效果得到 了很大的改善。综上所述，本方法对破损视频有很好的修复效果，细节和结 构的重建效果也非常优越。

通过上述方式，本发明针对破损视频的α阶全变分约束的低秩张量补全 方法，1、提出了一种具有非局部扩散性的分数阶空间正则方案，把在分数 阶有界变分空间中的分数阶TV正则化项与低秩约束相结合进行张量修复， 既能恢复全局信息，也因分数阶空间正则而能够恢复丢失的精细细节。因此， 本发明方法能够修复丢失比率较高的破损视频，甚至在95％的丢失比率下仍 能取得较好的修复性能。2、张量在不同的模下展开成为二维矩阵后，在计 算其分数阶导数时，不准确的边界条件将不可避免地导致边界附近的振荡假象。因此，设计适当的方案，在修复损毁的张量数据前，将张量在各模下展 开矩阵的非零Dirichlet边界条件变为零，以此克服边界处的振荡现象。3、 采用了增强拉格朗日公式来优化求解所提出的混合目标泛函问题，对于分数 阶空间正则化的优化子问题，推导出非局部分数阶导数的近似矩阵并应用于 前两个模的展开矩阵中，从而能够高效求解所提出的凸泛函。最后，通过不 断迭代求解所提混合模型的目标泛函来完成高丢失率破损视频的修复工作。