基于快速张量鲁棒模型的视频前景提取方法

摘要

本发明公开了一种基于快速张量鲁棒模型的视频前景提取方法。本发明对给定的视频进行如下操作：1）将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型。2）通过傅里叶变换‑随机优化迭代‑傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量。3）依据上述步骤对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，直至视频结束。本发明从张量分解、鲁棒性、实时性多角度对视频进行处理，能够逐帧快速提取视频前景，同时重构视频背景，提高了视频内容分析的可靠度和速度。

说明书

技术领域

本发明属于视频分析技术领域，特别涉及基于快速张量鲁棒模型的视频前景提取方法，适用于智能监控视频处理。

背景技术

随着智慧城市的建设需求日益增长，智能监控视频的处理显得尤为重要，视频前景提取作为监控视频内容分析的关键技术引起了学术界和工业界的重点关注。由于监控场景的背景光线强度在不同时间段变化、前景运动对象受到外界干扰、视频内容冗长等因素，使得监控视频具有数据规模大且各类噪声干扰多等特点，给视频前景的提取工作带来很大挑战。

视频的前景提取一般指从视频背景中对前景如运动目标进行捕捉和分离，涉及计算机视觉领域的目标跟踪和图像分割，同时涉及机器学习和模式识别领域。常见的方法有帧间差分法、背景去除法、期望最大化法、显著性检测、超像素法、光流法和基于统计模型的方法，其中帧间差分法直接根据相邻视频帧在背景变化和前景较为复杂时的适应性较差；而背景去除法是较为广泛应用的技术，即通过背景建模。这些方法大多存在一些缺点，如对于冗长监控视频处理的速度无法满足实时性要求、存储视频的内存需求越来越大、抗噪声干扰能力不佳、视频帧的空间结构信息未充分利用等。因此，迫切需要设计一种快速的鲁棒模型，使其能够实时提取视频的前景，还能节省计算开销。

发明内容

为了快速提取给定视频的前景，从张量分解、鲁棒性、实时性多个角度对视频帧进行有效处理，本发明提出了基于快速张量鲁棒模型的视频前景提取方法，该方法包括以下步骤：

1、获取给定的一段视频后，进行如下操作：

1)将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型。

2)通过傅里叶变换-随机优化迭代-傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量。

3)依据上述步骤对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，直至视频结束。

进一步，所述的步骤1)中的将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型，具体是：

1.1)将视频看做三维张量(Tensor)第一维n₁和第三维n₃分别表示视频帧的行数和列数，第二维n₂表示视频帧的数目，视频帧为张量的侧向切片(Lateral>

1.2)视频张量分解为低秩张量和稀疏张量即低秩张量由字典张量和系数张量重构，即其中符号“*”为张量乘积，维度r远小于n₁和n₃的最小值。

1.3)依据上述定义，建立如下视频张量鲁棒模型：

其中符号‖·‖_*表示核范数，‖·‖₁表示L1范数，λ₁＞0为常数。

进一步，所述的步骤2)中的通过傅里叶变换-随机优化迭代-傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量，具体是：

2.1)视频的第i帧为其对应的低秩张量为稀疏张量为字典张量由所有视频帧共享，系数张量为则傅里叶变换-随机优化迭代-傅里叶逆变换的详细步骤如下：

2.1.1)对视频帧沿第三维进行傅里叶变换得到并将其表示为对角块矩阵其对角元素上标对应视频帧的第1列、第2列，直到第n₃列，即第k个块为

2.1.2)依照步骤2.1.1)类似地对视频帧的低秩张量、稀疏张量、字典张量、系数张量进行傅里叶变换和对角化diag(·)处理，得到

2.1.3)建立步骤1.3)中张量鲁棒模型的等价快速模型，即

其中，‖·‖_F表示Frobenius范数，‖·‖₂表示L2范数，λ₂＞0为常数。

2.2)对视频帧对应的字典张量随机初始化为0到1之间的实数，对低秩张量、稀疏张量和系数张量均初始化为全0变量，然后运用随机优化准则和迭代算法，求解2.1.3)中的快速张量鲁棒模型，分别得到对应傅里叶空间的字典张量系数张量稀疏张量低秩张量

2.3)对上述求解得到的变量进行傅里叶逆变换，得到视频帧在实数域空间的字典张量系数张量稀疏张量ε_i、低秩张量

所述的步骤3)中的对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，具体是：

3.1)依照步骤1)和步骤2)对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，即低秩张量视频帧前景由稀疏张量ε_i表示。

3.2)对视频中的所有帧依次重复步骤3.1),即可提取整个视频的前景。

本发明的有益效果：本发明能够对相对固定背景的视频从张量分解、鲁棒性和实时性等多个角度对视频帧的背景和前景进行分离，可以逐帧实时地提取视频前景，提高了监控视频智能分析的可靠性和速度，为建设智慧城市的安防监控智能系统提供技术支持。

附图说明

图1是本发明的方法流程图。

具体实施方式

以下结合附图对本发明作进一步说明。

本发明提出基于快速张量鲁棒模型的视频前景提取方法，重点利用视频的在不同维度的空间关联信息，同时考虑视频处理的鲁棒性和实时性。主要思想是将视频看做三维张量，建立快速张量鲁棒模型，利用傅里叶变换-随机迭代优化-傅里叶逆变换步骤逐帧处理，得到用于视频背景建模的低秩张量，以及提取视频前景的稀疏张量。通过这种方式，可以实时地提取视频前景，参照附图1，进一步说明：

1、获取给定的一段视频后，进行以下操作：

1)将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型。

2)通过傅里叶变换-随机优化迭代-傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量。

3)依据上述步骤对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，直至视频结束。

步骤1)中的将视频看做三维张量，视频张量分解为低秩张量和稀疏张量，低秩张量由字典张量和系数张量重构，从而建立张量鲁棒模型，具体是：

1.1)将视频看做三维张量(Tensor)第一维n₁和第三维n₃分别表示视频帧的行数和列数，第二维n₂表示视频帧的数目，视频帧为张量的侧向切片(Lateral>

1.2)视频张量分解为低秩张量和稀疏张量即低秩张量由字典张量和系数张量重构，即其中符号“*”为张量乘积，维度r远小于n₁和n₃的最小值。

1.3)依据上述定义，建立如下视频张量鲁棒模型：

其中符号‖·‖_*表示核范数，‖·‖₁表示L1范数，λ₁＞0为常数。

步骤2)中的通过傅里叶变换-随机优化迭代-傅里叶逆变换步骤，快速求解张量鲁棒模型，获得视频帧对应的字典张量、系数张量、稀疏张量，具体是：

2.1)视频的第i帧为其对应的低秩张量为稀疏张量为字典张量由所有视频帧共享，系数张量为则傅里叶变换-随机优化迭代-傅里叶逆变换的详细步骤描述如下：

2.1.1)对视频帧沿第三维进行傅里叶变换得到并将其表示为对角块矩阵其对角元素上标对应视频帧的第1列、第2列，直到第n₃列，即第k个块为

2.1.2)依照步骤2.1.1)类似地对视频帧的低秩张量、稀疏张量、字典张量、系数张量进行傅里叶变换和对角化diag(·)处理，得到

2.1.3)建立步骤1.3)中张量鲁棒模型的等价快速模型，即

其中，‖·‖_F表示Frobenius范数，‖·‖₂表示L2范数，λ₂＞0为常数。

2.2)对视频帧对应的字典张量随机初始化为0到1之间的实数，对低秩张量、稀疏张量和系数张量均初始化为全0变量，然后运用随机优化准则和迭代算法，求解2.1.3)中的快速张量鲁棒模型，分别得到对应傅里叶空间的字典张量系数张量稀疏张量低秩张量

2.3)对上述求解得到的变量进行傅里叶逆变换，得到视频帧在实数域空间的字典张量系数张量稀疏张量ε_i、低秩张量

步骤3)中的对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，视频帧前景由稀疏张量表示，具体是：

3.1)依照步骤1)和步骤2)对视频帧逐个处理，视频帧背景由字典张量和系数张量的乘积表示，即低秩张量视频帧前景由稀疏张量ε_i表示。

3.2)对视频中的所有帧依次重复步骤3.1),即可提取整个视频的前景。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。