基于数据驱动张量子空间的压缩视频采集与重构系统

摘要

本发明提供了一种基于数据驱动张量子空间的压缩视频采集与重构系统，包括：张量稀疏基构造模块、视频信号传感模块和重构处理模块，其中：张量稀疏基构造模块利用张量子空间学习方法生成张量子空间对应的稀疏基矩阵；视频信号传感模块对视频信号以张量块的形式进行投影，得到观测值；重构处理模块接收对稀疏基矩阵和观测值，对张量信号的各个维度分别解码重构。本发明提供压缩采样的同时还契合了视频采样过程的分布式渐进式的结构，对张量稀疏基矩阵的特殊构造也提升了重构的精确度和效率。本发明大大提高了视频信号的采样效率，在不同的采样压缩率下相比其他方法取得了重构增益，同时也具备良好的可扩展性。

说明书

技术领域

本发明涉及一种视频信号获取方案，具体地，涉及一种基于数据驱动张量子空间 的压缩视频采集与重构系统。

背景技术

视频信号的采集和编码(压缩)对于视频的存储和传输等应用至关重要。传统的信 号处理系统采用先采样再压缩的模式：为了完整地保存信号所有信息，应以不小于信号 带宽的两倍采样频率对视频进行采样；采集到的原始信号通过一系列编码技术后达到去 除冗余的目的，相关技术的瓶颈在于花费了大量的传感器以及计算资源就为了获得处理 后的少量信号压缩数据，对采样端的资源需求过高。为了进一步提高视频信号的采集效 率，在采样的同时加入了一些信号处理技术，其中一种方案则是将采样与压缩同时进行， 然后通过后端的一些算法对压缩后的数据进行重构。

经过对现有技术的文献检索发现，Q.Li,D.Schonfeld和S.Friedland在2013年的 《IEEE International Conference on Multimedia and Expo》(IEEE ICME)会议上发表的 “Generalized tensor compressive sensing”一文中提出了基于离散余弦变换(DCT)张量基的 重构将压缩传感应用到视频采样上来，该方法在采样编码端直接对视频张量采用传感矩 阵对各个维度分别进行压缩采样，在解码端使用DCT基作为稀疏基对信号进行重构， 这种方法可以有效地提高视频采样的效率，并且保证重构获得的视频的主观质量，但这 种方法所使用的DCT基是一种固定基，对于具有复杂纹理或者剧烈运动的视频场景， 该方法所使用的DCT基不够灵活以至不能准确有效的对视频帧张量块进行稀疏表示， 不能提供更加有效的稀疏性和适应性，进而导致效果降低。这些不足促使我们在其基础 上去寻找一种更加有效灵活地稀疏基去进行重构，充分利用视频信号块的特殊结构来提 高重构结果的主客观质量。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于数据驱动张量子空间的压 缩视频采集与重构系统，可以有效提高视频信号采集效率以及重构系统的主客观质量， 并可作为一种通用的视频采集工具。

为实现以上目的，本发明提供一种基于数据驱动张量子空间的压缩视频采集与重 构系统，包括：张量稀疏基构造模块、视频信号传感模块和重构处理模块，其中：

所述张量稀疏基构造模块，对视频信号关键帧张量块利用张量子空间学习方法生成 张量子空间对应的稀疏基矩阵，并将该稀疏基矩阵输出到重构处理模块的输入端；

所述视频信号传感模块，将视频信号的非关键帧块以张量块的形式对各个维度分别 进行投影，得到观测值，并将该观测值输出到重构处理模块的输入端；

所述重构处理模块，接收所述张量稀疏基构造模块输出的稀疏基矩阵与所述视频信 号传感模块输出的观测值，对信号进行重构。

优选地，所述的张量稀疏基构造模块，实现由在重构的关键帧上得到的张量块作 为训练集用于生成张量子空间的稀疏基矩阵。

优选地，所述的张量稀疏基构造模块，实现由张量子空间学习方法生成的一种标 准正交基，其能够适应性的表示出多维信号的各个维度的内在结构，相对于固定基能更 有效地稀疏表示视频信号。

优选地，所述的视频信号传感模块是一种一阶的数字微镜设备(DMD)，其模拟对 视频信号的压缩传感，对视频非关键帧的张量块的各个维度分别进行采样。

优选地，所述的重构处理模块是通过一种凸松弛算法模型实现的，找到的全局最 优解乘以稀疏基即为要得到的重构信号。该模块对视频非关键帧的张量块的各个维度分 别进行重构。

本发明中采用的基于数据驱动张量子空间的压缩传感技术为视频信号的采集提供 了通用的解决方案。本发明所使用的张量稀疏基矩阵是通过在重构的关键帧中采用张量 子空间学习的方法得到的，充分利用了视频帧张量块的独特结构，这样能够使得帧块张 量信号具有适应性稀疏表示，进而提高采样效率(降低精确重构所需的必要采样数)， 还能分别在各个维度进行重建，有助于本发明数据驱动张量子空间压缩传感的性能及实 用性的提升。

与现有技术相比，本发明具有如下的有益效果：

本发明大大提高了重构性能，与传统的使用固定基进行重构的视频压缩传感系统相 比，由于本发明的重构采用的是适应性的全局最优的稀疏基因此在重构效果上均能够得 到增强；对于其它多维信号，本发明通过适当的修改也可使用，具有较强的适应性；在 采样和重建时由于没有对信号进行向量化而是对各个张量的维度分别进行处理，使得该 方法相比传统的压缩视频感知方法具有更高的实用性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特 征、目的和优点将会变得更明显：

图1为本发明一实施例的系统结构框图；

图2为本发明一实施例的张量稀疏基构造模块的工作原理图；

图3为本发明一实施例的视频信号传感模块的示意图；

图4为本发明一实施例的重构处理模块的示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人 员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技 术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于 本发明的保护范围。

如图1所示，本实施例提供一种基于数据驱动张量子空间的压缩视频采集与重构 系统，包括：张量稀疏基构造模块、视频信号传感模块、重构处理模块，其中：张量稀 疏基构造模块利用张量子空间学习方法生成张量子空间各个维度对应的稀疏基矩阵，视 频信号传感模块对视频信号以张量块的形式进行压缩投影，所得的观测值最后在重构处 理模块中被解码重构；在编码端中，视频信号传感模块对视频张量信号进行采样产生测 量值；在解码端中，张量稀疏基构造模块产生张量稀疏基矩阵；所述张量稀疏基构造模 块输出的张量稀疏基矩阵与所述视频信号传感模块输出的测量值一起进入重构处理模 块，在重构处理模块中信号被重构。

本实施例中，所述的张量稀疏基构造模块如图2所示，从连续三幅重建的关键帧中 提取出张量训练集，由张量子空间学习方法生成的一种标准正交基，张量子空间学习方 法(如多线性主成分分析(MPCA))作用于张量训练集得到各个维度的基Ψ⁽¹⁾,Ψ⁽²⁾,Ψ⁽³⁾。 该稀疏基矩阵能够适应性的表示出视频帧张量块信号的内在结构，相对于固定基能更有 效地稀疏表示视频信号。

本实施例中，所述的视频信号传感模块如图3所示，是一种一阶的数字微镜投影设 备(DMD)，它模拟了对视频信号的压缩传感Y＝X×₁Φ₁×₂Φ₂×₃Φ₃，Φ_i为随机采 样矩阵,×_i为模式i采样。如图3中举例所示，X为尺寸为m₁×m₂×m₃的张量，各维 的采样率设为r_i，其中n_i＝r_i×m_i，按照模式1展开成尺寸为m₁×m₂m₃的二维矩阵 X₍₁₎，模式1采样矩阵Φ₁的尺寸为n₁×m₁，进行模式1压缩采样后X₍₁₎变为尺寸为 n₁×m₂m₃的矩阵，然后再折叠回来成为n₁×m₂×m₃的张量，至此对张量X的模式1压 缩采样完成。按照同样的方式，继续进行模式2和模式3压缩采样，最后得到采样后尺 寸为n₁×n₂×n₃的张量测量值Y。本实施例首先对关键帧进行全采样，然后对非关键 帧张量块信号进行压缩采样，各维采样率r_i的选取在0.4到0.9之间，基于视频帧张量 块的采样提高了视频采样的速率。

本实施例中，所述的重构处理模块如图4所示，是通过一种凸松弛算法模型实现的， 具体为：对于关键帧，找到l₁范数最小的c使得y＝ΦΨ_c，得到的是一个全局最优解， 用二维DCT基Ψ乘以这个全局最优解就可以得到所需重构的关键帧块信号；对于非关 键帧，在各个维度(模式)上找到l₁范数最小的c^*使得Y_i＝Φ_iΨ⁽ⁱ⁾c^*，得到的是一个 全局最优解，用Ψ⁽ⁱ⁾乘以这个全局最优解就可以得到所需重构的非关键帧张量块的第i 维信号，其中：Φ_i为模式i随机采样矩阵，Ψ⁽ⁱ⁾为张量第i维的稀疏基矩阵，如图4中 举例所示，Y为尺寸为n₁×n₂×n₃的张量测量值，按照模式3展开成尺寸为n₁n₂×n₃的矩阵Y₍₃₎，模式3采样矩阵Φ₃的尺寸为n₃×m₃，模式3稀疏基矩阵Ψ⁽³⁾的尺寸为 m₃×m₃，进行模式3重构后Y₍₃₎变为尺寸为n₁n₂×m₃的矩阵，然后再折叠回来成为 n₁×n₂×m₃的张量，至此对张量Y的模式3重构完成。按照同样的方式，继续进行模 式2以及模式1重构，最后得到重构后尺寸为m₁×m₂×m₃的张量X。

实施效果

本实施例中关键参数的设置为：实验用视频序列来源于Foreman_cif.yuv(352x288 的4:2:0格式的YUV文件)，总共取100帧。每二十帧为一个帧组，选取第一帧至第四 帧为关键帧，后16帧为非关键帧，块的尺寸选取为32×32×16像素。由于信号的灰度 图集中了绝大部分能量，测试主要是在灰度图上完成的。本实施例比较了采用本发明所 述的基于数据驱动张量子空间的压缩视频采集与重构的方法与Q.Li等人在“Generalized  tensor compressive sensing”论文中的方法。本发明所用稀疏基Ψ⁽¹⁾,Ψ⁽²⁾选取了MPCA 基，Ψ⁽³⁾选取了DCT基。

与之前的方法相比，在各维压缩率为0.4时，本实施例系统获得0.50dB的重构增益； 在压缩率为0.5时，本实施例系统获得0.35dB的重构增益；在压缩率为0.6时，本实施 例系统获得0.52dB的重构增益；在压缩率为0.7时，本实施例系统获得0.67dB的重构 增益；在压缩率为0.8时，本实施例系统获得0.23dB的重构增益；在压缩率为0.9时， 本实施例系统获得2.1dB的重构增益；

实验表明，本实施例系统重建出来的视频序列在重构质量上明显优于所比较方法得 到的视频序列。

本发明提供压缩采样的同时还契合了视频采样过程的分布式渐进式的结构，对张量 稀疏基矩阵的特殊构造也提升了重构的精确度和效率，本发明大大提高了视频信号的采 样效率，在不同的采样压缩率下相比其他方法取得了重构增益，同时也具备良好的可扩 展性。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上 述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改， 这并不影响本发明的实质内容。