基于角点检测和非局部相似性的视频压缩感知重构算法

摘要

本发明公开一种基于角点检测和非局部相似性的视频压缩感知重构算法，具体为：对分布式视频压缩感知多假设重构算法的非关键帧进行块模式判别，针对小变化块采用帧间多假设重构算法进行重构；针对大变化块首先利用非局部相似性在已重构关键帧中寻找非局部相似性块，然后对相似性块进行角点检测，筛选出高相似度块，生成辅助信息，采用基于残差的稀疏信号重构算法重构出大变化块；将重构出来的大、小变化块进行块组合，并最终生成边信息，再利用基于残差的稀疏信号重构算法辅助非关键帧重构。其具有较优的重构质量、率失真性能和较短的重构时间。

说明书

技术领域

本发明属于通信与信号处理领域，具体说是一种基于角点检测和 非局部相似性的视频压缩感知重构算法。

背景技术

分布式压缩视频感知(Distributed Compressed Video Sensing, DCVS)将压缩感知理论引入DVC系统中，压缩感知理论可以允许 以少于Nyquist采样率来采样，极大的减少了编码端的复杂度。因此 分布式压缩视频感知理论广泛应用于如无线传感网络、分布式视频系 统如视频会议系统等实际场合中。

许多学者对DCVS算法进行了改进，通过在前后已重构关键帧 中寻找邻域块，进一步优化了稀疏基，相对小波稀疏基具有较高的重 构精度，但该稀疏基需要根据视频帧特性自适应变化，复杂度较高。 联合稀疏算法SI-BP(Side-information-based BeliefPropagation)，以 充分利用已重构关键帧，而得到具有更好重构效果的边信息，但该算 法重构需要较多的迭代次数，实际应用中很不灵活。基于双边信息的 分布式视频压缩感知模型，较好地实现了将编码端的复杂度向解码端 转移，但该算法需要进行大量的判别，增加了计算量。非关键帧自适 应分配测量率的模型，改善了不同帧之间的相关性差异所带来的重构 质量不高的问题，但该算法需要根据视频帧序列进行复杂的贡献系数 计算，具有较高的计算量。

以上算法虽充分利用前后已重构视频帧的时空信息，但计算量较 大，且没有充分利用相邻帧的非局部相似性。将非局部正则化项融入 分布式视频联合重构模型，有效的去除了边缘模糊和块效应的现象。 基于非局部相似性的分布式视频压缩感知多假设重构算法，提高了对 大变化块的重构精度。以上两个算法均将非局部相似性引入分布式视 频压缩感知算法中，但当寻找到的非局部相似性块与当前块相似性较 差时，对重构质量提升不大，性能有待提高。

发明内容

针对现有技术存在的上述缺陷，本申请提供了一种基于角点检测 和非局部相似性的视频压缩感知重构算法，该算法具有较优的重构质 量、率失真性能和较短的重构时间。

为实现上述目的，本本申请的技术方案是：基于角点检测和非局 部相似性的视频压缩感知重构算法，具体为：对分布式视频压缩感知 多假设重构算法的非关键帧进行块模式判别，针对小变化块采用帧间 多假设重构算法进行重构；针对大变化块首先利用非局部相似性在已 重构关键帧中寻找非局部相似性块，然后对相似性块进行角点检测， 筛选出高相似度块，生成辅助信息，采用基于残差的稀疏信号重构算 法重构出大变化块；将重构出来的大、小变化块进行块组合，并最终 生成边信息，再利用基于残差的稀疏信号重构算法辅助非关键帧重 构。

进一步的，帧间多假设重构算法，具体为：在前后已重构关键帧 中，以当前块为中心，搜索窗大小为w，进行搜索，将搜索窗内的块 列向量化，构成字典D_t,i，则有：

x_t,i表示在t时刻第i个原始图像块，w_t,i为每块的权重向量w的求解>t,i的观测值y_t,i，故将式(1)通过观测矩阵Φ>

式(3)的具体求解方式，采用l₂范数的Tikhonov正则化法，求得：

最后，

其中，λ是Tikhonov正则化因子，得到w_t,i后，由式(2)得到CS>

进一步的，非局部相似性块的生成过程具体为：对于任一图像子 块x_tn(i)，在前后两帧中寻找最佳匹配块，从中挑选出的所有图像子块>与子块x_tn(i)的差值满足：其中为对应寻找 到的m个非局部相似性块与子块x_tn(i)的差值的2范数，Ta为相似性判>

则生成的非局部相似性块由上式(6)(7)得出，其中c为设 定常数，为寻找到的每一最佳匹配块的权值。

进一步的，所述角点检测包括：基于灰度的角点检测、基于二值 图像的角点检测和基于轮廓的曲线角点检测。

进一步的，利用非局部相似性假设寻找到N个相似块，分别对 当前块和N个相似块进行角点检测，若相似块含有与当前块大部分 相似的角点，则该相似块被判为高相似度块。

进一步的，基于残差的稀疏信号重构算法，具体是：

①计算当前块x_i与辅助信息x_ref之差，如式(8)，并分别对它们>

r_i＝x_i-x_ref(8)

y_i-y_ref＝Φ(x_i-x_ref)(9)

其中，yi代表当前块xi的观测值，yref代表辅助信息xref的观>

②利用BCS-SPL算法对r_i进行重构；

③当前块的重构值为

其中，为重构后的残差。

本发明由于采用以上技术方案，具有以下优点：本文所提分布式 视频压缩感知算法DCVS-MH-CD算法，相比原算法M-DCVS-NS进 一步提高了对不同标准视频序列Mobile、Foremam和Bus等的重构 PSNR，尤其当寻找到的非局部相似性块与当前块相似性较高时，本申请性能提高越大，并且在较低采样率下仍展现出较优的重构性能。 实验表明，本文所提角点检测和非局部相似性算法相比单纯非局部相 似性算法，可以更精确生成的辅助信息，相比多假设重构算法，进一 步提高了重构PSNR和重构效率；并且相对分布式视频压缩感知中经 典算法MH-BCS-SPL等其它同类算法，均展现出较优的重构质量、 率失真性能和较短的重构时间。

附图说明

以下结合附图对本发明进行详细说明。

图1为非局部相似性示意图。

图2为基于角点检测的分布式视频压缩感知多假设重构算法框 图。

图3为DOG角点检测结果图。

图4为foreman视频序列第12原始视频帧。

图5为具有较多相似角点的块的示意图。

图6为具有较多不相似角点的块的示意图。

图7为当前块无角点而相似块有角点的情况的示意图。

图8为当前块有角点而相似块无角点的情况的示意图。

图9为第12帧第10块两种方法距离对比图。

图10为第12帧第37块两种方法距离对比图。

图11为bus序列第12帧重构效果对比图。

图12为hall视频序列第15帧重构效果对比图。

图13为三种视频序列平均PSNR对比图，综合改进后算法 DCVS-MH-CD与原算法M-DCVS-NS以及传统的分布式压缩感知多 假设预测重构算法(MH-BCS-SPL)三者性能的优劣，对以上三种视 频序列选取非关键帧测量率为0.1-0.5，每种测量率下选取视频前30 帧。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图 和具体实施例对本发明进行详细描述。

实施例1

本实施例提供一种基于角点检测和非局部相似性的视频压缩感 知重构算法，具体为：对分布式视频压缩感知多假设重构算法的非关 键帧进行块模式判别，针对小变化块采用帧间多假设重构算法进行重 构；针对大变化块首先利用非局部相似性在已重构关键帧中寻找非局 部相似性块，然后对相似性块进行角点检测，筛选出高相似度块，生 成辅助信息，采用基于残差的稀疏信号重构算法重构出大变化块；将 重构出来的大、小变化块进行块组合，并最终生成边信息，再利用基 于残差的稀疏信号重构算法辅助非关键帧重构。

所述帧间多假设重构算法，具体为：在前后已重构关键帧中，以 当前块为中心，搜索窗大小为w，进行搜索，将搜索窗内的块列向量 化，构成字典D_t,i，则有：

x_t,i表示在t时刻第i个原始图像块，w_t,i为每块的权重向量w的求解>t,i的观测值y_t,i，故将式(1)通过观测矩阵Φ>

式(3)的具体求解方式，采用l₂范数的Tikhonov正则化法，求得：

最后，

其中，λ是Tikhonov正则化因子，得到w_t,i后，由式(2)得到CS>

非局部相似性：图像中像素之间或多或少的存在一定的联系，称 之为图像的相似性。以像素点为中心的窗口邻域，除了中心像素可能 和其周围像素相似以外，处于不同位置处的图像子块会表现出很强的 结构特征相似性，图像和视频这种特殊性质被称为非局部相似性。在 图像的边缘和纹理处往往存在大量的自相似样式，视频的非局部相似 性表述了图像子块不仅在空域内，在时域内也将保持相似性。非局部 相似性示意图如图1所示。由图中可以看出，相邻帧中，主持人的肩 部不同位置具有很强的非局部相似性，在肩部的其它部位很容易找到 相似块。同时面部两颊和额头中心也表现出很强的非局部相似性。相邻两帧的相邻位置也具有很强的局部相似性。

非局部相似性块的生成过程具体为：对于任一图像子块x_tn(i)，在>与子块 x_tn(i)的差值满足：其中为对应寻找到的m个非 局部相似性块与子块x_tn(i)的差值的2范数，Ta为相似性判别阈值；

则生成的非局部相似性块由上式(6)(7)得出，其中c为设 定常数，为寻找到的每一最佳匹配块的权值。

一般的角点检测是针对能检测出来的兴趣点的检测。这意味着兴 趣点可以是角点，也可以是某些属性上最大强度的点、最小的孤立点、 局部曲率上最大的点或者与周围像素亮度具有足够对比差异的点。所 述角点检测包括：基于灰度的角点检测、基于二值图像的角点检测和 基于轮廓的曲线角点检测。

对于大变化块，利用非局部相似性假设寻找到N个相似块，分 别对当前块和N个相似块进行角点检测，若相似块含有与当前块大 部分相似的角点，则该相似块被判为高相似度块。而低相似度块则被 删去，高相似度块被保留。利用角点检测的方法选择高相似度块，在 对高相似度块利用式(6)、(7)生成最终的辅助信息块，利用基于 残差的稀疏信号重构算法重构。

将测量值与生成的辅助信息(或边信息)相减得到残差值，对该 残差值进行基于BCS-SPL的稀疏重构。然后，将重构出来的残差值 再与辅助信息相加，即得到当前块的重构值，其具体步骤如下：

①计算当前块x_i与辅助信息x_ref之差，如式(8)，并分别对它们>

r_i＝x_i-x_ref(8)

y_i-y_ref＝Φ(x_i-x_ref)(9)

其中，y_i代表当前块x_i的观测值，y_ref代表辅助信息x_ref的观>

②利用BCS-SPL算法对r_i进行重构；

③当前块的重构值为

其中，为重构后的残差。

实施例2

本实施例选择证明较复杂，但算法较简单的，属于基于灰度的角 点检测的DOG角点检测算法，具体到图像处理来讲，就是将两个图像 块在不同参数下的高斯滤波相减，从而得到DOG图，如式：

而在得到DOG图中，如果某一像素是它邻接像素的最大值或最小 值，则X被标记为角点。

对于待检测块，生成与该块同等大小的零矩阵A。若该块某一像 素被标记为角点，则将该像素的像素值赋予零向量A的相应位置处， 将第i当前块与N个相似块分别对应的A列向量化后，分别记为B_i和>j，其中j∈[1,N]。设置高相似度判别阈值Tc。若则第 j相似块被判别为第i当前块的高相似度块，假设其有M个，并将该 M个的赋给e_k。同时，对M个高相似度块分配权值，并生成最终的>

之所以要用角点检测对寻找到的非局部相似块进行一遍精筛，是 因为角点的定义为亮度或与周围像素差别较大的点，而如果两对应相 似块各自角点所对应的像素值有较大的不同，那么它们的相似性就很 低，因此可以删去。

实施例3

仿真对比：验所使用的计算机硬件配置为Intel(R)Core(TM) i5-3450CPU@3.10GHz，12.00GB RAM，dell。为综合验证改进后算 法的性能，选取DCVS-MH-CD、M-DCVS-NS和MH-BCS-SPL三种 算法进行实验。本文将偶数帧设为非关键帧(B帧)，奇数帧设为关 键帧(I帧)，本文所提算法在I-B-I模式下进行仿真。为验证算法对 不同纹理复杂度、不同运动速度视频的性能，选取图像像素为 352*288，格式为CIF的foreman、hall和bus标准视频测试序列，其 中foreman含有较多的细节和纹理，运动变化较剧烈，bus序列相对 foreman运动较缓慢，但hall序列相对其它两种序列运动变化更加缓 慢。其中图像组GOP设为3，分块大小为16*16，搜索窗设为9，稀 疏重构最大迭代次数为5，小变化块测量率为0.1，关键帧测量率为 0.5，高相似度判别阈值为1100(多次实验得到的经验值)。

1)角点检测距离与非局部相似性距离对比

选取foreman序列第12帧第10块和37块，对比寻找到的非局部 相似性块和角点检测+非局部相似性块分别与当前块的欧氏距离，如 图9、10所示。

从图9、10中可以看出，对于寻找到的N个相似块，两种方法所 得欧氏距离趋势具有一定的相似性，但利用角点检测加非局部相似性 更能筛选出具有相似角点的信息，筛选出高相似度块，剔除低相似度 块。因此本文利用角点检测对非局部相似性块进一步筛选，可以更精 确地生成想要的辅助信息。

2)重构质量分析

为验证改进后算法DCVS-MH-CD的重构效果，现选取bus序列第 12帧、第30帧和hall序列第15帧，非关键帧采样率为0.5时， M-DCVS-NS和DCVS-MH-CD算法的重构效果和重构指标如图11、12所 示。

从图11、12可以看出，对于bus序列，改进后算法DCVS-MH-CD 相比原算法M-DCVS-NS具有较好直观重构效果，具有较优的PSNR指 标，无论从画面的平滑程度，还是公共汽车上的字迹、边缘，以及背 景墙壁上的雕塑的纹理结构，DCVS-MH-CD均展现出更好的效果。这是由于利用角点检测筛选出的高相似度块，与当前块具有更好地相似 性信息，可以更好辅助当前块重构并提升重构质量。同时，对于同一 序列的不同帧之间进行仿真，bus序列第30帧中，DCVS-MH-CD展现 出更好重构效果，图11的细节、树木的纹理等均展现得更清晰，验证了DCVS-MH-CD对不同时间序列均具有较优的重构效果。而对于 hall序列第15帧，DCVS-MH-CD具有较高的PSNR指标，达到36.26， 同时墙壁上的边缘以及墙角的箱子和手提箱的边缘，均具有清晰的重 构效果，同时画面的整体平滑程度也相比M-DCVS-NS较高。因此，通 过上述两序列的重构效果，验证了加入角点检测的DCVS-MH-CD相比 M-DCVS-NS具有优异性能，在重构性能上有所改进。

从图13中可以看出，利用非局部相似性加角点检测的DCVS-MH-CD 对于三种视频测试序列，改进算法在PSNR上均有提高，平均提高 0.2-0.7dB，这说明了非局部相似性后加入的角点检测算法可以进一 步筛选出那些和当前块具有较高相似角点的块，提高了相似块的质 量，验证了DCVS-MH-CD算法相比M-DCVS-NS提高了重构精度。同时， 对于三种视频序列，随着采样率的增加，改进算法DCVS-MH-CD较原 M-DCVS-NS提高越大。这是由于当采样率较低时，改进算法的性能不 能更好的展现出来。我们还可以发现，同时对于三种视频序列， DCVS-MH-CD与原算法M-DCVS-NS相比传统MH-BCS-SPL在PSNR上均 有较大提升，提升约1-2dB，并且可以发现MH-BCS-SPL算法对于含 有较多纹理和细节的bus序列在压缩比较高时，其重构效果并不理 想，而其它两种算法仍能较好的重构。这是因为其它两种算法充分利 用了前后两个已重构关键帧的时空相关性信息，因此提高了重构质 量，而更好地利用该信息成为提高重构视频质量的一条途径。

3)重构时间分析

表1为三种算法所用重构时间对比

表1

从表1中可以看出，重构时间随着压缩比的增加而增长，而各种 压缩比下，由于foreman含有较多细节和纹理，mobile序列重构时间 较foreman较短，而对于某一序列，三种算法重构时间相差较大。对 于五种采样率、两种视频序列下，MH-BCS-SPL算法重构效果较其它 两种算法差，它的重构时间较其它两算法也长，这是由于其假设值的 生成过程消耗了一定的时间。同时对于两种视频序列，改进算法 DCVS-MH-CD的重构时间也较原M-DCVS-NS有所增加，这是由于 改进算法加入了角点检测算法，而这增加了算法的计算量，以牺牲了 一定的重构时间来换取了重构质量的提升，但相比传统的 MH-BCS-SPL算法，仍还是具有较短的重构时间，验证算法的稳定和 优良的性能。

以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造 的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明 创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加 以等同替换或改变，都应涵盖在本发明创造的保护范围之内。