法律状态公告日
法律状态信息
法律状态
2020-02-07
授权
授权
2018-03-09
实质审查的生效 IPC(主分类):H04N19/172 申请日:20170828
实质审查的生效
2018-02-09
公开
公开
技术领域
本发明属于视频图像处理技术领域,具体涉及一种基于感知哈希算法的分布式视频压缩感知自适应图像分组方法。
背景技术
无线传感网(WSN)是由大量具有通信和计算能力的视频传感器节点通过自组织方式组成,能够实时采集、处理现场信息,经过节点间多跳转发传输到汇聚节点。由于传感节点本身存在能量受限和传输能力有限的问题,加之无线传感器网络的信道存在时变特性,无线传感网的应用一直是研究热点之一。随着采用视频传感器构建的无线传感器网络(WVSN)来实现实时视频感知应用的增加,人们对视频传输的质量和速度提出了更高的要求和期待,如何利用无线视频传感网进行实时视频感知并保证视频质量满足用户体验(QOE)是一个亟待解决的问题。
传统的视频压缩编码系统在编码端进行复杂的运动估计(ME)与运动补偿(MC)技术进行压缩编码,与之相比,由于无线视频传感网络(WVSN)由大量视频传感器节点构成,并且传感节点本身存在能量受限和传输能力有限的问题,移动终端不能处理复杂运算的问题。为了满足新视频应用场景下的新需求,分布式视频编码(DVC)应运而生。分布式视频编码(DVC)采用“编码端各帧独立编码,解码端联合重构”的思想,将复杂的运动估计(ME)与运动补偿(MC)技术转移到了解码端,大大减轻了编码端的负担,十分适用于无线视频传感网(WVSN)。由于传统视频编码技术,例如H.26/MPEG-X编码过于复杂,为了进一步减少编码负担,整合分布式编码(DVC)与压缩感知(CS)的分布式视频压缩感知编码(DCVS)应运而生。
在分布式视频压缩感知编码中,视频帧序列被分一个个视频帧组(GOP)。帧组中的第一帧为关键帧,其余的为非关键帧。关键帧的采样率往往高于非关键帧,以获得高质量的重构的关键帧用来生成边信息(非关键帧的预测)辅助非关键帧的重构。边信息的准确与否直接影响非关键帧的重构质量,因此编码系统总是采用固定的小帧组来选择合适的参考帧来获得准确的边信息,比如GOP=2、4、8、16。但是对于运动剧烈、场景切换的视频帧序列,即使是最小的分组大小GOP=2,相邻关键帧差异性太大所导致的边信息不准确会严重影响非关键帧的重构质量。关键帧与非关键帧的重构质量若相差太多,重构的视频帧序列会表现出闪烁的问题,会严重影响用户体验与服务质量。
发明内容
本发明目的在于提出了一种基于感知哈希算法的分布式视频压缩感知自适应图像分组方法,该方法解决了传统分布式视频压缩感知系统中视频闪烁的问题。本发明首先利用感知哈希算法评估图像的时域相关性大小,并根据时域相关性大小将图像分级,然后进行自适应图像分组;在自适应图像分组基础上,采用一种新的帧采样率分配模型进一步提高总体重构质量。本发明在总采样率不变的前提下,有效降低了解码视频中视频闪烁程度,提高服务质量与用户体验,并且提高了整体重视频构质量,为分布式视频压缩感知系统进一步提高提高服务质量和用户体验提供了可能。
本发明解决其技术问题所采取的技术方案为基于感知哈希算法的分布式视频压缩感知自适应分组方法,
设输入视频序列为X={x1,x2,…,xi,…,xN};
参数定义:xi为第i帧视频图像,i为帧的序号,N为视频序列长度;T1和T2为阈值;Rmin和Rmax分别为允许的最小帧采样率和最大帧采样率;λ1和λ2分别为关键帧和非关键帧的信息率;R1和R2分别为关键帧和非关键帧的采样率;
所述方法具体包含以下步骤:
(1)将视频序列的第一帧和最后一帧直接设为关键帧;
(2)用感知哈希算法计算每两个连续帧的相关度RD,计算公式为:
RDi=HD(PHash(xi,xi-1))(1)
xi,xi-1为两个连续的视频图像帧,PHash(.)代表感知哈希算法,HD(.)代表汉明距离;
(3)根据RD将各视频图像帧进行图像分组等级分级,记为GOP_level,即该图像所允许的最大分组的大小,分级准则如下:
其中T1、T2为设定的阈值;
(4)根据视频图像分组等级,对各视频图像帧进行适应性分组;
(5)根据帧采样率模型计算关键帧的采样率R1和非关键帧的采样率R2,构建模型。
进一步,作为优选,上述步骤(3)所述的根据各相邻两帧的RD值,进行图像分组等级分级的分级准则,其中T1=1,T2=2。
进一步,上述步骤(4)所述的根据视频图像分组等级,对各视频图像帧进行适应性分组的具体步骤如下:
步骤1:令k=1,转向步骤2;
步骤2:用公式(1)计算每个RDi,转向步骤3;
步骤3:用公式(2)计算每个GOP_leveli,转向步骤4;
步骤4:令a=3,转向步骤5;
步骤5:计算最小值,计算方式如下:
c=min{GOP_levelk,……,GOP_levelk+a}(3)
步骤6:如果k+a>N,将N-k赋值给a,转向步骤5;否则转向步骤7;
步骤7:如果c≥a,将xk+a帧设为关键帧,并将k+a赋值给k,转向步骤4;否则将a-1赋值给a,转向步骤5,
当k=N时,终止该算法,得到关键帧xk+a。
进一步,上述步骤(5)所述的帧采样率模型如下:
其中,λ1代表关键帧的测量矢量的信息率,λ2代表非关键帧的测量矢量的信息率,设定λ1>λ2,N1为关键帧的数量,N2为非关键帧的数量,n为每一帧的像素数,
s.t.N1R1n+N2R2n=M(6)
Rmin≤R2≤R1≤Rmax(7)
λ2<λ1(8)
其中M为总测量数,N1为关键帧的数量,N2为非关键帧的数量,n为每一帧的像素数,λ1为关键帧的信息率,λ2为非关键帧的信息率。
进一步,作为优选,上述允许的最小帧采样率Rmin=0.1,允许的最大帧采样率Rmax=0.9。
与现有技术相比,本发明具有如下优点:
第一,本发明充分利用视频序列的时域相关性,通过感知哈希算法衡量相邻两帧的相关度大小,并根据时域相关性大小将图像分级,然后进行自适应图像分组。改善了视频闪烁问题,提高了服务质量与用户体验
第二,本发明在自适应图像分组的基础上,设计了帧采样率分配模型,改善了整个视频序列的重构质量。
附图说明
图1为本发明一种基于感知哈希算法的分布式视频压缩感知自适应图像分组方法的流程图。
图2为本发明针对的分布式视频压缩感知系统框架图(阴影部分为本发明改进部分)。
图3为本发明方法与现有技术的Foreman视频序列重构性能对比图(key帧采样率为0.4,non-key帧采样率为0.2)。
图4为本发明方法与现有技术的Tennis视频序列重构性能对比图(key帧采样率为0.4,non-key帧采样率为0.2)。
具体实施方式
下面结合说明书附图对本发明作进一步的详细描述。
如图1所示,本发明涉及一种基于感知哈希算法的分布式视频压缩感知自适应图像分组方法,该方法具体步骤如下:
输入:视频序列为X={x1,x2,……,xn};
参数设定:阈值T1、T2,允许的最小帧采样率Rmin,允许的最大帧采样率Rmax,关键帧的信息率λ1,非关键帧的信息率λ2;
(1)将视频序列的第一帧和最后一帧直接设为关键帧;
(2)用感知哈希算法计算每两个连续帧的相关度RD,计算公式为:
RDi=HD(PHash(xi,xi-1))(1)
xi,xi-1分别代表两个连续的视频图像帧,i代表帧数,PHash(.)代表感知哈希算法,HD(.)代表汉明距离公式;
(3)根据RD将各视频图像帧进行图像分组等级分级GOP_level,即该图像所允许的最大分组的大小,分级准则如下:
其中T1,T2为设定阈值。
(4)根据视频图像分组等级,对各视频图像帧进行适应性分组,步骤如下:
步骤1:令k=1,转向步骤2。
步骤2:用公式(1)计算每个RDi,转向步骤3。
步骤3:用公式(2)计算每个GOP_leveli,转向步骤4。
步骤4:令a=3,转向步骤5。
步骤5:计算最小值,计算方式如下:
c=min{GOP_levelk,……,GOP_levelk+a}(3)
步骤6:如果k+a>N,将N-k赋值给a,转向步骤5;否则转向步骤7。
步骤7:如果c≥a,将xk+a帧设为关键帧,并将k+a赋值给k,转向步骤4;否则将a-1赋值给a,转向步骤5。
当k=N时,终止该算法,得到关键帧xk+a。
(5)根据帧采样率模型计算关键帧的采样率R1和非关键帧的采样率R2,模型如下:
其中,λ1代表关键帧的测量矢量的信息率,λ2代表非关键帧的测量矢量的信息率。设定λ1>λ2,N1为关键帧的数量,N2为非关键帧的数量,n为每一帧的像素数。
s.t.N1R1n+N2R2n=M(6)
Rmin≤R2≤R1≤Rmax(7)
λ2<λ1(8)
其中M为总测量数,N1为关键帧的数量,N2为非关键帧的数量,为n每一帧的像素数,λ1为关键帧的信息率,λ2为非关键帧的信息率。
下面结合附图对本发明方法的效果做进一步说明:
以foreman视频序列和tennis视频序列作为测试序列,其中foreman视频序列的格式为cif格式(352×288),tennis视频序列的格式为cif格式(352×240)。实验组稀疏变换采用小波变换,测量矩阵采用局部哈达玛矩阵,重构采用GPSR算法,边信息采用双边运动补偿算法。对比组采用GOP=2,除此之外,进行与实验组相同的操作。此外,为了评估解码视频闪烁的问题,额外定义了一些评估参数,计算方式如下:
ΔPSNRi=|PSNRi-PSNRi-1|(9)
ΔPSNRmax=max{ΔPSNR1,……,ΔPSNRn}(10)
其中n代表帧总数,i代表帧号。
图3和图4是当设置key帧采样率为0.4,non-key帧采样率为0.2时,测试视频序列的性能对比图,分别对比了PSNR和ΔPSNR分布情况。可以观察到,相比于现有方法foreman从0到16剧烈浮动,而在改进的方法则相对稳定在一个较低的数值。可以看出,减缓了解码端视频闪烁的问题。
表1
表1为本发明方法与现有技术关键帧的重构性能对比数据(key帧采样率为0.4,non-key帧采样率为0.2)。以foreman视频序列为例,采用本发明方法,视频序列的ΔPSNRaverage从3.6077dB降低到1.1769dB,ΔPSNRmax从15.2319dB降低到4.5463dB。Tennis序列同样如此。同时,本发明方法相比于现有方法,视频序列的整体重构质量维持在同一水平。在foreman视频序列上,改进效果在第190帧key帧上最为明显,现有方法重构图像的PSNR值为22.4450dB,本发明方法重构图像的PSNR值为36.8307dB,提升了14.3875dB;在tennis视频序列上,改进效果在第68帧key帧上最为明显,现有方法重构图像的PSNR值为17.4498dB,本发明方法重构图像的PSNR值为25.4976dB,提升了8.0478dB。可以看出本发明方法大大缓解了解码端视频因相邻图像帧重构质量相差过大而引起的视频闪烁问题,提高了服务质量与用户体验。
本发明方法通过自适应图像分组方法,实现了自适应图像分组和自适应的采样率分配,改善了视频场景快速变化时视频闪烁的问题,提高了服务质量与用户体验。
机译: 基于压缩感知的双通道多光谱视频图像及成像方法
机译: 基于压缩感知的双通道多光谱视频图像及成像方法
机译: 分布式压缩感知与联合信号恢复的信号采集装置及方法