首页> 中国专利> 一种基于HEVC/H.265的视频编码的方法及系统

一种基于HEVC/H.265的视频编码的方法及系统

摘要

本发明公开了一种基于HEVC/H.265的视频编码的方法及系统,包括:获取视频图像数据并建立虚拟背景帧;对于第i帧深度为l的CU,计算其与相邻帧同位置CU模块的帧间差异度BDl以及与虚拟背景帧同位置CU模块的背景差异度BDl’;对于第i帧深度为l的CU,计算由该CU划分出来的4个子块CU的BDl+1、BDl+1’;基于划分深度l、BDl、BDl’进行最优帧间预测模型的选择;基于计算得到的BDl、BDl’、BDl+1、BDl+1’,进行CU划分继续/终止判定。本发明能够有效降低帧间划分带来的计算复杂度以及降低因遍历计算率失真计算选择带来的帧间编码复杂度。

著录项

  • 公开/公告号CN113055670A

    专利类型发明专利

  • 公开/公告日2021-06-29

    原文格式PDF

  • 申请/专利权人 杭州裕瀚科技有限公司;

    申请/专利号CN202110251124.7

  • 发明设计人 程志刚;程雨菡;贾春华;

    申请日2021-03-08

  • 分类号H04N19/119(20140101);H04N19/176(20140101);H04N19/567(20140101);H04N19/96(20140101);

  • 代理机构11335 北京汇信合知识产权代理有限公司;

  • 代理人卢亮辉

  • 地址 310000 浙江省杭州市余杭区创鑫时代广场3号楼B座1312室

  • 入库时间 2023-06-19 11:39:06

说明书

技术领域

本发明涉及视频编码技术领域,具体涉及一种基于HEVC/H.265的视频编码的方法及系统。

背景技术

视频文件是由连续的图像帧组成,每一帧为一张静止图像。由于人眼的视觉暂留效应,当图像帧序列以一定的速率播放时,就会看到连续的视频展现。由于相邻的帧与帧之间相似性极高,为便于储存传输,需要对原始的视频进行编码压缩,以去除空间、时间维度的冗余。图像视频编码压缩技术是计算机进行视频处理的前提,视频信号数字化后数据带宽很高,通常在20Mbps以上;采用视频编码技术通常可将数据带宽降到1-10Mbps,这样就可以将视频信号保存在计算机中并作相应的处理。

如图1所示,视频编码流程主要分为预测、变换、量化、熵编码四个步骤,其中预测主要分为帧内预测和帧间预测。

视频编码的帧内预测是指利用视频空间域的相关性,使用当前图像已编码的像素块预测当前像素块,以达到去除视频空域冗余的目的。

帧间预测用于减少时域冗余,其是利用相邻帧之间的相关性进行预测编码,即当前待编码的图像使用其它已编码并重构的图像作为参考帧,当前待编码块在参考帧中搜索相似块作为预测值。而当前待编码块在预测时,可能划分为更小的预测块(PredictionBlock,PB),并以预测块为基本单元搜索最匹配的预测值,其目的是尽可能减小预测值与当前待编码块实际值之间的大小,减少编码比特数,提高压缩率。

为满足对高清视频的压缩,国际标准组织ITU-T的运动图像专家组和ISO/IEC的视频编码专家组MPEG成立视频编码合作组,制定新一代高性能视频编码标准HEVC/H.265。与之前的H.264/AVC标准相比,H.265编码效率提高一倍的目标已经基本实现。

但由于在编码结构上使用了四叉树结构和更大的编码单元(CU),导致编码器的计算复杂度显著提高,编码时间难以满足实时性要求。为了提高压缩效率,H.265编码器具有更加灵活的块划分方式;如图2所示,在H.265中,每一帧图像首先按顺序被依次分割为64×64大小的LCU(最大编码单元),从LCU开始,编码深度从0到3,每一CU(编码单元)可以被递归的分割成4种深度的(64×64,32×32,16×16,8×8)的CU,构成四叉树编码结构。

在H.265帧间编码的过程中,处于每一种编码深度下的CU,都有其对应的PU(预测单元)划分模式,进行运动估计与运动补偿。如图3所示,对于某一深度l下的CU,其帧间预测模式包括SKIP、merge、矩形运动分割(Square,inter 2N×2N、inter N×N)、对称运动分割(SMP,inter2N×N、interN×2N)、非对称运动分割(AMP,inter 2N×nU、inter 2N×nD、inter nL×2N,inter nR×2N)以及intra modes(intra 2N×2N、intra N×N)。

相同感知质量下,HEVC/H.265比H.264的比特率降低50%,但其编码复杂度也随之提高。HEVC视频编码标准采用了更加灵活的编码结构,新增了一系列新技术。在这些新技术中,递归四叉树划分、预测模式率失真代价最小化选择等环节极大提升了编码器的计算复杂度,严重阻碍了HEVC/H.265视频编码标准的推广和应用;其中:

1、在帧间编码过程中,H.265采用四叉树划分结构提高编码性能,编码单元(CU)的尺寸由H.264的16×16变为从8×8到64×64,增加了整个帧间编码过程的复杂度;同时,CU划分过程中,为了确定CU的四叉树结构,需要进行深度l从0到3完全遍历,共计算4

2、在帧间预测的过程中,H.265是按流程遍历所有的帧间预测模式,并选择编码代价最小的预测模式作为最佳的预测模式,帧间预测划分模式的遍历顺序为先对称模式后非对称模式,在非对称模式预测之前将得到最佳对称预测模式。即按照SKIP、Merge、2N×2N、N×N、N×2N、2N×N、2N×nU、2N×nD、nL×2N、nR×2N。因此,帧间预测模式的遍历最低次数为1+4+16+256×6=1662次,最多将遍历1+4+16+256×8=2216次,整个视频编码过程帧间预测模式选择的计算复杂度极高,显然这种遍历计算过程使得编码端的计算复杂度非常高,进行视频压缩所消耗的编码时间较长,无法满足日益增长的实时性视频压缩需求。

综上,HEVC的帧间预测过程引入了大量运算复杂度,如何有效降低编码器的运算量成为目前亟待解决的问题。

发明内容

针对现有技术中存在的上述问题,本发明提供一种基于HEVC/H.265的视频编码的方法及系统。

本发明公开了一种基于HEVC/H.265的视频编码的方法,包括:

获取视频图像数据并建立虚拟背景帧;

对于第i帧深度为l的CU,计算其与相邻帧同位置CU模块的帧间差异度BD

对于第i帧深度为l的CU,计算由该CU划分出来的4个子块CU的BD

若BD

在帧间预测过程中:

若l=0且BD

若l=0且T3<BD

若BD

作为本发明的进一步改进,所述虚拟背景帧的建立方法,包括:

以原视频的前H帧为样本,对其中每一帧的每一像素点做数据统计,像素点取值区间为0~255;

选择各帧同位置像素点的像素值的中位数作为虚拟背景帧的像素值,从而建立所述虚拟背景帧。

作为本发明的进一步改进,

所述帧间差异度BD

所述帧间差异度BD

式中,f

作为本发明的进一步改进,还包括:

若不满足BD

作为本发明的进一步改进,T1、T2的取值为8%~15%。

作为本发明的进一步改进,还包括:

若l=0且BD

作为本发明的进一步改进,T3的取值为1%~3%,T4的取值为5%~15%,T5的取值为30%以上。

本发明还公开了一种基于HEVC/H.265的视频编码的系统,包括:

创建模块,用于获取视频图像数据并建立虚拟背景帧;

计算模块,用于对于第i帧深度为l的CU,计算其与相邻帧同位置CU模块的帧间差异度BD

划分判断模块,用于:

当BD

当不满足BD

帧间预测判断模块,用于:

当l=0且BD

当l=0且T3<BD

当BD

当l=0且BD

作为本发明的进一步改进,在所述计算模块中,

所述帧间差异度BD

所述帧间差异度BD

式中,f

作为本发明的进一步改进,T1、T2的取值为8%~15%,T3的取值为1%~3%,T4的取值为5%~15%,T5的取值为30%以上。

与现有技术相比,本发明的有益效果为:

为降低在帧间划分的计算量,本发明利用监控视频的特殊性,通过计算编码帧与其相邻帧和背景帧的差异性来确定该CU是否继续划分,从而确定该CU的编码深度值l,降低四叉树划分复杂度;

为降低在预测模式选择过程中因遍历循环产生大量的计算量,本发明结合当前深度下编码帧与其相邻帧和背景帧的差异性数值,对其所属的运动区域进行合理分配,跳过一些不必要的帧间预测模型,进而通过率失真计算选择最优帧间预测模型,降低因遍历全部模型率失真代价计算带来的计算量。

附图说明

图1为现有视频编码的流程图;

图2为帧间划分四叉树的结构图;

图3为PU帧间预测模型;

图4为本发明一种实施例公开的基于HEVC/H.265的视频编码的方法的流程图;

图5为本发明一种实施例公开的基于HEVC/H.265的视频编码的系统的框架图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。

下面结合附图对本发明做进一步的详细描述:

为了提升编码器的编码性能和更好地支持高分辨率视频编码,HEVC视频编码标准采用了更加灵活的编码结构,新增了一系列新技术。在这些新技术中,递归四叉树划分、预测模式率失真代价最小化选择等环节极大提升了编码器的计算复杂度,严重阻碍了HEVC视频编码标准的推广和应用。其中采用四叉树划分环节中为了提升视频编码压缩效果,编码单元最小尺寸从原来H.264的16×16进一步细分为8×8,增加了整个帧间编码复杂度。此外,在最佳帧间预测模式选择过程需要经过运动估计和变换单元遍历子循环,该过程在运动向量搜索时对每一个搜索点遍历变换单元并计算率失真代价,选择率失真代价最小的模式为最佳预测模型,这种遍历循环计算的过程也大大提升了帧间编码过程的计算量。因此,通过算法来进一步优化帧间四叉树划分过程和帧间预测模型选择成为了降低视频编码复杂度的关键。

为降低在帧间划分的计算量,本发明利用监控视频的特殊性(视频图像相邻帧的运动特性以及背景建模中与背景帧的差异性),通过计算编码帧与其相邻帧和背景帧的差异性来确定该CU是否继续划分,从而确定该CU的编码深度值l,l∈[0,3],降低四叉树划分复杂度。

为降低在预测模式选择过程中因遍历循环产生大量的计算量,本发明结合当前深度下编码帧与其相邻帧和背景帧的差异性数值,对其所属的运动区域进行合理分配,跳过一些不必要的帧间预测模型,进而通过率失真计算选择最优帧间预测模型,降低因遍历全部模型率失真代价计算带来的计算量。

具体的:

如图4所示,本发明提供一种基于HEVC/H.265的视频编码的方法,包括:

步骤1、获取视频图像数据并建立虚拟背景帧;

具体的:

监控类视频图像数据具有特殊性:背景相对固定、场景变换较小、运动内容相对不多等;本发明利用其特殊性建立其虚拟背景帧;其中,虚拟背景帧的建立方法,具体为:以原视频的前H帧为样本,对其中每一帧的每一像素点做数据统计,像素点取值区间为0~255;选择各帧同位置像素点的像素值的中位数作为虚拟背景帧的像素值,从而建立虚拟背景帧。

步骤2、初始CU划分深度l=0,对于第i帧深度为l的CU,计算其与相邻帧同位置CU模块的帧间差异度BD

具体的:

帧间差异度BD

帧间差异度BD

式中,f

步骤3、对于第i帧深度为l的CU,计算由该CU划分出来的4个子块CU的BD

具体的:

BD

步骤4、基于计算得到的BD

若BD

若不满足BD

进一步,本发明的T1、T2的取值为8%~15%,其可根据不同视频条件和QP数值进行调整。

当CU帧间划分模型确定后,还需要遍历帧间预测的全部模型,每个CU对应的PU模式有11种,若能减少当前CU对应PU模式遍历的范围,就能够加速帧间模式的选择过程;为此,本发明在步骤4的基础上继续包括:

步骤5、基于划分深度l、BD

若l=0且BD

若l=0且T3<BD

若BD

若l=0且BD

进一步,T3<T4<T5,T3的取值为1%~3%,T4的取值为5%~15%,T5的取值为30%以上。

如图5所示,本发明提供一种基于HEVC/H.265的视频编码的系统,包括:

创建模块,用于实现上述步骤1;

计算模块,用于实现上述步骤2、3;

划分判断模块,用于实现上述步骤4;

帧间预测判断模块,用于实现上述步骤5。

本发明的优点为:

本发明利用监控视频本身视频背景场景相对固定的特点,通过计算当前CU以及4个子CU模块帧间差异度BD

本发明通过大量数据推测得到不同深度下的帧间差异度和背景差异度数值下的帧间预测模型比例进行帧间预测模型的推断,跳过一些不必要的帧间预测模型,降低了因遍历计算率失真计算选择带来的计算量,降低帧间编码复杂度。实施例:

本次测试所采用的的实验环境是Windows Sever 2008R2,处理器为Intel E5-2620 CPU@2.1GHz、单处理器,8核心,RAM为32GB。

通过对比三类视频公路交通监控视频,小区监控视频,办公室监控视频作为实验内容,通过我们设计算法后的视频压缩软件Hnew,与H.265序列中HM12.0进行对比,算法性能通过PSNR(峰值信噪比,一种客观评价视频编码质量的参数)以及时间变化比ΔT(ΔT=(T

其中新算法分别设置相关参数为T1=12%,T2=12%,T3=2%,T4=5%,T5=30%,进行计算对比。结果如表1所示:

表1

由表1可知,本发明在视频质量几乎保持不变的情况下(PSNR平均仅下降0.06dB),大大节约了视频编码时间(平均值ΔT=30.5%),说明该算法在提升CU划分速率和选择PU预测模型的条件下对监控类视频进行编码,能够在有效保证编码质量情况下减小视频编码耗时。

以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号