公开/公告号CN103096060A
专利类型发明专利
公开/公告日2013-05-08
原文格式PDF
申请/专利权人 乐金电子(中国)研究开发中心有限公司;
申请/专利号CN201110351516.7
申请日2011-11-08
分类号H04N7/26;H04N7/32;
代理机构北京三友知识产权代理有限公司;
代理人王天尧
地址 100102 北京市朝阳区望京利泽中园二区203号洛娃大厦B座
入库时间 2024-02-19 19:28:57
法律状态公告日
法律状态信息
法律状态
2022-10-21
未缴年费专利权终止 IPC(主分类):H04N19/117 专利号:ZL2011103515167 申请日:20111108 授权公告日:20170329
专利权的终止
2017-03-29
授权
授权
2014-08-13
实质审查的生效 IPC(主分类):H04N7/26 申请日:20111108
实质审查的生效
2013-05-08
公开
公开
技术领域
本发明涉及图像视频编解码和帧内图像预测技术领域,尤其涉及帧内图像预测编解码 的自适应环路滤波方法及装置。
背景技术
在第五次JCT-VC(ajoint group ofexperts from MPEG and VCEG,MPEG和VCEG联 合专家组)会议上,基于区域划分(RA)和块划分(BA)的帧内图像预测编解码的自适 应环路滤波方法[1~3]被采纳。在基于区域划分的方法中,将图像按照位置直接分成16个 区域,对应每个区域训练一套滤波器。而在基于块划分的方法中,整帧图像被划分成非重 叠的4×4块,将整帧图像的所有块分成15类,训练出15种不同的滤波器系数。最后视频 编码器通过计算率失真来得到应用于区域划分还是块划分对整帧图像滤波。由于基于区域 划分无需计算图像信息,因此不会给解码端带来过高的计算复杂度,但从压缩性能上,由 于基于块划分更多的考虑到了图像自身的特性,所以其性能较好。
在基于块划分的方法中,对每个4×4块中的像素{X(i,j)|i=0,1,2,3;j=0,1,2,3},编 解码端都要计算块的方向性信息以及拉普拉斯特性,具体如下:
H(i,j)=abs(X(i,j)<<1-X(i,j-1)-X(i,j+1))
V(i,j)=abs(X(i,j)<<1-X(i-1,j)-X(i+1,j))
L(i,j)=∑n=-1,0,1∑=m-1,0,1H(i+m,j+n)+V(i+m,j+n)
其中,H(i,j)为水平梯度;V(i,j)为垂直梯度;水平梯度和垂直梯度反映块的方向性 信息;L(i,j)为反映拉普拉斯特性的值。
对于每个4×4块,对每个像素的对应特性求和,可得
HB=∑i=0,1,2,3∑j=0,1,2,3H(i,j)
VB=∑i=0,1,2,3∑j=0,1,2,3V(i,j)
LB=∑i=0,1,2,3∑j=0,1,2,3L(i,j)
根据以上特性,可以将4×4块分成15类,对于每类块设计对应的滤波器进行环路滤 波。
然而,由于上述计算在编解码端都要执行,会增加编解码端尤其是解码端的计算负荷。
基于上述块的划分算法,在JCTVC-F301[4]中,研究人员提出了一种快速计算块分类 的方法。图1为基于4×4块自适应滤波器类别划分的快速算法示意图。如图1所示,在该 算法中,对于每个4×4的块的16个像素中,只计算每2×2子块左上角的像素对应的方向 性信息和拉普拉斯特性以减少编解码的计算复杂度。
但是,对于基于块的划分,该快速算法仍需计算至少图像总像素的1/4的梯度值和拉 普拉斯特性信息,因此在解码端仍会带来一些的计算复杂度。
发明内容
本发明实施例提供一种帧内图像预测编码的自适应环路滤波方法,用以减少编码的计 算复杂度,该方法包括:
将整帧图像划分成非重叠的4×4块;
将进行帧内图像预测编码自适应环路滤波的滤波器分组,根据预测方向将预测模式分 为五类,每类对应于一组滤波器;
根据当前4×4块对应的预测单元所属的滤波器组、当前4×4块对应的编码单元的深 度,估计当前4×4块的拉普拉斯特性;
根据各4×4块的拉普拉斯特性,对分组后的各组滤波器进行分类,训练出各类滤波器 对应的滤波器系数;
根据所述滤波器系数,对整帧图像进行自适应环路滤波。
本发明实施例还提供一种帧内图像预测解码的自适应环路滤波方法,用以减少解码的 计算复杂度,该方法包括:
将整帧图像划分成非重叠的4×4块;
将进行帧内图像预测解码自适应环路滤波的滤波器分组,根据预测方向将预测模式分 为五类,每类对应于一组滤波器;
根据当前4×4块对应的预测单元所属的滤波器组、当前4×4块对应的解码单元的深 度,估计当前4×4块的拉普拉斯特性;
根据各4×4块的拉普拉斯特性,对分组后的各组滤波器进行分类,训练出各类滤波器 对应的滤波器系数;
根据所述滤波器系数,对整帧图像进行自适应环路滤波。
本发明实施例还提供一种视频编码器,用以减少编码的计算复杂度,该视频编码器包 括:
图像划分模块,用于将整帧图像划分成非重叠的4×4块;
滤波器第一划分模块,用于将进行帧内图像预测编码自适应环路滤波的滤波器分组, 根据预测方向将预测模式分为五类,每类对应于一组滤波器;
拉普拉斯特性估计模块,用于根据当前4×4块对应的预测单元所属的滤波器组、当前 4×4块对应的编码单元的深度,估计当前4×4块的拉普拉斯特性;
滤波器第二划分模块,用于根据各4×4块的拉普拉斯特性,对分组后的各组滤波器进 行分类,训练出各类滤波器对应的滤波器系数;
滤波模块,用于根据所述滤波器系数,对整帧图像进行自适应环路滤波。
本发明实施例还提供一种视频解码器,用以减少解码的计算复杂度,该视频解码器包 括:
图像划分模块,用于将整帧图像划分成非重叠的4×4块;
滤波器第一划分模块,用于将进行帧内图像预测解码自适应环路滤波的滤波器分组, 根据预测方向将预测模式分为五类,每类对应于一组滤波器;
拉普拉斯特性估计模块,用于根据当前4×4块对应的预测单元所属的滤波器组、当前 4×4块对应的解码单元的深度,估计当前4×4块的拉普拉斯特性;
滤波器第二划分模块,用于根据各4×4块的拉普拉斯特性,对分组后的各组滤波器进 行分类,训练出各类滤波器对应的滤波器系数;
滤波模块,用于根据所述滤波器系数,对整帧图像进行自适应环路滤波。
本发明实施例中进行帧内图像预测编解码的自适应环路滤波时,将进行帧内图像预测 编码或解码自适应环路滤波的滤波器分组,根据预测方向将预测模式分为五类,每类对应 于一组滤波器;根据当前4×4块对应的预测单元所属的滤波器组、当前4×4块对应的编码 单元或解码单元的深度,估计当前4×4块的拉普拉斯特性;根据各4×4块的拉普拉斯特性, 对分组后的各组滤波器进行分类,训练出各类滤波器对应的滤波器系数;相对于现有技术 中基于块划分的帧内图像预测编解码的自适应环路滤波方法而言,可以在保持编解码性能 的前提下减小编解码的运算复杂度,减轻编解码端的计算负荷,实现利用编解码信息,只 需少量计算而直接得到块的分类信息,同时可以保证不过多影响自适应环路滤波器的效 果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明 的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以 根据这些附图获得其他的附图。在附图中:
图1为现有技术中基于4×4块自适应滤波器类别划分的快速算法示意图;
图2为本发明实施例中帧内图像预测编码的自适应环路滤波方法的处理流程图;
图3为本发明实施例中当前HEVC编码方案中预测模式的示意图;
图4为本发明实施例中帧内图像预测解码的自适应环路滤波方法的处理流程图;
图5为本发明实施例中视频编码器的结构示意图;
图6为本发明实施例中视频解码器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实 施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不 作为对本发明的限定。
发明人考虑到,在帧内图像预测编解码中,由于预测模式的方向性信息可以很好的反 映图像的方向,而编码单元或解码单元的深度、预测单元的划分信息可以很好的反映图像 的复杂程度,进而反映拉普拉斯特性信息,因此,本发明实施例提供一种帧内图像预测编 解码的自适应环路滤波方法及视频编解码器,其应用预测模式的方向性信息、编码单元或 解码单元的深度、预测单元的划分信息,对整帧图像以非重叠的4×4块为基本单位分类, 从而在保持编解码性能的前提下减小编解码的运算复杂度。
图2为本发明实施例中帧内图像预测编码的自适应环路滤波方法的处理流程图。如图 2所示,其处理流程可以包括:
步骤201、将整帧图像划分成非重叠的4×4块;
步骤202、将进行帧内图像预测编码自适应环路滤波的滤波器分组,根据预测方向将 预测模式分为五类,每类对应于一组滤波器;
步骤203、根据当前4×4块对应的预测单元所属的滤波器组、当前4×4块对应的编码 单元的深度,估计当前4×4块的拉普拉斯特性;
步骤204、根据各4×4块的拉普拉斯特性,对分组后的各组滤波器进行分类,训练出 各类滤波器对应的滤波器系数;
步骤205、根据所述滤波器系数,对整帧图像进行自适应环路滤波。
由图2所示流程可以得知,本发明实施例中进行帧内图像预测编码的自适应环路滤波 时,将进行帧内图像预测编码自适应环路滤波的滤波器分组,根据预测方向将预测模式分 为五类,每类对应于一组滤波器;根据当前4×4块对应的预测单元所属的滤波器组、当前 4×4块对应的编码单元的深度,估计当前4×4块的拉普拉斯特性;根据各4×4块的拉普 拉斯特性,对分组后的各组滤波器进行分类,训练出各类滤波器对应的滤波器系数;相对 于现有技术中基于块划分的帧内图像预测编码的自适应环路滤波方法而言,可以在保持编 码性能的前提下减小编码的运算复杂度,减轻编码端的计算负荷,实现利用编码信息,只 需少量计算而直接得到块的分类信息,同时可以保证不过多影响自适应环路滤波器的效 果。
具体实施时,将进行帧内图像预测编码自适应环路滤波的滤波器分组,根据预测方向 将预测模式分为五类,每类对应于一组滤波器。图3为当前HEVC编码方案中预测模式的 示意图。将这些预测模式按预测方向划分成五大类。例如,具体类划分与逻辑帧内预测模 式的对应关系可以如表一所示。
表一帧内预测模式划分
即具体的:划分{DC,Planar}预测模式对应于滤波器组N=0;
划分{10~17}预测模式对应于滤波器组N=1;
划分{1~9}预测模式对应于滤波器组N=2;
划分{18~24}预测模式对应于滤波器组N=3;
划分{25~33}预测模式对应于滤波器组N=4;
其中,N为滤波器组号。
具体实施时,可以按如下公式,根据当前4×4块对应的预测单元所属的滤波器组、当 前4×4块对应的编码单元的深度,估计当前4×4块的拉普拉斯特性,包括:
其中,d为反映当前4×4块的拉普拉斯特性的值;depth为当前4×4块对应的编码单 元的深度;N为当前4×4块对应的预测单元所属的滤波器组号;size(PU)为当前4×4块 对应的预测单元的大小。
进一步的,具体实施时,根据各4×4块的拉普拉斯特性,对分组后的各组滤波器进行 分类,训练出各类滤波器对应的滤波器系数,可以包括:
若编码单元的最大深度为4,按如下公式将d进一步分为3类:
Class(d)=d/2
其中,Class(d)为d的类别;
按如下公式对分组后的各组滤波器进行分类:
其中,Filt_Num为滤波器的类别编号。
这样做而不直接算N×3+Class(d)的原因是在训练得到滤波器系数以后,要对其进行 融合,因此具有相近特性的滤波器应该距离更近一些。
具体实施时,根据滤波器系数,对整帧图像进行自适应环路滤波,可以包括:进行区 域划分和块划分的率失真计算,并在计算区域划分的率失真中,将应减去的用于选择块划 分的常数置为0。
在HM4.0中,对于区域划分和块划分的选择,由于区域划分在解码端的复杂度比块划 分低,因此视频编码器更加倾向于选择区域划分来进行自适应环路滤波。因此在计算区域 划分的率失真中,要减去一个常数,该常数即用于选择块划分的常数,现有技术中可按如 下公式计算出该常数:
adExtraCost Re duction=
(m_im_height×m_im_width)×m_dLanbdaLuma×2.0/4096.0
其中,adExtraCost Re duction为该常数,m_im_height为整帧图像的高度, m_im_width为整帧图像的宽度,m_dLanbdaLuma为拉格朗日常数。
本发明实施例的帧内图像预测编码的自适应环路滤波方法由于可以减小解码端块划 分的计算复杂度,因此可以将该常数置为0,即
adExtraCost Re duction=0
从而平衡视频解码器复杂度和性能之间的关系。
本发明实施例中还提供了一种帧内图像预测解码的自适应环路滤波方法,如下面的实 施例所述。由于帧内图像预测解码的自适应环路滤波方法解决问题的原理与帧内图像预测 编码的自适应环路滤波方法相似,因此帧内图像预测解码的自适应环路滤波方法的实施可 以参见帧内图像预测编码的自适应环路滤波方法的实施,重复之处不再赘述。
如图4所示,本发明实施例中,帧内图像预测解码的自适应环路滤波方法的处理流程 可以包括:
步骤401、将整帧图像划分成非重叠的4×4块;
步骤402、将进行帧内图像预测解码自适应环路滤波的滤波器分组,根据预测方向将 预测模式分为五类,每类对应于一组滤波器;
步骤403、根据当前4×4块对应的预测单元所属的滤波器组、当前4×4块对应的解码 单元的深度,估计当前4×4块的拉普拉斯特性;
步骤404、根据各4×4块的拉普拉斯特性,对分组后的各组滤波器进行分类,训练出 各类滤波器对应的滤波器系数;
步骤405、根据所述滤波器系数,对整帧图像进行自适应环路滤波。
由图4所示流程可以得知,本发明实施例中进行帧内图像预测解码的自适应环路滤波 时,将进行帧内图像预测解码自适应环路滤波的滤波器分组,根据预测方向将预测模式分 为五类,每类对应于一组滤波器;根据当前4×4块对应的预测单元所属的滤波器组、当前 4×4块对应的解码单元的深度,估计当前4×4块的拉普拉斯特性;根据各4×4块的拉普 拉斯特性,对分组后的各组滤波器进行分类,训练出各类滤波器对应的滤波器系数;相对 于现有技术中基于块划分的帧内图像预测解码的自适应环路滤波方法而言,可以在保持解 码性能的前提下减小解码的运算复杂度,减轻解码端的计算负荷,实现利用解码信息,只 需少量计算而直接得到块的分类信息,同时可以保证不过多影响自适应环路滤波器的效 果。
具体实施时,将进行帧内图像预测解码自适应环路滤波的滤波器分组,根据预测方向 将预测模式分为五类,每类对应于一组滤波器,可以包括:
划分{DC,Planar}预测模式对应于滤波器组N=0;
划分{10~17}预测模式对应于滤波器组N=1;
划分{1~9}预测模式对应于滤波器组N=2;
划分{18~24}预测模式对应于滤波器组N=3;
划分{25~33}预测模式对应于滤波器组N=4;
其中,N为滤波器组号。
具体实施时,可以按如下公式,根据当前4×4块对应的预测单元所属的滤波器组、当 前4×4块对应的解码单元的深度,估计当前4×4块的拉普拉斯特性,包括:
其中,d为反映当前4×4块的拉普拉斯特性的值;depth为当前4×4块对应的解码单 元的深度;N为当前4×4块对应的预测单元所属的滤波器组号;size(PU)为当前4×4块 对应的预测单元的大小。
具体实施时,根据各4×4块的拉普拉斯特性,对分组后的各组滤波器进行分类,训练 出各类滤波器对应的滤波器系数,可以包括:
若解码单元的最大深度为4,按如下公式将d进一步分为3类:
Class(d)=d/2
其中,Class(d)为d的类别;
按如下公式对分组后的各组滤波器进行分类:
其中,Filt_Num为滤波器的类别编号。
具体实施时,根据所述滤波器系数,对整帧图像进行自适应环路滤波,可以包括:
进行区域划分和块划分的率失真计算,并在计算区域划分的率失真中,将应减去的用 于选择块划分的常数置为0。
本发明实施例中还提供了一种视频编码器和视频解码器,如下面的实施例所述。由于 视频编码器和视频解码器解决问题的原理与帧内图像预测编码和解码的自适应环路滤波 方法相似,因此视频编码器和视频解码器的实施可以参见帧内图像预测编码和解码的自适 应环路滤波方法的实施,重复之处不再赘述。
如图5所示,本发明实施例中的视频编码器可以包括:
图像划分模块501,用于将整帧图像划分成非重叠的4×4块;
滤波器第一划分模块502,用于将进行帧内图像预测编码自适应环路滤波的滤波器分 组,根据预测方向将预测模式分为五类,每类对应于一组滤波器;
拉普拉斯特性估计模块503,用于根据当前4×4块对应的预测单元所属的滤波器组、 当前4×4块对应的编码单元的深度,估计当前4×4块的拉普拉斯特性;
滤波器第二划分模块504,用于根据各4×4块的拉普拉斯特性,对分组后的各组滤波 器进行分类,训练出各类滤波器对应的滤波器系数;
滤波模块505,用于根据所述滤波器系数,对整帧图像进行自适应环路滤波。
一个实施例中,滤波器第一划分模块502,具体可以用于:
划分{DC,Planar}预测模式对应于滤波器组N=0;
划分{10~17}预测模式对应于滤波器组N=1;
划分{1~9}预测模式对应于滤波器组N=2;
划分{18~24}预测模式对应于滤波器组N=3;
划分{25~33}预测模式对应于滤波器组N=4;
其中,N为滤波器组号。
一个实施例中,拉普拉斯特性估计模块503,具体可以用于:
按如下公式,根据当前4×4块对应的预测单元所属的滤波器组、当前4×4块对应的编 码单元的深度,估计当前4×4块的拉普拉斯特性,包括:
其中,d为反映当前4×4块的拉普拉斯特性的值;depth为当前4×4块对应的编码单 元的深度;N为当前4×4块对应的预测单元所属的滤波器组号;size(PU)为当前4×4块 对应的预测单元的大小。
一个实施例中,滤波器第二划分模块504,具体可以用于:
若编码单元的最大深度为4,按如下公式将d进一步分为3类:
Class(d)=d/2
其中,Class(d)为d的类别;
按如下公式对分组后的各组滤波器进行分类:
其中,Filt_Num为滤波器的类别编号。
一个实施例中,滤波模块505,具体可以用于:
进行区域划分和块划分的率失真计算,并在计算区域划分的率失真中,将应减去的用 于选择块划分的常数置为0。
如图6所示,本发明实施例中的视频解码器可以包括:
图像划分模块601,用于将整帧图像划分成非重叠的4×4块;
滤波器第一划分模块602,用于将进行帧内图像预测解码自适应环路滤波的滤波器分 组,根据预测方向将预测模式分为五类,每类对应于一组滤波器;
拉普拉斯特性估计模块603,用于根据当前4×4块对应的预测单元所属的滤波器组、 当前4×4块对应的解码单元的深度,估计当前4×4块的拉普拉斯特性;
滤波器第二划分模块604,用于根据各4×4块的拉普拉斯特性,对分组后的各组滤波 器进行分类,训练出各类滤波器对应的滤波器系数;
滤波模块605,用于根据所述滤波器系数,对整帧图像进行自适应环路滤波。
一个实施例中,滤波器第一划分模块602,具体可以用于:
划分{DC,Planar}预测模式对应于滤波器组N=0;
划分{10~17}预测模式对应于滤波器组N=1;
划分{1~9}预测模式对应于滤波器组N=2;
划分{18~24}预测模式对应于滤波器组N=3;
划分{25~33}预测模式对应于滤波器组N=4;
其中,N为滤波器组号。
一个实施例中,拉普拉斯特性估计模块603,具体可以用于:
按如下公式,根据当前4×4块对应的预测单元所属的滤波器组、当前4×4块对应的解 码单元的深度,估计当前4×4块的拉普拉斯特性,包括:
其中,d为反映当前4×4块的拉普拉斯特性的值;depth为当前4×4块对应的解码单 元的深度;N为当前4×4块对应的预测单元所属的滤波器组号;size(PU)为当前4×4块 对应的预测单元的大小。
一个实施例中,滤波器第二划分模块604,具体可以用于:
若解码单元的最大深度为4,按如下公式将d进一步分为3类:
Class(d)=d/2
其中,Class(d)为d的类别;
按如下公式对分组后的各组滤波器进行分类:
其中,Filt_Num为滤波器的类别编号。
一个实施例中,滤波模块605,具体可以用于:
进行区域划分和块划分的率失真计算,并在计算区域划分的率失真中,将应减去的用 于选择块划分的常数置为0。
综上所述,本发明实施例中进行帧内图像预测编解码的自适应环路滤波时,将进行帧 内图像预测编码或解码自适应环路滤波的滤波器分组,根据预测方向将预测模式分为五 类,每类对应于一组滤波器;根据当前4×4块对应的预测单元所属的滤波器组、当前4×4 块对应的编码单元或解码单元的深度,估计当前4×4块的拉普拉斯特性;根据各4×4块的 拉普拉斯特性,对分组后的各组滤波器进行分类,训练出各类滤波器对应的滤波器系数; 相对于现有技术中基于块划分的帧内图像预测编解码的自适应环路滤波方法而言,可以在 保持编解码性能的前提下减小编解码的运算复杂度,减轻编解码端的计算负荷,实现利用 编解码信息,只需少量计算而直接得到块的分类信息,同时可以保证不过多影响自适应环 路滤波器的效果。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产 品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实 施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机 可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程 序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图 和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程 和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指 令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生 一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现 在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方 式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装 置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方 框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机 或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他 可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方 框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说 明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护 范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在 本发明的保护范围之内。
机译: 视频编解码中的帧内去块滤波方法和装置
机译: HEVC视频帧内预测的自适应滤波方法,自适应滤波的帧内编码编解码方法
机译: 用于重构的基于投影的帧的自适应环路滤波方法,该方法使用360度虚拟现实投影的投影布置