首页> 中国专利> 用于视频译码的运动向量预测值候选剪裁移除

用于视频译码的运动向量预测值候选剪裁移除

摘要

本发明描述用于基于未经剪裁版本的运动向量预测值候选对视频块进行译码的技术。所述技术包含在不剪裁运动向量预测值候选的情况下从相邻视频块确定包含所述运动向量预测值候选的运动向量预测值候选列表。更具体来说,如果所述运动向量预测值候选中的一者指向相对于当前视频块位于参考图像边界外侧的预测块,那么所述技术允许将所述运动向量预测值候选的未经剪裁版本包含在所述候选列表中。接着基于所述候选列表的已确定的未经剪裁运动向量预测值候选来对所述当前视频块进行译码。所述运动向量预测值候选剪裁过程的取消降低了视频编码器和视频解码器两者的复杂度。

著录项

  • 公开/公告号CN103843347A

    专利类型发明专利

  • 公开/公告日2014-06-04

    原文格式PDF

  • 申请/专利权人 高通股份有限公司;

    申请/专利号CN201280048544.4

  • 申请日2012-09-11

  • 分类号H04N19/563(20140101);H04N19/583(20140101);H04N19/52(20140101);H04N19/55(20140101);

  • 代理机构11287 北京律盟知识产权代理有限责任公司;

  • 代理人宋献涛

  • 地址 美国加利福尼亚州

  • 入库时间 2023-12-17 00:30:37

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2017-04-19

    授权

    授权

  • 2014-07-02

    实质审查的生效 IPC(主分类):H04N19/563 申请日:20120911

    实质审查的生效

  • 2014-06-04

    公开

    公开

说明书

本申请案主张于2011年10月4日申请的第61/543,181号美国临时申请案和于 2011年10月28日申请的第61/553,053号美国临时申请案的优先权,所述两个申请 案的全文特此以引用的方式并入。

技术领域

本发明涉及视频译码,且更确切地说,涉及视频帧间编码技术。

背景技术

可将数字视频能力并入于广泛范围的装置中,所述装置包含数字电视、数字直 播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、数码相机、数 字记录装置、数字媒体播放器、视频游戏装置、视频游戏主机、蜂窝式或卫星无线 电电话、视频电话会议装置及其类似者。数字视频装置实施视频压缩技术(例如,在 由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(高级视频译 码(AVC))、当前处于开发状态中的高效率视频译码(HEVC)标准定义的标准和这些标 准的扩展中所描述的视频压缩技术)以更有效率地发射、接收和存储数字视频信息。

视频压缩技术可包含空间(帧内图像)预测和/或时间(帧间图像)预测以减少或移 除视频序列中所固有的冗余。对于基于块的视频译码,可将视频切片分割成视频块, 视频块还可被称作树型块、译码单元(CU)和/或译码节点。可使用相对于同一图像中 的相邻块中的参考样本的空间预测来编码图像的帧内译码(I)切片中的视频块。图像 的帧间译码(P或B)切片中的视频块可使用相对于同一图像中的相邻块中的参考样本 的空间预测或相对于其它参考图像中的参考样本的时间预测。图像可被称作帧,且 参考图像可被称作参考帧。

空间或时间预测使用针对待译码的块的预测性块。残余数据表示待译码的原始 块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量和 指示经译码块与预测性块之间的差异的残余数据来编码帧间译码块。根据帧内译码 模式和残余数据来编码帧内译码块。为进行进一步压缩,可将残余数据从像素域变 换到变换域,从而产生可经量化的残余变换系数。可按特定次序扫描最初布置成二 维阵列的经量化的变换系数以产生变换系数的一维向量以用于熵译码。

发明内容

大体上,本发明描述用于基于未剪裁版本的运动向量预测值候选对视频块进行 译码的技术。所述技术包含在不剪裁运动向量预测值候选的情况下从相邻视频块确 定包含所述运动向量预测值候选的运动向量预测值候选列表。如果所述运动向量预 测值候选中的一者指向相对于当前视频块位于参考图像边界外侧的预测块,那么本 发明的所述技术允许未剪裁版本的所述运动向量预测值候选包含于所述候选列表 中。如果确定所述未剪裁运动向量预测值候选是用于运动向量预测过程中,那么可 剪裁所述未剪裁运动向量以在运动补偿过程期间将所述预测块重定位于围绕所述参 考图像的填补区域内。

在当前HEVC测试模型(HM)中,支持两种运动向量预测模式:合并模式和自适 应性运动向量预测(AMVP)模式。在任一模式中,视频译码装置确定借以确定当前视 频块的运动向量预测值的运动向量预测值候选列表。传统上,如果运动向量预测值 候选中的任一者指向相对于当前视频块位于参考图像边界外侧的预测块,那么视频 译码装置将剪裁所述运动向量预测值候选以确保整个预测块重定位于围绕参考图像 的填补区域内。

根据本发明的所述技术,运动向量预测值候选剪裁过程得以从候选列表产生过 程移除。具体来说,当候选列表的运动向量预测值候选指向位于参考图像边界外侧 的预测块时,视频译码装置将不会剪裁或以其它方式截断运动向量预测值候选的值。 接着基于候选列表的已确定的未经剪裁运动向量预测值候选对当前视频块进行译 码。如果确定来自候选列表的运动向量用于运动补偿,那么可将剪裁所述运动向量。 消除运动向量预测值候选剪裁过程降低了视频编码器和视频解码器两者的复杂度。

在本发明的实例中,提出一种用于对视频数据进行译码的方法。所述方法包括 在不剪裁运动向量预测值候选的情况下从相邻视频块确定包含所述运动向量预测值 候选的运动向量预测值候选列表,其中如果运动向量预测值候选识别出相对于当前 视频块位于参考图像边界外侧的预测块,那么将未经剪裁版本的所述运动向量预测 值候选包含于所述候选列表中,且基于所述候选列表的已确定的未经剪裁运动向量 预测值候选来对所述当前视频块进行译码。

在本发明的另一实例中,提出一种经配置以对视频数据进行译码的设备。所述 设备包括:用于在不剪裁运动向量预测值候选的情况下从相邻视频块确定包含所述 运动向量预测值候选的运动向量预测值候选列表的装置,其中如果运动向量预测值 候选识别出相对于当前视频块位于参考图像边界外侧的预测块,那么将未经剪裁版 本的所述运动向量预测值候选包含于所述候选列表中;以及用于基于所述候选列表 的已确定的未经剪裁运动向量预测值候选来对所述当前视频块进行译码的装置。

在本发明的另一实例中,提出一种经配置以对视频数据进行译码的设备。所述 设备包括视频译码器,所述视频译码器经配置以在不剪裁运动向量预测值候选的情 况下从相邻视频块确定包含所述运动向量预测值候选的运动向量预测值候选列表, 其中如果运动向量预测值候选识别出相对于当前视频块位于参考图像边界外侧的预 测块,那么将未经剪裁版本的所述运动向量预测值候选包含于所述候选列表中,且 基于所述候选列表的已确定的未经剪裁运动向量预测值候选来对所述当前视频块进 行译码。

在本发明的另一实例中,提出一种存储用于使得处理器经配置以对视频数据进 行译码的指令的计算机可读媒体。所述处理器经配置以在不剪裁运动向量预测值候 选的情况下从相邻视频块确定包含所述运动向量预测值候选的运动向量预测值候选 列表,其中如果运动向量预测值候选识别出相对于当前视频块位于参考图像边界外 侧的预测块,那么将未经剪裁版本的所述运动向量预测值候选包含于所述候选列表 中,以及基于所述候选列表的已确定的未经剪裁运动向量预测值候选来对所述当前 视频块进行译码。

于随附图式和以下描述中陈述一个或一个以上实例的细节。其它特征、目的和 优势将从所述描述和所述图式以及从权利要求书显而易见。

附图说明

图1为说明可利用本发明中所描述的技术的实例视频编码和解码系统的框图。

图2为说明可实施本发明中所描述的技术的实例视频编码器的框图。

图3为说明可实施本发明中所描述的技术的实例视频解码器的框图。

图4A为说明对于自适应性运动向量预测模式,借以确定运动向量预测值候选的 空间和时间相邻视频块的概念图。

图4B为说明对于合并模式,借以确定运动向量预测值候选的空间和时间相邻视 频块的概念图。

图5为说明参考图像和通过当前视频块的运动向量预测值候选而定位于参考图 像边界外侧的预测块的概念图。

图6为使用本发明的技术来对视频进行编码的方法的实例流程图。

图7为使用本发明的技术来对视频进行解码的方法的实例流程图。

具体实施方式

图1为说明可利用本发明中所描述的帧间预测技术的实例视频编码和解码系统 10的框图。如图1中所展示,系统10包含源装置12,源装置12产生稍后待由目的 地装置14解码的经编码的视频数据。源装置12和目的地装置14可包括广泛范围的 装置中的任一者,包含台式计算机、笔记型(即,膝上型)计算机、平板型计算机、机 顶盒、电话手机(例如,所谓“智能型”电话)、所谓“智能型”板、电视、摄像机、 显示装置、数字媒体播放器、视频游戏控制台,或其类似者。在一些情况下,源装 置12和目的地装置14可针对无线通信而装备。

目的地装置14可经由链路16接收待解码的经编码的视频数据。链路16可包括 能够将经编码的视频数据从源装置12移到目的地装置14的任何类型的媒体或装置。 在实例中,链路16可包括用以使源装置12能够将经编码的视频数据直接实时发射 到目的地装置14的通信媒体。可根据通信标准(例如,无线通信协议)调制经编码的 视频数据,并将经编码的视频数据发射到目的地装置14。通信媒体可包括任何无线 或有线通信媒体,例如射频(RF)频谱或一个或一个以上物理发射线。通信媒体可形成 基于封包的网络(例如,局域网、广域网或例如因特网的全局网络)的部分。通信媒体 可包含路由器、交换器、基站,或可用以促进从源装置12到目的地装置14的通信 的其它任何设备。

在另一实例中,经编码视频还可存储于存储媒体34或文件服务器36上,且可 在需要时由目的地装置14存取。存储媒体可包含多种在本地存取的数据存储媒体中 的任一者,例如,蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码的视 频数据的其它任何合适数字存储媒体。存储媒体34或文件服务器36可为可保持通 过源装置12产生的经编码视频且目的地装置14可在需要时经由流式传输或下载而 存取的其它任何中间存储装置。文件服务器可为能够存储经编码视频数据且将经编 码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含web服 务器(例如,用于网站)、FTP服务器、网络附加存储(NAS)装置或本地磁盘机。目的 地装置14可经由任何标准数据连接(包含因特网连接)而存取经编码的视频数据。此 数据连接可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例 如,Wi-Fi连接)、有线连接(例如,DSL、缆线调制解调器,等等),或两者的组合。 经编码的视频数据从文件服务器的发射可为流式传输、下载发射,或两者的组合。

本发明的技术未必限于无线应用或设置。所述技术可应用于支持多种多媒体应 用(例如,(例如)经由因特网的空中电视广播、有线电视发射、卫星电视发射、流式 视频发射)中的任一者的视频译码、供存储于数据存储媒体上的数字视频的编码、存 储于数据存储媒体上的数字视频的解码,或其它应用。在一些实例中,系统10可经 配置以支持单向或双向视频发射以支持例如视频流式传输、视频播放、视频广播和/ 或视频电话的应用。

在图1的实例中,源装置12包含视频源18、视频编码器20和输出接口22。在 一些情况下,输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在源装置 12中,视频源18可包含例如视频捕获装置(例如,视频摄像机、含有先前捕获的视 频的视频封存档、用以从视频内容提供者接收视频的视频馈入接口)的源,和/或用于 产生计算机图形数据作为源视频的计算机图形系统的源,或这些源的组合。作为实 例,如果视频源18为视频摄像机,那么源装置12与目的地装置14可形成所谓的摄 像机电话或视频电话。然而,一般来说,本发明中所描述的技术适用于视频编码, 且可应用于无线和/或有线应用。

可由视频编码器20来对所捕获、预捕获或计算机产生的视频进行编码。经编码 视频信息可根据通信标准(例如,无线通信协议)通过调制解调器22调制且经由发射 器24发射到目的地装置14。调制解调器22可包含各种混频器、滤波器、放大器或 经设计以用于信号调制的其它组件。发射器24可包含经设计以用于发射数据的电路, 包含放大器、滤波器和一个或一个以上天线。

在图1的实例中,目的地装置14包含接收器26、调制解调器28、视频解码器 30和显示装置32。目的地装置14的接收器26经由信道16接收信息,且调制解调 器28解调所述信息以产生用于视频解码器30的经解调位流。经由信道16传达的信 息可包含由视频编码器20所产生的供视频解码器30在对视频数据进行解码时使用 的多种语法信息。此语法还可包含于存储于存储媒体34或文件服务器36上的经编 码视频数据内。视频编码器20和视频解码器30中的每一者可形成能够对视频数据 进行编码或解码的相应编码器-解码器(编解码器)的部分。

显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中, 目的地装置14可包含集成式显示装置,且还经配置以与外部显示装置介接。在其它 实例中,目的地装置14可为显示装置。一般来说,显示装置32向用户显示经解码 的视频数据,且可包括多种显示装置中的任一者,例如,液晶显示器(LCD)、等离子 显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20和视频解码器30可根据视频压缩标准(例如,目前在开发中的高 效率视频译码(HEVC)标准)而操作,且可符合HEVC测试模型(HM)。或者,视频编 码器20和视频解码器30可根据例如ITU-T H.264标准或者被称作MPEG-4第10部 分(高级视频译码(AVC)的其它专属或工业标准或这些标准的扩展而操作。然而,本 发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和 ITU-T H.263。

虽然未展示于图1中,但在一些方面中,视频编码器20和视频解码器30可各 自与音讯编码器和解码器集成,且可包含适当MUX-DEMUX单元或其它硬件和软件 以处置共同数据流或独立数据流中的音讯和视频两者的编码。如果适用,那么在一 些实例中,MUX-DEMUX单元可遵照ITU H.223多路复用器协议,或例如用户数据 报协议(UDP)的其它协议。

视频编码器20和视频解码器30可各自实施为各种适宜编码器电路中的任一者, 例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场 可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部 分地在软件中实施时,装置可将用于软件的指令存储于合适的非暂时性计算机可读 媒体中,且在硬件中使用一个或一个以上处理器来执行所述指令以执行本发明的技 术。视频编码器20和视频解码器30中的每一者可包含于一个或一个以上编码器或 解码器中,其中任一者可集成为相应装置中的组合编码器/解码器(编解码器(CODEC)) 的部分。

视频编码器20可实施本发明的技术中的任一者或全部以对运动向量进行译码。 作为实例,视频编码器20可经配置以在不剪裁运动向量预测值候选的情况下从相邻 视频块选择包含运动向量预测值候选的运动向量预测值候选列表,其中如果运动向 量预测值候选识别出相对于当前视频块位于参考图像边界外侧的预测块,那么将未 经剪裁版本的运动向量预测值候选包含于候选列表中,以及基于所述候选列表的已 确定的未经剪裁运动向量预测值候选来对当前视频块进行译码。

同样地,视频解码器30可实施本发明的技术中的任一者或全部以对运动向量进 行译码。作为实例,视频解码器30可经配置以在不剪裁运动向量预测值候选的情况 下从相邻视频块确定包含所述运动向量预测值候选的运动向量预测值候选列表,其 中如果运动向量预测值候选识别出相对于当前视频块位于参考图像边界外侧的预测 块,那么未经剪裁版本的运动向量预测值候选包含于候选列表中,以及基于所述候 选列表的已确定的未经剪裁运动向量预测值候选来对当前视频块进行译码。

如本发明中所描述,视频译码器可指代视频编码器或视频解码器。类似地,视 频编码器和视频解码器可分别被称为视频编码单元和视频解码单元。同样地,视频 译码可指视频编码或视频解码。

视频译码联合协作组(JCT-VC)当前正从事于HEVC标准的开发。HEVC标准化 努力是基于视频译码装置的演进模型,其被称作HEVC测试模型(HM)。HM假设视 频译码装置相对于根据(例如)ITU-T H.264/AVC的现有装置的若干额外能力。举例来 说,鉴于H.264提供9个帧内预测编码模式,HM可提供多达35个(33个方向型、1 个DC型和1个平面型)帧内预测编码模式。

一般来说,HM的工作模型描述视频帧或图像可划分成包含明度样本和色度样本 两者的树型块或最大译码单元(LCU)序列。树型块具有与H.264标准的宏块类似的目 的。切片包含按编码次序的数个连续树型块。可将视频帧或图像分割成一个或一个 以上切片。每一树型块可根据四分树而分裂成若干译码单元(CU)。举例来说,树型 块(作为四叉树的根节点)可分裂成四个子节点,且每一子节点可又为父节点,且分裂 成另外四个子节点。最后未分裂的子节点(作为四叉树的叶节点)包括译码节点,即, 经译码的视频块。与经译码的位流相关联的语法数据可定义树型块可分裂的最大次 数,且还可定义译码节点的最小大小。

CU包含译码节点和与所述译码节点相关联的若干预测单元(PU)和变换单元 (TU)。CU的大小对应于译码节点的大小且形状为正方形。CU的大小的范围可从8×8 像素直到具有最大64×64像素或大于64×64像素的树型块的大小。每一CU可含有 一个或一个以上PU和一个或一个以上TU。与CU相关联的语法数据可描述(例如)CU 到一个或一个以上PU的分割。分割模式可视CU是跳过或是经直接模式编码、经帧 内预测模式编码或经帧间预测模式编码而不同。PU的形状可分割成非正方形。与CU 相关联的语法数据还可描述(例如)CU根据四分树到一个或一个以上TU的分割。TU 的形状可为正方形或非正方形。

一般来说,PU包含与预测过程有关的数据。举例来说,当将所述PU以帧内模 式编码时,所述PU可包含描述所述PU的帧内预测模式的数据。作为另一实例,当 将所述PU以帧间模式编码时,所述PU可包含定义所述PU的运动向量的数据。定 义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、 运动向量的分辨率(例如,四分之一像素精度或八分之一像素精度)、运动向量所指向 的参考图像,和/或运动向量的参考图像列表(例如,列表0、列表1或列表C)。

一般来说,TU用于变换过程和量化过程。具有一个或一个以上PU的CU还可 包含一个或一个以上变换单元(TU)。在预测之后,视频编码器20可计算对应于PU 的残余值。残余值包括视频数据的当前块与视频数据的预测性块之间的像素差值。 残余值可变换成变换系数、经量化且使用TU扫描以产生串行化变换系数以用于熵译 码。本发明通常使用术语“视频块”来指代CU的译码节点。在一些特定情况下,本 发明还可使用术语“视频块”来指代包含译码节点和若干PU和TU的树型块(即, LCU或CU)。

视频序列通常包含一系列视频帧或图像。图像群组(GOP)通常包括一系列视频图 像中的一者或一者以上。GOP可在GOP的标头、图像中的一者或一者以上的标头中 或在别处包含描述包含于GOP中的图像数目的语法数据。图像的每一切片可包含描 述所述相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内 的视频块进行操作,以便对视频数据进行编码。视频块可对应于CU内的译码节点。 视频块可具有固定或变化的大小,且可根据指定译码标准而在大小方面不同。

作为实例,HM支持以各种PU大小进行预测。假定特定CU的大小为2N×2N, 那么HM支持以2N×2N或N×N的PU大小进行帧内预测,以及以2N×2N、2N×N、 N×2N或N×N的对称PU大小进行帧间预测。HM还支持以2N×nU、2N×nD、nL×2N 和nR×2N的PU大小进行帧间预测的不对称分割。在不对称分割中,CU的一方向未 分割,而另一方向分割成25%和75%。CU的对应于25%分割的部分由“n”其后接 着“(U)”、“(D)”、“(L)”或“(R)”的指示来指示。因此,例如,“2N×nU”指 代在水平方向上以顶部2N×0.5N PU和底部2N×1.5N PU分割的2N×2N CU。

在本发明中,“N×N”与“N乘N”可互换地使用以指代视频块在垂直尺寸与水 平尺寸方面的像素尺寸,例如,16×16像素或16乘16像素。大体上,16x16块在垂 直方向中将具有16个像素(y=16)且在水平方向中将具有16个像素(x=16)。同样地, N×N块通常在垂直方向上具有N个像素,且在水平方向上具有N个像素,其中N表 示非负整数值。可按行和列来布置块中的像素。另外,块不必需要在水平方向中与 在垂直方向中具有相同数目个像素。举例来说,块可包括N×M个像素,其中M不 必等于N。

在使用CU的PU的帧内预测性或帧间预测性译码之后,视频编码器20可计算 残余数据。PU可包括空间域(还称作像素域)中的像素数据。TU可包括在应用变换(例 如,离散余弦变换(DCT)、整数变换、小波变换或与残余视频数据概念上类似的变换) 之后变换域中的系数。残余数据可对应于未经编码图像与预测性视频块的像素之间 的像素差。视频编码器20可形成包含CU的残余数据的TU,且接着变换所述TU以 产生CU的变换系数。

在应用任何变换以产生变换系数之后,视频编码器20可执行变换系数的量化。 量化一般指代如下过程:将变换系数量化以可能地减少用以表示所述系数的数据的 量,从而提供进一步压缩。所述量化过程可减少与所述系数中的一些或所有相关联 的位深度。举例来说,可在量化期间将n位值降值舍位到m位值,其中n大于m。

在一些实例中,视频编码器20可利用预定义扫描次序来扫描经量化的变换系数, 以产生可经熵编码的串列化向量。在其它实例中,视频编码器20可执行自适应性扫 描。在扫描经量化变换系数以形成一维向量之后,视频编码器20可(例如)根据上下 文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基 于语法的上下文自适应性二进制算术译码(SBAC)、概率间隔分割熵译码(PIPE)或另 一熵编码方法来对一维向量进行熵编码。视频编码器20还可熵编码与经编码的视频 数据相关联的语法元素以供视频解码器30用于对视频数据进行解码。

为了执行CABAC,视频编码器20可将上下文模型内的上下文指派给待发射的 符号。所述上下文可能涉及(例如)符号的相邻值是否为非零。为了执行CAVLC,视 频编码器20可针对待发射的符号选择可变长度码。可将VLC中的码字建构成使得 相对较短码对应于更有可能的符号,而较长码对应于较不可能的符号。以此方式, 使用VLC可达成位节省(与(例如)针对待发射的每一符号使用等长度码字相比较)。概 率确定可基于指派给符号的上下文而进行。

图2为说明可实施本发明中所描述的帧间预测技术的实例视频编码器20的框 图。视频编码器20可执行视频切片内的视频块的帧内译码和帧间译码。帧内译码依 赖于空间预测以减小或移除给定视频帧或图像内的视频的空间冗余。帧间译码依赖 于时间预测以减小或移除视频序列的邻近帧或图像内的视频的时间冗余。帧内模式(I 模式)可指代若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测 (B模式)的帧间模式可指代若干基于时间的压缩模式中的任一者。

在图2的实例中,视频编码器20包含模式选择单元40、预测模块41、参考图 像存储器64、求和器50、变换模块52、量化单元54和熵编码单元56。预测模块41 包含运动估计单元42、运动补偿单元44和帧内预测模块46。对于视频块重建构, 视频编码器20还包含反量化单元58、反变换模块60和求和器62。还可包含解块滤 波器(图2中未展示)用以对块边界进行滤波,以从经重建构视频移除成块性假影。如 果需要,那么所述解块滤波器将通常对求和器62的输出进行滤波。

如图2中所展示,视频编码器20接收待编码的视频切片内的当前视频块。可将 所述切片划分成多个视频块。模式选择单元40可基于错误结果针对当前视频块选择 译码模式(帧内或帧间)中的一者,且预测模块41可将所得经帧内译码或经帧间译码 块提供到求和器50以产生残余块数据且提供到求和器62以重建构经编码块以用作 参考图像。

预测模块41内的帧内预测模块46可执行相对于在与待译码的当前块相同的帧 或切片中的一个或一个以上相邻块的当前视频块的帧内预测性译码以提供空间压 缩。预测模块41内的运动估计单元42和运动补偿单元44执行相对于一个或一个以 上参考图像中的一个或一个以上预测性块的当前视频块的帧间预测性译码以提供时 间压缩。

运动估计单元42可经配置以根据视频序列的预定模式确定视频切片的帧间预测 模式。预定模式可将序列中的视频切片指定为P切片、B切片或GPB切片。移动估 计单元42和移动补偿单元44可高度集成,但为概念目的而分别说明。由运动估计 单元42执行的运动估计为产生运动向量的过程,运动向量估计视频块的运动。运动 向量(例如)可指示当前视频帧或图像内的视频块的PU相对于参考图像内的预测性块 的移位。

预测性块为被发现与待译码的视频块的PU在像素差方面紧密匹配的块,可通过 绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定像素差。在一些实例中, 视频编码器20可计算存储于参考图像存储器64中的参考图像的次整数像素位置的 值。举例来说,视频编码器20可计算参考图像的四分之一像素位置、八分之一像素 位置或其它分率像素位置的值。因此,运动估计单元42可执行相对于全像素位置和 分率像素位置的运动搜索,且以分率像素精度输出运动向量。

运动估计单元42通过比较帧间译码切片中的视频块的PU的位置与参考图像的 预测性块的位置而计算所述PU的运动向量。参考图像可从第一参考图像列表(列表 0)或第二参考图像列表(列表1)选择,所述列表中的每一者识别存储于参考图像存储 器64中的一个或一个以上参考图像。运动估计单元42将经计算运动向量发送到熵 编码单元56和运动补偿单元44。

通过运动补偿单元44所执行的运动补偿可涉及基于由运动估计所确定的运动向 量提取或产生预测性块。在接收到当前视频块的PU的运动向量时,运动补偿单元 44可将运动向量所指向的预测性块定位于参考图像列表中的一者中。视频编码器20 通过从正译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块,从 而形成像素差值。像素差值形成块的残余数据,且可包含明度差分量与色度差分量 两者。求和器50表示执行此减法运算的一个或一个以上组件。运动补偿单元44还 可产生与视频块和视频切片相关联的供由视频解码器30用于对视频切片的视频块进 行解码的语法元素。

在运动补偿单元44产生当前视频块的预测性块之后,视频编码器20通过从所 述当前视频块减去所述预测性块而形成残余视频块。残余块中的残余视频数据可包 含于一个或一个以上TU中且应用于变换模块52。变换模块52使用例如离散余弦变 换(DCT)或概念上类似的变换的变换将残余视频数据变换成残余变换系数。变换模块 52可将残余视频数据从像素域转换到变换域,例如频域。

变换模块52可将所得变换系数发送到量化单元54。量化单元54对变换系数进 行量化以进一步减小位速率。所述量化过程可减少与所述系数中的一些或所有相关 联的位深度。可通过调整量化参数而修改量化程度。在一些实例中,量化单元54可 接着执行包含经量化的变换系数的矩阵的扫描。或者,熵编码单元56可执行所述扫 描。

在量化之后,熵编码单元56对经量化的变换系数进行熵编码。举例来说,熵编 码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算 术译码(CABAC)或另一熵编码技术。在通过熵编码单元56进行熵编码之后,可将经 编码位流流式传输到视频解码器30或加以存档以供稍后发射或通过视频解码器30 检索。熵编码单元56还可熵编码正译码的当前视频切片的运动向量和其它语法元素。

反量化单元58和反变换模块60分别应用反量化和反变换,以在像素域中重建 构残余块以供稍后用作参考图像的参考块。运动补偿单元44可通过将残余块与参考 图像列表中的一者内的参考图像中的一者的预测性块相加来计算参考块。运动补偿 单元44还可将一个或一个以上内插滤波器应用于经重建构的残余块以计算次整数像 素值以供用于运动估计中。求和器62将经重建构的残余块添加到由运动补偿单元44 所产生的运动补偿预测块,以产生参考块以供存储于参考图像存储器64中。参考块 可由运动估计单元42和运动补偿单元44用作参考块以对后续视频帧或图像中的块 进行帧间预测。本发明的关于图2的视频编码器20的细节在下文中予以更详细描述。

图3为说明可实施本发明中所描述的帧间预测技术的实例视频解码器30的框 图。在图3的实例中,视频解码器30包含熵解码单元80、预测模块81、反量化单 元86、反变换单元88、求和器90和参考图像存储器92。预测模块81包含运动补偿 单元82和帧内预测模块84。在一些实例中,视频解码器30可执行大体与关于来自 图2的视频编码器20所描述的编码过程互反的解码过程。

在解码过程期间,视频解码器30从视频编码器20接收表示经编码的视频切片 的视频块和关联的语法元素的经编码的视频位流。视频解码器30的熵解码单元80 对所述位流进行熵解码以产生经量化的系数、运动向量和其它语法元素。熵解码单 元80将运动向量和其它语法元素转递到预测单元81。视频解码器30可在视频切片 层级和/或视频块层级处接收语法元素。

在视频切片经译码为经帧内译码(I)切片时,预测模块81的帧内预测模块84可 基于用信号表示的帧内预测模式和来自当前帧或图像的先前解码块的数据而产生针 对当前视频切片的视频块的预测数据。在视频帧经译码为经帧间译码(即,B、P或 GPB)切片时,预测模块81的运动补偿单元82基于运动向量和从熵解码单元80所接 收的其它语法元素而产生针对当前视频切片的视频块的预测性块。预测性块可从参 考图像列表中的一者内的参考图像中的一者产生。视频解码器30可基于存储于参考 图像存储器92中的参考图像使用预设建构技术来建构参考帧列表,列表0和列表1。

运动补偿单元82通过剖析运动向量和其它语法元素而确定当前视频切片的视频 块的预测信息,且使用所述预测信息以产生正经解码的当前视频块的预测性块。举 例来说,运动补偿单元82使用一些所接收的语法元素以确定用以对视频切片的视频 块进行译码的预测模式(例如,帧内预测或帧间预测)、帧间预测切片类型(例如,B 切片、P切片或GPB切片)、切片的参考图像列表中的一者或一者以上的建构信息、 切片的每一帧间译码视频块的运动向量、切片的每一帧间译码视频块的帧间预测状 态,以及用以对当前视频切片中的视频块进行解码的其它信息。

运动补偿单元82还可基于内插滤波器执行内插。运动补偿单元82可使用如由 视频编码器20在视频块的编码期间使用的内插滤波器,以计算参考块的次整数像素 的内插值。运动补偿单元82可从所接收的语法元素确定由视频编码器20使用的内 插滤波器,且使用所述内插滤波器来产生预测性块。

反量化单元86将位流中所提供且由熵解码单元80解码的经量化的变换系数反 量化(即,解量化)。反量化过程可包含使用由视频编码器20所计算的视频切片中的 每一视频块的量化参数,以确定量化程度和(同样)应应用的反量化的程度。反变换模 块88将反变换(例如,反DCT、反整数变换或概念上类似的反变换过程)应用于变换 系数,以便在像素域中产生残余块。

在运动补偿单元82基于运动向量和其它语法元素产生针对当前视频块的预测性 块之后,视频解码器30通过将来自反变换模块88的残余块与通过运动补偿单元82 产生的对应预测性块加总来形成经解码视频块。求和器90表示执行此加总运算的一 个或一个以上组件。如果需要,还可应用去块滤波器来对经解码块滤波以便移除成 块性假影。接着将给定帧或图像中的经解码的视频块存储于参考图像存储器92中, 参考图像存储器92存储用于后续运动补偿的参考图像。参考图像存储器92还存储 经解码视频以供稍后在显示装置(例如图1的显示装置32)上展示。本发明的关于图3 的视频解码器30的细节将在下文中予以更详细描述。

如上文中参看图2和图3所论述,使用帧间预测对PU进行译码涉及计算当前块 与参考帧中的块之间的运动向量。经由称作运动估计(或运动搜索)的过程(例如,通 过图2的运动估计单元42)来计算运动向量。举例来说,运动向量可指示在当前帧中 的预测单元相对于参考帧的参考样本的移位。参考块可为被发现在像素差方面与正 经译码的块紧密匹配的块,可通过绝对差总和(SAD)、平方差总和(SSD)或其它不同 度量来确定像素差。参考块可出现在参考帧或参考切片内的任何地方,但未必出现 在参考帧或参考切片的块(例如,译码单元)边界。在一些实例中,参考块可出现在分 率像素位置。在其它实例中,参考块可出现在相对于当前块而界定的参考图像边界 外侧。当发现与当前块最匹配的参考帧的块时,编码器(例如,图2的运动估计单元 42)可将当前部分的当前运动向量确定为参考帧中从当前块到匹配块的位置差异(例 如,从当前块的中心到匹配块的中心,或从当前块的左上角到匹配块的左上角)。

在一些实例中,编码器(例如,图2的预测模块41)可用信号表示经编码的视频位 流中的每一块的运动向量。用信号表示的运动向量由解码器使用以执行运动补偿以 便对视频数据进行解码。然而,用信号表示整个运动向量可能导致译码效率较低, 这是因为运动向量通常由大量位来表示。

在一些实例中,编码器(例如,图2的预测模块41)可预测每一分割(即,每一PU) 的运动向量,而非用信号表示整个运动向量。在执行此运动向量预测过程时,编码 器可将已确定为用于与当前块相同的帧中的空间相邻块的一组候选运动向量确定为 当前块或已确定为用于另一参考帧中的协同定位块的候选运动向量。编码器可执行 运动向量预测而非用信号表示整个运动向量,以降低发信号的复杂性和位速率。来 自空间相邻块的候选运动向量可称作空间MVP候选,而来自另一参考帧中的协同定 位块的候选运动向量可称作时间MVP候选。

针对HEVC标准已提出两种不同模式的运动向量预测。一种模式称作“合并” 模式。而另一种模式称作自适应性运动向量预测(AMVP)。在合并模式中,编码器经 由预测语法的位流发信号来指示解码器从帧的当前块的所确定候选运动向量复制运 动向量、参考索引(在给定参考图像列表中识别运动向量所指向的参考帧)和运动预测 方向(其识别参考图像列表(列表0或列表1),即,按照参考帧在时间上领先或是后继 于当前帧)。此操作通过在位流中用信号表示识别具有所确定候选运动向量的候选块 (即,特定的空间MVP候选或时间MVP候选)的索引来完成。

因此,对于合并模式,预测语法可包含识别所述模式(在此情况下为“合并”模 式)的旗标和识别所确定候选块的位置的索引。在一些实例中,候选块将为关于当前 块的因果性块。即,候选块将已被译码。因此,编码器或解码器已经接收和/或确定 了候选块的运动向量、参考索引和运动预测方向。由此,对解码而言,解码器可仅 仅从存储器检索与候选块相关联的运动向量、参考索引和运动预测方向且为当前块 复制这些值。为了在合并模式中解码块,解码器获得预测值块,并将残余数据添加 到预测值块以重建构经译码块。

在AMVP模式中,编码器经由位流发信号指示解码器仅从候选部分复制运动向 量,并将参考帧和预测方向分别发信号。在AMVP中,可通过发送运动向量差(MVD) 来用信号表示待复制的运动向量。MVD为当前块的当前运动向量与候选块的候选运 动向量之间的差异。在此情况下,编码器使用运动估计确定待译码的块的实际运动 向量,且接着将实际运动向量与运动向量预测值之间的差异确定为MVD值。以此方 式,解码器并不需要使用针对当前运动向量的候选运动向量的精确复制(正如在合并 模式中一样),但却可使用其值可能与从运动估计所确定的当前实际运动向量“接 近”的候选运动向量并添加MVD以再生当前运动向量。此外,解码器添加相应残余 数据以重建构经译码块。

在大多数情况下,MVD需要比整个当前运动向量少的位来发信号。由此,AVMP 经由发送整体运动向量而在改良译码效率的同时允许当前运动向量的更精确发信 号。相比之下,合并模式并不允许指定MVD,且由此,合并模式为了提高发信号效 率(即,更少的位)而牺牲了运动向量发信号的精确度。AVMP的预测语法可包含所述 模式(在此情况下为AMVP)的旗标、候选块的索引、候选块的当前运动向量与候选运 动向量之间的MVD、参考索引和运动预测方向。

图4A为说明针对自适应性运动向量预测模式从中确定运动向量预测值候选的 空间和时间相邻视频块的概念图。图4B为说明针对合并模式从中确定运动向量预测 值候选的空间和时间相邻视频块的概念图。在任一模式中,视频编码器20(例如,图 2的预测模块41)和视频解码器30(例如,图3的预测模块81)中的每一者确定同一运 动向量预测值候选列表以从中确定当前PU94或95的运动向量。AMVP模式下的运 动向量预测值候选可包含当前PU94的空间相邻块的运动向量。举例来说,图4A中 所说明的相邻块A、B、C、D和E。合并模式下的运动向量预测值候选可包含当前 PU95的空间相邻块的运动向量。举例来说,图4B中所说明的相邻块A′、B′、C′和 D′。运动向量预测值候选还可包含当前PU94的并列块96或当前PU95的并列块97 的时间相邻块的运动向量。例如图4A和图4B中所说明的相邻块T1、T2、T′1和T′2。 运动向量预测值候选块的其它配置可用于每一模式。在一些情况下,运动向量预测 值候选可包含两个或两个以上相邻块的运动向量的组合,例如,所述两个或两个以 上的相邻块的平均值、中位值或加权平均值。

在AMVP模式的情况下,可确定运动向量预测值候选列表包含空间或时间相邻 块的运动向量。接着视频编码器20从候选列表确定当前PU94的最精确运动向量预 测值候选。在实例中,视频编码器20可将从相邻块中的一者的运动向量产生的运动 向量预测值候选确定为当前PU94的运动向量预测值。在另一实例中,视频编码器 20可将从相邻块中的两者或更多者的运动向量产生的运动向量预测值候选确定为当 前PU94的运动向量预测值。在此情况下,可将运动向量预测值计算为两个或两个 以上运动向量的平均值、中位值或加权平均值。视频编码器20接着确定运动向量预 测值与当前PU94的运动向量之间的运动向量差。视频编码器20接着将运动向量差 和当前PU94的运动向量预测值索引发信号到视频解码器30。

视频编码器30接收表示包含运动向量差和视频块的运动向量预测值索引的经编 码视频块的位流。为了对视频块进行解码,视频解码30以与视频编码器20相同的 方式产生运动向量预测值候选列表。视频解码器30通过将当前PU94的经发信号的 运动向量预测值索引应用于候选列表来确定当前PU94运动向量预测值。接着视频 解码器30将经发信号的运动向量差与已确定的运动向量预测值组合以重建构当前 PU94的运动向量。视频解码器30使用当前PU94的运动向量来将预测性块定位于 参考图像中以重建构经编码视频块。

在合并模式的情况下,可产生运动向量预测值候选列表以包含空间或时间相邻 块中的每一者的全部运动信息(包含运动向量、参考图像索引和预测方向)。接着视频 编码器20从候选列表中的相邻块确定当前PU95的最精确运动信息。代替将当前PU 95的运动向量差、参考图像索引和预测方向发信号到视频解码器30,视频编码器20 直接将相邻块的已确定的运动信息用作当前PU95的最终运动信息。以此方式,视 频编码器20仅将用以指示借以得出当前PU95的全部运动信息的相邻块的索引发信 号到视频解码器30。

视频解码器30接收表示包含视频块的索引值的位流。为了对视频块进行解码, 视频解码器30以与视频编码器20相同的方式确定运动向量预测值候选列表。视频 解码器30通过将经发信号的索引应用于候选列表来确定当前PU95的全部运动信息 (包含运动向量、参考图像索引和预测方向)以确定相邻块的运动信息。接着视频解码 器30使用当前PU95的运动向量来定位预测性块以重建构经编码视频块。

图5为说明参考图像100和通过当前PU或视频块94的运动向量预测值候选而 定位于参考图像边界102外侧的预测块106和108的概念图。当前在合并模式或 AMVP模式下,可剪裁识别相对于当前PU94位于参考图像边界102外侧的预测块(例 如106或108)的运动向量预测值候选以将预测块重定位于填补区域104内。参考图 像边界102经确定为最小CU大小的倍数。举例来说,如果最小CU大小为8×8,且 待译码区域为33×33,那么将所述图像译码为具有33×33裁切区域的40×40区域。通 常并未为解码器界定所述裁切区域。解码器可解码为最小CU大小的某一倍数的区 域。为运动补偿而发生的填补通过在40×40区域将像素有效复制到无穷大而从40×40 区域的边界开始。本发明的技术消除了对运动向量预测值候选的剪裁。

作为实例,当前PU94的相邻块(例如,来自图4A的块E)可具有指向位于相关 联的参考图像100的右下边缘的预测块(未在图5中展示)的运动向量。当应用于当前 PU94时,运动向量预测值候选具有与相邻块相同的尺寸和方向,但是其中一起点平 移到当前PU94的左上角。如图4A中所图示,与相邻块E相比,当前PU94定位于 更靠右边。因此,相对于当前PU94,运动向量预测值候选可指向位于参考图像边界 102外侧的预测性块108。换句话说,运动向量预测值候选相对于当前PU94的“起 始”移位以使得运动向量预测值候选的“末端”可指向参考图像边界102外的区域。

传统上,可将关于当前视频块94而确定的运动向量剪裁为若干值以使得整个预 测块包含于参考图像边界102内。剪裁过程用以在运动补偿之前有效地剪裁运动向 量值以便基于预测块的像素值来确定当前视频块的残余数据。为了确定预测块的像 素值,预测块优选位于参考图像100内或至少位于填补区域104内。

一般来说,优选通过某一组值来表示参考图像边界102以外的区域。参考图像 边界102以外的区域并非为空白(即,并非零值)。而事实上,在大多数情形下,参考 图像边界以外的区域为对应于相邻参考图像的像素值。相邻参考图像可能并非可用, 这是因为还未曾对其进行编码/解码,或参考图像的值可能未被存储于存储器中。因 而,视频解码器30可通过从参考图像100的边缘复制像素值来产生填补区域104。 可将图像边缘处的值用于重复性填补。理论上,填补区域大小为无限的。实际上, 视频译码器将经配置以按最大预测单元大小来进行填补。附加填补可用于内插滤波 器。如图5中所示的填补区域104可具有与最大块(例如,树型块或LCU)的宽度相等 的宽度。然而,视频解码器30可使用重复像素值来产生填补区域以具有任何大小。

在当前HM中,对于合并模式和AMVP模式,剪裁过程在用于运动向量预测之 前还可用以有效地剪裁当前PU94和/或95的运动向量预测值候选。剪裁已确定的运 动向量预测值候选以确保相对于当前PU94定位的整个预测块(例如106或108)包含 有参考图像边界102内。用以确保预测块处于参考图像边界102内的剪裁过程为了 空间和时间运动向量预测值候选两者而发生。

剪裁操作以以下算法而实施。

本算法中的变数的定义如下:

m_pcSlice->getSPS()->getWidth():像素中的图像宽度

m_pcSlice->getSPS()->getHeight():像素中的图像高度

g_uiMaxCUWidth:像素中的最大CU宽度

g_uiMaxCUHeight:像素中的最大CU高度

m_uiCUPelX:像素中的LCU内的CU水平地址

m_uiCUPelY:像素中的LCU内的CU垂直地址

rcMv.getHor():四分之一像素单元中的水平运动向量

rcMv.getVer():四分之一像素单元中的垂直运动向量

可剪裁运动向量预测值候选以将所识别的预测块106和108移位以至少位于填 补区域104内。如图5中所图示,可剪裁运动向量预测值候选以将预测块106和108 重定位以至少完全位于围绕参考图像100的填补区域104内,但未必位于参考图像 边界102内。当运动向量预测值候选将预测块定位于参考图像边界102内或者参考 图像边界102外,但仍然完全位于填补区域104内时,运动向量预测值候选保持未 剪裁。

在关于HEVC的提议中,当运动向量预测值候选指向位于参考图像边界102外 侧的预测块(例如,预测块106和108)时,视频解码器30和/或视频编码器20剪裁运 动向量预测值候选以将预测块106和108重定位于填补区域104内。举例来说,视 频解码器30可剪裁运动向量预测值候选以使得预测块108的左上角将移动到位置 109,从而确保预测块108完全位于填补区域104内。类似地,视频解码器30可剪 裁运动向量预测值候选以使得预测块106的左上角将移动到位置107,从而确保预测 块106完全位于填补区域104内。

当确定经剪裁运动向量预测值候选以对当前视频块进行编码时,不同于未经剪 裁运动向量预测值候选的情况,需要将运动向量信息发信号到视频解码器30。举例 来说,在AMVP模式的情况下,如果相对于当前PU94的运动向量预测值候选指向 具有坐标(-5,3)的预测块106而填补区域104仅延伸到-2的x坐标,那么将基于填补 区域104的大小来剪裁运动向量预测值候选以指向坐标(-2,3),例如,位置107。如 果视频编码器20接着将经剪裁运动向量预测值候选确定为还具有指向坐标(-5,3)的 运动向量的当前PU94的运动向量预测值,那么视频编码器20必须用信号表示当前 PU94的运动向量与经剪裁运动向量预测值之间的运动向量差-3。如果运动向量预测 值候选保持未剪裁,那么视频编码器20可将运动向量差作为差量0而发信号。

根据本发明的技术,运动向量预测值候选列表产生过程中消除了运动向量预测 值候选剪裁过程。具体来说,当相对于当前PU94的运动向量预测值候选指向参考 图像边界102外的预测块(例如,106或108)时,视频编码器20和/或视频解码器30 将不会剪裁或以其它方式截断运动向量预测值候选。而事实上,未经剪裁版本的运 动向量预测值候选将包含于运动向量预测值候选列表中。所述技术可在确定当前PU 94的运动向量预测值候选时,通过并不调用上文中所陈述的剪裁算法来消除候选列 表确定过程中的剪裁过程。

如果运动向量预测值候选指向相对于当前PU94位于参考图像边界102外侧的 参考图像,那么视频编码器20和/或视频解码器30将不会在AMVP模式或合并模式 中剪裁当前PU94或95的运动向量预测值候选。因而,AMVP模式候选列表(例如, 针对图4A的当前PU94所展示的候选)和合并模式候选列表(例如,针对图4B的当 前PU95所展示的候选)可由通过合并模式和AMVP模式候选列表确定过程确定的未 经剪裁版本的运动向量预测值候选而形成。举例来说,当确定运动向量预测值候选 列表时,不考虑由相对于当前PU94的运动向量预测值候选所识别的预测块(例如, 预测块106或108)的位置,视频编码器20和/或视频解码器30包含未经剪裁版本的 运动向量预测值候选。

根据本发明的技术,在运动向量预测值候选产生过程期间,运动向量预测值候 选皆不会被剪裁。以此方式,视频编码器20和视频解码器30并不需要对包含于候 选列表中的运动向量预测值候选中的每一者进行检查以确定是否需要剪裁特定运动 向量预测值候选。在关于HEVC的提议中,视频编码器20和视频解码器30可能需 要检查每一待编码视频块的所有运动向量预测值候选,例如,5-10个候选。由此, 需要剪裁的候选运动向量可能多达5-10个。因而,通过消除运动向量预测值候选产 生过程中的剪裁过程,本发明的技术降低了视频编码器20和视频解码器30的复杂 度。

另外,根据所述技术,可基于已确定的未经剪裁运动向量预测值候选来对当前 PU94或95进行译码。举例来说,在AMVP模式的情况下,视频编码器20从候选 列表确定当前PU94的最精确的未经剪裁运动向量预测值候选。视频编码器20接着 将当前PU94的运动向量差和运动向量预测值索引发信号到视频解码器30。视频解 码器30接收表示包含视频块的运动向量差和运动向量预测值索引的经编码视频块的 位流。视频解码器30通过将当前PU94的经发信号的运动向量预测值索引应用到候 选列表来确定当前PU94的未经剪裁运动向量预测值候选。视频解码器30接着将经 发信号的运动向量差与已确定的未经剪裁运动向量预测值候选组合以重建构当前PU 94的运动向量。视频解码器30使用当前PU94的运动向量来将预测性块定位于参考 图像中,从而重建构经编码的视频块。

作为另一实例,在合并模式的情况下,视频编码器20从候选列表中的相邻块确 定当前PU95的最精确运动信息(包含未经剪裁运动向量预测值候选)。视频编码器 20用信号表示索引以向视频解码器30指示借以得出当前PU95的全部运动信息的相 邻块。视频解码器30接收表示包含视频块的索引值的经编码视频块的位流。视频解 码器30通过将经发信号的索引应用于候选列表来确定当前PU95的全部运动信息(包 含未经剪裁运动向量预测值候选)。视频解码器30接着确定当前PU95的运动向量与 已确定的未经剪裁运动向量预测值候选相等。视频解码器30接着使用当前PU95的 运动向量来定位预测性块以重建构经编码的视频块。

在一些情况下,基于已确定的未经剪裁运动向量预测值候选针对当前PU94或 95而确定的运动向量可在参考图像边界之外。接着可在运动补偿期间剪裁此未经剪 裁运动向量。由此,本发明的技术防止了在运动向量预测候选确定过程期间对运动 向量候选的不必要剪裁,然而,如果所述运动向量候选实际是用于运动补偿,那么 其仅剪裁参考图像边界之外的运动向量。

举例来说,当在不剪裁的情况下使用合并模式或AMVP模式的运动向量预测值 候选时,从运动向量预测值候选所确定的当前PU94或95的运动向量可指向在参考 图像边界102外侧的预测块。然而,通过填补过程和/或剪裁过程来在运动补偿期间 对此问题加以处置。更具体来说,当已确定的运动向量指向位于参考图像边界102 外侧的预测块时,视频编码器20或视频解码器30可扩展填补区域104以包含预测 性块,或可剪裁已确定的运动向量以将预测块重定位于填补区域104内。在任一情 况下,用以重建构经编码视频块的经识别的预测块将包含填补区域值,即从参考图 像102的边缘重复的像素值。

使用针对合并模式和AMVP模式的未经剪裁运动向量预测值候选在降低视频编 码器20和视频解码器30的复杂度的同时,并不改变运动补偿过程。根据本发明的 技术,消除了运动向量预测值候选列表确定过程中的剪裁过程,以使得运动向量预 测值候选保持未剪裁。然而,如果在运动补偿期间用以预测像素值的预测块超出参 考图像边界102,那么在运动补偿期间仍可剪裁从已确定的未经剪裁运动向量预测值 候选所确定的当前PU94或95的运动向量。以此方式,视频编码器20或视频解码 器30仍重定位预测块以位于参考图像边界102内填补区域104内而不必剪裁包含于 候选列表中的全部运动向量预测值候选。

举例来说,在AMVP模式的情况下,视频解码器30通过将当前PU94的经发信 号的运动向量预测索引应用于候选列表来确定当前PU94的未经剪裁运动向量预测 值候选。已确定的未经剪裁运动向量预测值候选可指示相对于当前PU94位于参考 图像边界102外侧的预测块。在一些情况下,经发信号的运动向量差(当与已确定的 未经剪裁运动向量预测值候选组合以确定当前PU94的运动向量时)将使预测块处于 参考图像边界102内。在其它情况下,当前PU94的已确定的运动向量仍将指示位 于参考图像边界102(其需要附加填补或剪裁)外侧的预测块。

作为另一实例,在合并模式的情况下,视频解码器30通过将经发信号的索引应 用于候选列表来确定当前PU96的全部运动信息(包含未经剪裁运动向量预测值候 选)。已确定的未经剪裁运动向量预测值候选可指示相对于当前PU96位于参考图像 边界102外侧的预测块。在合并模式中,视频解码器30确定当前PU96的运动向量 与已确定的未经剪裁运动向量预测值候选相等。因而,当前PU96的已确定的运动 向量仍将指示位于参考图像边界102的预测块,所述参考图像边界102需要附加填 补或剪裁。

图6为使用本发明的技术来对视频进行编码的方法的实例流程图。视频编码器 20可例如使用如上文中所描述的运动估计过程来初始计算视频块的当前预测单元的 运动向量(120)。接着,视频编码器20确定未剪裁运动向量的运动向量预测值候选 (122)。如上文所描述,可取决于正使用的运动向量预测过程的类型(例如,AMVP或 合并模式)来产生不同运动向量预测值候选列表。举例来说,对于AMVP模式,来自 PU94的图4A中所示的相邻块的运动向量可包含于PU94的运动向量预测值候选列 表中,而对于合并模式,来自PU95的图4B中所示的相邻块的运动向量可包含于 PU95的运动向量预测值候选列表中。

基于所计算的运动向量,视频编码器20接着从运动向量候选列表确定未经剪裁 运动向量(124)。已确定的候选运动向量保持未剪裁,而无论其指向相对于当前经译 码PU处于图像边缘内侧或是外侧的参考块。接着,视频编码器20对索引进行编码 以识别已确定的未经剪裁运动向量候选(126)。在合并模式中,仅编码已确定的未经 剪裁运动向量候选的索引,这是因为还从已确定的候选运动向量复制了运动信息而 非运动向量(例如,参考帧索引、预测方向)。在AMVP模式中,还可对附加运动信 息进行编码,包含运动向量差(即,经计算的运动向量与已确定的未经剪裁运动向量 之间的差异)、参考帧索引和预测方向。视频编码器20可在运动补偿过程期间剪裁实 际用于运动补偿的任何已确定的运动向量。

图7为使用本发明的技术来对视频进行解码的方法的实例流程图。首先,视频 解码器30接收指示运动信息的语法元素(140)。如果正解码的特定视频块正于合并模 式下操作,那么指示运动信息的语法元素可包含识别来自运动向量候选列表的特定 运动向量候选的索引。此外,正使用的特定运动向量候选列表可取决于正使用的运 动向量预测模式(例如,AMVP或合并模式)。如果正解码的特定视频块正于AMVP 模式下操作,那么指示运动信息的语法元素可包含识别来自运动向量候选列表的特 定运动向量候选、预定向量差、参考帧索引和预测方向的索引。

接着,视频解码器30在不剪裁运动向量的情况下确定运动向量预测值候选列表 (142)。再次,如同视频解码器20,所使用的特定候选列表可取决于正使用的运动向 量预测过程。无论所述运动向量指向相对于正解码的视频块电流位于参考图像边界 内侧或是外侧的参考块,皆不剪裁运动向量候选列表中的运动向量。基于所接收的 语法元素,视频解码器30从运动向量候选列表确定未经剪裁运动向量(144)。如果所 确定的特定运动向量正好指向相对于正解码的当前视频块位于参考图像边界外侧的 参考图像,那么视频解码器30接着可剪裁供在运动补偿过程期间使用的已确定的运 动向量(146)。在此情况下,对运动向量的剪裁为非标准化过程,这是因为填补在理 论上是无穷的且如果填补充足那么剪裁可能并非必要。此处提及的剪裁过程仅影响 运动补偿过程。即,经剪裁运动向量仅用于运动补偿,且不应用于进一步运动向量 导出等。以此方式,改为仅剪裁指向参考图片边界之外的实际使用的参考图片的运 动向量或剪裁参考图像边界外侧的全部运动向量预测候选。

接着视频解码器30使用运动补偿过程来解码使用经剪裁运动向量(如果已确定 的运动向量位于参考图像边界外侧)或未经剪裁运动向量(如果已确定的运动向量并 不在参考图像边界之外)的当前视频块(148)。在合并模式中,直接从从所接收的运动 向量信息语法元素确定的运动向量候选复制用于运动补偿的运动向量、参考帧和预 测方向。在AMVP中,将参考帧和预测方向在所接收的运动信息语法元素中明确指 出。通过将所接收的运动向量差与所确定运动向量相加来计算用于运动补偿的运动 向量。

在一个或一个以上实例中,所描述的功能可在硬件、软件、固件或其任何组合 中实施。如果在软件中实施,那么功能可作为一个或一个以上指令或代码而存储于 计算机可读媒体上或经由计算机可读媒体而传输,且通过基于硬件的处理单元执行。 计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体) 或通信媒体,通信媒体包含(例如)根据通信协议促进计算机程序从一处传送到另一处 的任何媒体。以此方式,计算机可读媒体大体上可对应于(1)非暂时性的有形计算机 可读存储媒体,或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一个或一 个以上计算机或一个或一个以上处理器存取以检索指令、代码和/或数据结构以用于 实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒 体。

作为实例而非限制,这些计算机可读存储媒体可包括RAM、ROM、EEPROM、 CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器,或可 用以存储呈指令或数据结构的形式的所要代码且可由计算机存取的其它任何媒体。 而且,任何连接可适当地称为计算机可读媒体。举例来说,如果使用同轴电缆、光 缆、双绞线、数字订户线(DSL)或无线技术(例如,红外线、无线电和微波)而从网站、 服务器或其它远程源发射指令,那么同轴电缆、光缆、双绞线、DSL或无线技术(例 如,红外线、无线电和微波)包含于媒体的定义中。然而,应理解,计算机可读存储 媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体,而是有关非暂时 性有形存储媒体。如本文中所使用,磁盘和光盘包含紧密光盘(CD)、激光光盘、光 学光盘、数字影音光盘(DVD)、软性磁盘和蓝光光盘,其中磁盘通常以磁性方式再生 数据,而光盘通过激光以光学方式再生数据。以上各物的组合还应包含于计算机可 读媒体的范围内。

可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路 (ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一个或一个 以上处理器来执行指令。因此,本文中所使用的术语“处理器”可指代上述结构或 适于实施本文中所描述的技术的其它任何结构中的任一者。另外,在一些方面中, 可将本文中所描述的功能性提供于经配置以用于编码和解码的专用硬件和/或软件模 块内,或并入于组合式编码解码器中。又,所述技术可完全实施于一个或一个以上 电路或逻辑元件中。

本发明的技术可以多种装置或设备予以实施,所述装置或设备包含无线手机、 集成电路(IC)或IC集合(例如,芯片集)。在本发明中描述各种组件、模块或单元以强 调经配置以执行所揭示技术的装置的功能方面,但未必要求通过不同硬件单元来实 现。而是,如上文所描述,可将各种单元组合于编码解码器硬件单元中,或通过互 操作性硬件单元(包含如上文所描述的一个或一个以上处理器)的集合且结合适宜软 件和/或固件来提供所述单元。

已描述各种实例。这些和其它实例属于随附权利要求书的范围内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号