用于视频序列中的随机存取点图片的经解码图片缓冲器处理

摘要

本发明揭示用于处理视频数据的系统、方法和装置。一些实例接收用于视频数据序列的待解码的当前图片的切片。这些实例还可在所述切片的切片标头中接收至少一个经熵译码语法元素和至少一个非熵译码语法元素，其中所述非熵译码语法元素在所述切片标头中在所述经熵译码语法元素之前且指示在解码次序上在所述当前图片之前的图片是否将从经解码图片缓冲器清空而不被输出。其可基于所述非熵译码语法元素解码所述切片。

说明书

本申请案主张以下各者的权益：

2012年5月4日申请的第61/643,100号美国临时申请案，

2012年4月20日申请的第61/636,566号美国临时申请案，以及

2012年7月2日申请的第61/667,371号美国临时申请案，

所述临时申请案中的每一者的全部内容以引用的方式并入本文中。

技术领域

本发明大体上涉及处理视频数据，且更明确地说，涉及视频序列中的随机存取点 (RAP)图片的译码。

背景技术

数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、 无线广播系统、个人数字助理(PDAs)、膝上型或桌上型计算机、平板计算机、电子书阅 读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、 蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装 置、转码器、路由器或其它网络装置，及其类似者。数字视频装置实施视频压缩技术， 例如，由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频 译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩 展中所描述的视频压缩技术。视频装置通过实施这些视频压缩技术可以更有效地发射、 接收、编码、解码和/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或移除视频序列 中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分) 可分割成视频块，视频块还可被称作树块、译码树单元(CTU)、译码单元(CU)和/或译码 节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I) 切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同 一图片中的相邻块中的参考样本的空间预测，或相对于其它图片中的参考样本的时间预 测。图片可被称为帧，且参考图片可被称为参考帧。视频序列还可被称作位流。

空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码原始块与预测 性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及 指示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模 式及残余数据编码的。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产 生残余变换系数，接着可对残余变换系数进行量化。可扫描起初用二维阵列布置的经量 化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多的压缩。

发明内容

本发明涉及用于译码经译码视频序列中的随机存取点(RAP)图片的技术。在一些实 例中，当待解码的当前RAP图片为例如断链清洁随机存取(CRA)图片或断链存取图片 (BLA图片)等断链RAP图片时，语法元素指示经解码图片缓冲器中在解码次序上在所述 BLA图片之前的所有图片将不被输出。所述语法元素可提供于所述BLA图片的切片标 头中的靠前位置且在所述BLA图片中的每一切片的任何经熵译码切片标头参数之前。 在其它实例中，当待解码的当前RAP图片为BLA图片时，将经解码图片缓冲器中的所 有参考图片标记为不用于参考。

在一个实例中，本发明描述一种解码视频数据的方法，所述方法包含：接收用于视 频数据序列的待解码的当前图片的切片；在所述切片的切片标头中接收至少一个经熵译 码语法元素和至少一个非熵译码语法元素，其中所述非熵译码语法元素在所述切片标头 中在所述经熵译码语法元素之前且指示在解码次序上在所述当前图片之前的图片是否 将从经解码图片缓冲器清空而不被输出；以及基于所述非熵译码语法元素解码所述切 片。

在另一实例中，本发明描述一种用于处理视频数据的装置，所述装置包含一个或多 个处理器，所述一个或多个处理器经配置以：接收用于视频数据序列的待解码的当前图 片的切片；在所述切片的切片标头中接收至少一个经熵译码语法元素和至少一个非熵译 码语法元素，其中所述非熵译码语法元素在所述切片标头中在所述经熵译码语法元素之 前且指示在解码次序上在所述当前图片之前的图片是否将从经解码图片缓冲器清空而 不被输出；以及基于所述非熵译码语法元素解码所述切片。

在一个实例中，本发明描述一种编码视频数据的方法，所述方法包含：编码用于视 频数据序列的当前图片的切片；以及在所述切片的切片标头中编码至少一个经熵编码语 法元素和至少一个非熵译码语法元素，其中所述非熵译码语法元素在所述切片标头中在 所述经熵编码语法元素之前且指示在解码次序上在所述当前图片之前的图片是否将从 经解码图片缓冲器清空而不被输出。

在一个实例中，本发明描述一种用于编码视频数据的装置，所述装置包含一个或多 个处理器，所述一个或多个处理器经配置以：编码用于视频数据序列的当前图片的切片； 以及在所述切片的切片标头中编码至少一个经熵编码语法元素和至少一个非熵译码语 法元素，其中所述非熵译码语法元素在所述切片标头中在所述经熵编码语法元素之前且 指示在解码次序上在所述当前图片之前的图片是否将从经解码图片缓冲器清空而不被 输出。

在另一实例中，本发明描述一种用于解码视频数据的装置，所述装置包含：用于接 收用于视频数据序列的待解码的当前图片的切片的装置；用于在所述切片的切片标头中 接收至少一个经熵译码语法元素和至少一个非熵译码语法元素的装置，其中所述非熵译 码语法元素在所述切片标头中在所述经熵译码语法元素之前且指示在解码次序上在所 述当前图片之前的图片是否将从图片存储缓冲器清空而不被输出；以及用于基于所述非 熵译码语法元素解码所述切片的装置。

在另一实例中，本发明描述一种电脑可读储存媒体。所述计算机可读存储媒体上存 储有指令，所述指令在执行时致使装置的一个或多个处理器进行以下操作：接收用于视 频数据序列的待解码的当前图片的切片；在所述切片的切片标头中接收至少一个经熵译 码语法元素和至少一个非熵译码语法元素，其中所述非熵译码语法元素在所述切片标头 中在所述经熵译码语法元素之前且指示在解码次序上在所述当前图片之前的图片是否 将从解码图片缓冲器清空而不被输出；以及基于所述非熵译码语法元素解码所述切片。

一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述及 附图且从权利要求书中显而易见。

附图说明

图1是说明可利用本发明中描述的技术的实例视频编码和解码系统的实例的框图。

图2是说明可实施本发明中描述的技术的实例视频编码器的框图。

图3是说明可实施本发明中描述的技术的实例视频解码器的框图。

图4是说明形成用于传达视频数据的网络的部分的一组实例装置的框图。

图5是说明根据本发明中描述的技术的包含RAP图片的实例视频序列的图。

图6是说明根据本发明中描述的一或多个实例的用于译码RAP图片的实例方法的 流程图。

图7是说明根据本发明中描述的一或多个实例的用于译码RAP图片的实例方法的 流程图。

图8是说明根据本发明中描述的一或多个实例的用于译码RAP图片的实例方法的 流程图。

图9是说明根据本发明中描述的一或多个实例的用于解码切片的实例方法的流程 图。

图10是说明根据本发明中描述的一或多个实例的用于编码切片的实例方法的流程 图。

具体实施方式

本发明描述与可用作例如随机存取点或流调适点(例如时间层切换点)等的图片有关 的各种视频译码设计。举例来说，此类型的图片可为用于调适位率、帧率或空间分辨率 的切换点，其中的每一者将在本发明中大体称为RAP图片。在一些情况下，视频编码 器或视频解码器可译码在视频序列中在解码次序上定位在RAP图片之后但在输出次序 (即显示次序)上定位在随机存取点或流调适点之前的一或多个图片。这些图片可称为前 导图片。前导图片为在解码次序上在RAP图片之后但在输出次序上先于RAP图片的图 片。更具体来说，这些图片可称为RAP图片的前导图片。

清洁随机存取(CRA)图片为一种类型的RAP图片。如果解码从在视频序列中定位在 当前CRA图片之前的瞬时解码刷新(IDR)或CRA图片开始，那么可正确地解码当前CRA 图片的前导图片。然而，在出现从当前CRA图片的随机存取时，CRA图片的前导图片 无法被正确地解码。这是因为前导图片(即，在解码次序上定位在当前CRA图片之后但 在输出次序上在当前CRA图片之前的图片)可能指向不可用的先前图片(例如，在解码次 序上在BLA图片之前的图片)中用于预测参考的块。

明确地说，当随机存取解码从当前CRA图片开始时，在解码次序上驻留在当前CRA 图片之前的图片不可用。因此，在此情况下，前导图片不可解码，且在随机存取解码在 CRA图片处开始时通常被丢弃。为防止错误从取决于解码开始处而可能不可用的图片传 播，在解码次序及输出次序两者上都在CRA图片之后的所有图片不将在解码次序或输 出次序上先于CRA图片的任何图片(其包含前导图片)用作参考图片。

对于前导图片不可解码(例如，当解码从较靠前的RAP图片开始时)的情况，CRA 图片可包含断链旗标。此旗标指示CRA图片的前导图片不可解码，例如因为参考图片 归因于正解码的位流的改变而不可有效地用于解码前导图片。此类CRA图片可称为断 链清洁随机存取(BLC)图片或断链存取(BLA)图片。

断链可通常指的是位流中的位置，在该位置中，指示在解码次序上的一些后续图片 可能归因于产生位流时所执行的未指定操作而含有显著视觉假影。替代使用断链旗标或 除使用断链旗标之外，可使用BLC(或类似BLA)图片来指示视频序列中的断链。BLA或 BLC图片可例如用于多种装置中的任一者(例如服务器、媒体感知网络元件(MANE)，或 视频编辑器/剪接器)所进行的位流剪接。再次，可认为BLC图片大体类似于BLA图片， 如HEVC WD9(见下文)中所描述。尽管术语稍有不同，但BLC或BLA图片可大体指的 是其前导图片不可解码的CRA或时间层存取(TLA)图片，这些图片例如在解码从较靠前 的RAP图片开始时可能不可解码。

在本发明的各种实例中，对于BLA或BLC图片，认为前导图片不可解码，因为据 了解，在解码次序上在BLA或BLC图片之前(例如，在剪接点之前)的参考图片不可用。 根据本发明的实例，为解码当前BLA或BLC图片，可将经解码图片缓冲器中的参考图 片标记为不用于由解码器参考。明确地说，当待解码的当前图片为BLA或BLC图片时， 可将经解码图片缓冲器(DPB)中的参考图片标记为不用于由解码器参考。在另一实例中， 对于BLA或BLC图片的解码，编码器或其它装置可产生且解码器可接收例如旗标(例如 no_output_of_prior_pics_flag)等语法元素，其指示可存储在DPB中的在CRA图片或 BLA(或BLC)图片之前的所有参考图片将不被输出。在一些实例中，此旗标或其它语法 元素可由编码器或其它装置放置在BLA(或BLC)或CRA图片的切片标头中靠前处，例 如在经熵解码的元素之前，以使得所述旗标可更容易地解码，且信息可在解码过程中较 早地可用或较之于视频解码器更易由其它实体存取。举例来说，为使得功能较少的装置 (例如媒体感知网络元件(MANE)可以存取信息而不需要熵解码， no_output_of_prior_pics_flag可定位在切片标头中较靠前位置中且先于经熵译码的切片 标头参数。

在另一实例中，译码器可处理经指派以指示何时BLA(或BLC)或CRA图片具有和 不具有前导图片的NAL单元类型。注意，BLA图片实质上类似于BLC图片。一般来说， 从BLC图片到BLA图片的改变是术语改变，但BLA图片的处理还可包含添加本文所述 的NAL单元类型。举例来说，NAL单元类型可包含：NAL单元类型16，BLA_W_LP(具 有前导图片的BLA)；NAL单元类型17，BLA_W_DLP(具有可解码前导图片但不具有不 可解码前导图片的BLA)；且包含NAL单元类型18，BLA_N_LP(不具有前导图片的 BLA)。在一些实例中，这些NAL单元类型可用以指示BLA图片可包含可解码和不可解 码前导图片两者、仅包含可解码前导图片，还是根本没有前导图片。当BLA图片不具 有不可解码前导图片时，所有相关联前导图片(如果存在)都可解码。

正由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合 合作小组(JCT-VC)开发的高效率视频译码(HEVC)描述于各种工作草案中。HEVC标准的 新近草案(被称作“HEVC工作草案6”或“WD6”)描述于以下文件中：JCTVC-H1003， 布洛斯(Bross)等人，“高效率视频译码(HEVC)文本规范草案6(High efficiency video  coding(HEVC)text specification draft 6)”，ITU-T SG16 WP3的视频译码联合小组 (JCT-VC)和ISO/IEC JTC1/SC29/WG11，第8届大会；美国加利福尼亚州圣何塞，2012 年2月1日到10日，从2012年5月4日起，可以从http：//phenix.int-evry.fr/jct/doc_end_user/documents/8_San％20Jose/wg11/JCTVC-H1003-v22.zip下载，其全部内容以引用的方式并 入本文中。HEVC的最新的工作草案(WD)(被称为“HEVC WD9”)描述于布洛斯(Bross) 等人于2012年10月10日到19日在中国上海(Shanghai，CN)的ITU-T SG16 WP3和 ISO/IEC JTC1/SC29/WG11的视频译码联合协作小组(JCT-VC)第11次会议中的文献 JCTVC-K1003v13“高效率视频编码(HEVC)文本规范草案9(High efficiency video coding (HEVC)text specification draft 9)”中，所述草案从2012年12月27日起可从 http：//phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v13.zip下载，所述草案的全部内容以引用的方式并入本文中。在WD9中，用于指代断链CRA 图片的BLC图片术语已改变为BLA图片术语。因此，在本发明中通常可互换地使用BLC 与BLA术语来指代断链CRA图片。

其它实例视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262 或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(也称 为ISO/IEC MPEG-4 AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。

现将描述RAP图片的各种方面。随机存取一般是指对从不是位流中的第一经译码 图片的经译码图片开始的视频位流的解码。在例如广播和流式传输等许多视频应用中可 能需要对位流的随机存取以例如使用户在不同信道之间切换、跳转到视频的特定部分、 支持位流剪接，或切换到不同位流以用于流调适(位率、帧率、空间分辨率，等)。视频 应用可将RAP图片以规则间隔多次地和/或在所选位置插入至视频位流中以允许此特 征。

编码器和解码器可使用瞬时解码器刷新(IDR)图片用于随机存取。然而，因为IDR 图片开始经译码视频序列且始终清理经解码图片缓冲器(DPB)，所以在解码次序上在 IDR之后的图片无法使用在IDR图片之前解码的图片作为参考图片。因此，依赖于IDR 图片以用于随机存取的位流可具有显著较低的译码效率。为了提高译码效率，在开发 HEVC标准时已引入清洁随机存取(CRA)图片的概念以允许在解码次序上在CRA图片之 后但在输出次序上先于CRA图片的图片使用在CRA图片之前解码的图片作为参考图 片。因此，CRA图片可作为视频序列中的第一经解码图片用于随机存取，或可解码为已 解码较靠前RAP(例如IDR或CRA)图片的视频序列的部分。

在解码次序上在CRA图片之后但在输出次序上先于CRA图片的图片被称作CRA 图片的前导图片。如果解码从当前CRA图片之前的RAP图片开始，那么CRA图片的 前导图片可被正确地解码。然而，在出现从CRA图片的随机存取时，CRA图片的前导图 片无法被正确地解码。因此，如上文所论述，在HEVC过程中，这些前导图片在CRA 图片的随机存取解码期间通常被丢弃。为防止错误从取决于解码开始处而可能不可用的 参考图片传播，在解码次序及输出次序两者上在CRA图片之后的所有图片不应将在解 码次序或输出次序上在CRA图片前面的任何图片(其包含前导图片)用作参考图片。

在具有恢复点SEI消息的H.264/AVC中支持随机存取功能性。H.264/AVC解码器实 施方案可支持或可不支持所述功能性。在HEVC中，开始于CRA图片的位流被视为相 符位流。当位流开始于CRA图片时，CRA图片的前导图片可能指不可用参考图片，且 因此无法被正确地解码。然而，HEVC标准指定不输出开始CRA图片的前导图片，因 此得名用于CRA图片的“清洁随机存取”。为建立位流符合性要求，HEVC指定解码 过程以产生不可用于解码非输出前导图片的参考图片，即不输出的前导图片。然而，相 符解码器实施方案不需要遵循彼解码过程，只要解码器实施方案与从经译码视频序列的 开始执行解码过程时相比可产生相同输出即可。

在HEVC中，相符位流可能根本不含有IDR图像，且因此可含有经写码视频序列 或经不完全写码视频序列的子组。在HEVC WD6中，如下定义经译码视频序列。

经译码视频序列为存取单元序列，其包含在解码次序上的IDR存取单元继之以包含 所有后续存取单元直到但不包含任何后续IDR存取单元的零个或零个以上非IDR存取 单元。

“具有断链的CRA图片”的概念描述于沙利文(Sullivan等人)于2012年4月27日 到5月7日在瑞士日内瓦(Geneva，CH)的ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11 的视频译码联合协作小组(JCT-VC)第9次会议中的文献JCTVC-I0404“具有断链的CRA 图片(CRA pictures with broken links)”中，所述草案从2012年12月27日起可从 http：//phenix.int-evry.fr/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I0404-v1.zip下载，所述草案的全部内容以引用的方式并入本文中。在一个实例中，与HEVC WD6 中包含的CRA概念相比，在JCTVC-I0404中提出另外允许不处于位流的开头的CRA图 片具有不可解码的前导图片，就像开始位流的CRA图片那样。在HEVC WD6中，开始 一位流的CRA图片允许(在还称为解码次序的位流次序上)跟着归因于缺少在解码次序 上在BLA图片之前的参考图片而无法解码的前导图片。然而，不允许在位流中间的CRA 图片具有此类不可解码的前导图片。在一个实例中，在JCTVC-I0404中提出通过添加将 指示此类不可解码前导图片的潜在存在的“断链”旗标来移除此约束。

“断链”旗标在JCTVC-I0404中提议为在切片标头中的CRA图片的图片层级信息 或针对图片层级信息在某一其它地方中。在包含调适参数集(APS)的实例中，“断链” 旗标可为APS的部分。然而，一些标准并未针对APS而提供。在旗标等于1时，将允 许位流含有CRA图片的由于缺少前面的参考图片而不可解码的前导图片，即使位流开 始于在位流次序上较靠前的IDR图片或CRA图片也如此。

对于“断链”旗标等于1的CRA图片，除允许具有如本文中所论述的不可解码前 导图片之外，其图片次序计数(POC)最高有效位(MSB)设定到0。此外，断链旗标等于1 的CRA图片可包含：no_output_of_prior_pics_flag，其致使CRA图片与IDR图片以相同 的方式表现；以及random_access_pic_id，其致使CRA图片与HEVC WD6中的IDR图 片的idr_pic_id以相同方式表现。另外，当前idr_pic_id(如HEVC WD 6中)被重新命名 为random_access_pic_id，且应使其约束适用于CRA图片及IDR图片两者而非仅适用于 IDR图片。与IDR图片一样，具有等于1的broken_link_flag的CRA图片可激活不同的 序列参数集(SPS)、改变图片大小等。

在一些实例中，在切片标头或APS中用信号通知“断链”旗标将需要将正常CRA 图片改变为所谓的断链清洁随机存取(BLC)图片(在本发明中还称为BLA图片)的实体(例 如，服务器、媒体感知网络元件(MANE)，或视频编辑器/剪接器)。此实体通常将需要能 够对切片标头和/或APS进行熵编码和剖析以编码断链旗标。同样，在需要时识别BLA 或BLC图片的实体(例如，服务器、MANE，或视频编辑器)将需要能够对切片标头和/ 或APS进行熵解码和剖析以找出所述旗标。

在一些实例中，可能不允许断链CRA(BLA)图片在参数集ID与有效SPS、PPS或 APS相同的情况下激活序列参数集(SPS)、图片参数集(PPS)或APS(在由所述图片参考 时)。然而，因为BLA图片通常源自在解码次序上与先前图片不同的位流(例如，在位流 剪接情况下)，BLA或BLC图片与先前图片可使用不同SPS原始位序列有效负载(RBSP)、 PPS RBSP和APS RBSP。因此，在一些实例中，可能BLA或BLC图片与在解码次序上 在前的图片可参考(直接或间接)SPS或PPS ID的相同值。另外，在一些实例中，图片还 可能参考APS ID的相同值。因此，在解码中使用先前图片的有效SPS、PPS或APS极 可能致使BLA或BLC图片以及随后图片(不仅仅是前导图片)的解码不正确。

在正常CRA图片中不包含random_access_pic_id和no_output_of_prior_pics_flag语 法元素的实例中，在需要时将正常CRA图片改变为BLA或BLC图片的实体(例如，服 务器、媒体感知网络元件(MANE)，或视频编辑器/剪接器)将需要能够对切片标头和/或 APS进行熵编码或解码和剖析以编码所述语法元素。

因为BLA或BLC图片将通常来源于与在解码次序上在前的图片不同的位流，因此 如果no_output_of_prior_pics_flag等于0，那么经解码图片缓冲器可能溢位。结果，在解 码次序上在后的所有图片可能被不正确的解码或解码器可能甚至崩溃。

当第一位流的一部分与第二位流的一部分(其中，第二位流的部分从CRA图片(picA) 开始)剪接或级联时，可能不将CRA图片改变为BLA或BLC图片。确切地说，在解码 从先前CRA图片或IDR图片或BLA或BLC图片开始且CRA图片picA的前导图片的 解码质量可接受但不完美时(例如，当前导图片中的一或多者的检查和与经解码图片杂凑 辅助增强信息(SEI)消息中用信号通知的检查并不匹配时，如在HVEC WD6中)的情况下， 有可能将picA保持为CRA图片。然而，此方法缺乏用以在位流中指示以上信息的机制。

为解决以上问题中的一些，在一实例中，替代使用旗标来指示CRA图片具有断链 或指示断链CRA(BLA)图片，可使用相异的NAL单元类型(例如，保留在HEVC WD6 中的等于2的NAL单元类型)。在此类实例中，由NAL单元提供的信息可在无需熵编 码或解码的情况下使用。此方法可允许实体(例如，服务器、媒体感知网络元件(MANE)， 或视频编辑器/剪接器)在需要时将正常CRA图片(对于正常CRA图片，如果不是位流开 始，那么所有相关联的前导图片必须可解码(即，可正确地解码))改变为BLA或BLC图 片。此还可准许实体(例如，服务器、MANE，或视频编辑器)在需要时识别BLA或BLC 图片。

在一些实例中，替代允许BLC图片激活不同SPS，需要BLC图片激活SPS，即使 由BLC图片参考的SPS ID与用于在解码次序上在前的图片的有效SPS的SPS ID相同。 此可间接地经由PPS(如在HEVC WD6中)或通过其它方法执行，例如，经由如 JCTVC-I0338中所描述的群组参数集间接地执行或直接地执行(例如，当SPS ID直接包 含在切片标头中时)，或经由缓冲周期SEI消息而间接地执行。可能需要BLC图片激活 SPS，因为BLC图片通常来自与在解码次序上在前的图片不同的位流。另外，通常应用 具有相同或不同SPS ID的不同SPS RBSP。

BLC图片还可用以激活PPS。即使由BLC图片参考的PPS ID(经由如JCTVC-I0338 中所描述的群组参数集间接地，或直接地，例如当PPS ID直接包含在切片标头中时， 如在HEVC WD6中)与用于在解码次序上在前的图片的有效PPS的PPS ID相同也可能 是此情况。这再次是因为BLC图片通常来自与在解码次序上在前的图片不同的位流， 且通常应用具有相同或不同PPS ID的不同PPS RBSP。

在一些实例中，还需要BLA或BLC图片激活APS(如果其参考APS)，即使由BLA 或BLC图片参考的APS ID与用于在解码次序上在前的图片的有效PPS的APS ID相同 也是如此。这再次是因为BLA或BLC图片通常来自与在解码次序上在前的图片不同的 位流。另外，通常应用具有相同或不同APS ID的不同APS RBSP。

BLA或BLC图片可视为特殊类型的CRA图片，且可被定义为经译码图片(对于其 来说，NAL单元类型为用于BLC图片的NAL单元类型(例如，保留在HEVC WD6中的 等于2的NAL单元类型))。具有不同术语但具有类似效果的此定义可适用于BLA图片， 如HEVC WD9中所描述。用于非BLA CRA图片(当其在位流和相关联前导图片开始处 时)的相同解码过程可应用于解码BLA或BLC图片和相关联前导图片，即使BLA或BLC 图片不为位流中的第一图片也是如此。或者，可从CRA图片排除BLA或BLC图片， 即，可不将BLA或BLC图片视为CRA图片。在这种情况下，用于CRA图片(当其在位 流和相关联前导图片开始处时)的相同解码过程适用于解码BLA或BLC图片和相关联前 导图片，即使BLA或BLC图片不为位流中的第一图片也是如此。在以下论述中，假定 此替代方案适用。

在一些实例中，BLA或BLC存取单元可被定义为其中经译码的图片为BLA或BLC 图片的存取单元。经译码视频序列的定义可改变如下：在解码次序上包含IDR存取单元 或BLA或BLC存取单元继之以包含所有后续存取单元直到但不包含任何后续IDR或 BLA存取单元的零个或零个以上非IDR和非BLA存取单元。

替代如在JCTVC-I0404中具有仅用于所有IDR图片和BLA图片的 random_access_pic_id和no_output_of_prior_pics_flag，在另一方法中，两个字段对于所 有IDR图片、BLA和所有CRA图片始终存在。对于每一CRA图片，需要 no_output_of_prior_pics_flag等于0。在一些实例中，在需要时，可以更容易地使实体(例 如，服务器、媒体感知网络元件(MANE)或视频编辑器/剪接器)将CRA图片改变为BLA 图片。

在另一替代实例中，对于BLA图片，可能需要no_output_of_prior_pics_flag等于1。 或者，每一BLA图片不用信号通知no_output_of_prior_pics_flag，但图片输出行为与其 具有等于1的no_output_of_prior_pics_flag的情况相同。作为另一替代，每一BLA图片 用信号通知no_output_of_prior_pics_flag，但图片输出行为与其具有等于1的 no_output_of_prior_pics_flag的情况相同，而不管用信号通知的 no_output_of_prior_pics_flag的值是多少。

可例如在切片标头中用信号通知用于BLA图片的图片次序计数(POC)最高有效位 (MSB)值。如果其被用信号通知，那么在解码过程中所述值将仍被视为等于0，而不管 所述值如何。或者，在解码过程中使用用信号通知的POC MSB值，但随后剪接器需要 检查且可能改变所述值以与在解码次序上较早的图片的POC值一致。

当第一位流的一部分与第二位流的一部分(其中，第二位流的部分从CRA图片(picA) 开始)剪接或级联时，剪接器可将来自第一位流的图片保持为CRA图片。在一实例中， 当解码从在前的CRA图片、IDR图片或BLA图片开始时，CRA图片的前导图片的解码 质量可接受但不完美。举例来说，当前导图片中的一或多者的检查和与经解码图片杂凑 SEI消息中用信号通知的检查和(如在HVEC WD6中)不匹配时，解码质量可接受。

可在位流中用信号通知以上信息的指示。所述信息可经由与来自第一位流的CRA 图片相关联的指示用信号通知，例如，作为NAL单元标头或切片标头或所参考的APS 中的旗标，或与来自第一位流的CRA图片相关联的SEI消息。所述旗标可称为 exact_match_flag。在一实例中，值1指示与来自第一位流的CRA图片相关联的每一前 导图片的检查和匹配在经解码图片杂凑SEI消息中用信号通知的检查和(如果存在)。值 0指示与来自第一位流的CRA图片相关联的每一前导图片的检查和可或可不匹配在经 解码图片杂凑SEI消息中用信号通知的检查和(如果存在)。

用信号通知前导图片和CRA图片的前导图片的存在的论述提供于JCTVC-I0275中， 可在下处获得：

http：//phenix.int-evry.fr/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I0275-v2.zip； 及文献JCTVC-I0277，可在下处获得：

http：//phenix.int-evry.fr/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I0277-v3.zip， 其论述了用信号通知前导图片和CRA图片的前导图片的存在，其每一者的全部内容以 引用的方式并入本文中。在一些实例中，关于用信号通知CRA图片的前导图片的存在 的类似想法可适用于BLA或BLC图片。

使用断链RAP图片(例如BLA或BLC图片)可能存在一些问题。可提供各种改进以 解决与例如BLA或BLC图片等断链RAP图片和其它现有视频随机存取方法相关联的此 些问题。

一个问题是对于与CRA图片相关联的前导图片仅定义一个NAL单元类型可能不够 充分，因为前导图片还可能是时间层存取(TLA)图片。因此，实施本文所述的系统和方 法的编码器和解码器可能需要更多NAL单元类型来识别属于还是TLA图片的前导图片 的NAL单元和属于不是TLA图片的前导图片的NAL单元。

作为另一问题，如果BLA或BLC图片改变视频序列中的图片的空间分辨率，那么 如在HEVC WD6中针对位流开始处的CRA图片的前导图片所指定的当前解码过程无法 直接应用于BLA或BLC图片的前导图片。在一些情况下，可能看起来空间分辨率对于 当前图片与当前图片的参考图片不同。作为另一问题，在HEVC WD6中指定的解码过 程中，语法元素slice_type可能不必要地出现于IDR、CRA和BLA或BLC图片的切片 的切片标头中。

本发明大体描述用于RAP图片和用于译码尤其是在视频序列中的断链RAP图片(例 如，BLA图片)的各种技术。所述技术中的一些可解决上文所描述的问题中的一或多者， 而所述技术中的一些可提供可适用于译码随机存取图片的额外特征。

在一些实例中，当待解码的当前RAP图片为例如断链清洁随机存取(CRA)图片(BLA 图片)等断链RAP图片时，语法元素指示经解码图片缓冲器中在解码次序上在所述BLA 图片之前的所有参考图片将不被输出。此语法元素可由编码器编码，且由解码器解码。 而且，语法元素可提供于当前断链RAP图片的切片标头中的靠前位置且在当前断链RAP 图片中的每一切片的任何经熵译码切片标头参数之前。在一些实例中，在经熵译码语法 元素之前(例如在任何ue(v)元素之前)提供语法元素可准许功能较少的装置在无需熵译 码的情况下解释所述语法元素。在其它实例中，当待解码的当前RAP图片为断链RAP 图片时，将经解码图片缓冲器中的所有参考图片标记为不用于参考。此特征可准许将标 准解码过程应用于BLA或BLC图片的前导图片，即使BLA或BLC图片改变空间分辨 率也是如此。本发明中描述这些和其它实例技术。

图1是说明可利用本发明中所描述的技术的实例视频编码和解码系统10的框图。 如图1中所示，系统10包含源装置12，源装置12产生目的地装置14稍后可解码的经 编码视频数据。源装置12和目的地装置14可包括多种多样的装置中的任一者，包含桌 上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓 的“智能”电话)、所谓的“智能”平板电脑、电视机、相机、显示装置、数字媒体播放 器、视频游戏控制台、视频串流装置或类似者。在一些情况下，源装置12和目的地装 置14可经装备以用于无线通信。

在一些情况下，视频编码器20可编码在随机存取点或流调适点(例如，时间层切换 点)之后的图片。举例来说，此可为用于调适位速率、帧速率或空间分辨率的切换点。这 些图片中的一或多者可为视频序列中的CRA图片的前导图片。如果对视频序列的解码 是从视频序列中的当前CRA图片之前的RAP图片开始，那么解码器可正确地解码CRA 图片的前导图片。然而，在出现从CRA图片的随机存取时，CRA图片的前导图片无法 被正确地解码。举例来说，前导图片可指向不可用的用于预测参考的块。因此，前导图 片可能不可在视频解码器30处解码。因此，目的地装置14可通常在随机存取解码期间 丢弃这些前导图片。

在另一实例中，对于BLA或BLC图片，编码器20可编码旗标，例如 no_output_of_prior_pics_flag(其可更准确地被称作语法元素)，使得不输出DPB中的任何 先前图片。在一些实例中，此旗标或语法元素可在熵解码之前处于切片标头中靠前处， 使得其可更容易地被解码且所述信息在译码过程中较早地可用。举例来说，由于例如不 需要对no_output_of_prior_pics_flag进行熵解码，使得较不复杂的装置(例如MANE)可 存取所述信息而不需要解码器。作为说明，no_output_of_prior_pics旗标可呈现为非熵译 码语法元素，例如，以作为固定长度u(1)元素，而不是经熵译码语法元素，例如，可变 长度ue(v)元素。例如紧接在first_slice_segment_in_pic旗标之后且在任何经熵译码语法 元素之前可呈现no_output_of_prior_pics旗标。

在一个实例中，在(例如)使用存储在参考图片缓冲器中的图片可产生不正确经解码 图片时，视频解码器30可将这些图片标记为不用于参考。举例来说，在解码次序或输 出次序上在BLA或BLC图片前面的参考图片可能不能用于在解码次序上在BLA或BLC 图片之后的前导图片的参考。因此，响应于接收到在解码次序或输出次序上在BLA或 BLC图片前面的参考图片可不能用于在解码次序上在BLA或BLC图片之后的前导图片 的参考，视频解码器30可将所述参考图片标记为不用于参考。

在一实例中，视频编码器20可经配置以包含经指派以指示BLA或BLC图片何时 具有且不具有前导图片的NAL单元类型。举例来说，在一个标准中，包含NAL单元类 型16，BLA_W_LP(具有前导图片的BLA)；17，BLA_W_DLP(具有可解码前导图片的 BLA)；；及18，BLA_N_LP(不具有前导图片的BLA)。

在一实例中，视频编码器20可处理经指派以指示何时BLA图片具有及不具有前导 图片的NAL单元类型。举例来说，视频编码器20可根据多个不同网络抽象层(NAL)单 元类型中的一者来编码图片。所述多个NAL单元类型包含以下各者中的一或多者：(1) 断链存取(BLA)图片的经译码切片，其中BLA图片是具有位流中的相关联前导图片的 BLA图片；(2)BLA图片的经译码切片，其中BLA图片是具有位流中的相关联的可解码 前导图片的BLA图片；及(3)BLA图片的经译码切片，其中BLA图片是在位流中不具有 相关联前导图片的BLA图片。

目的地装置14可接收经编码视频数据。目的地装置可经由链路16解码所接收的数 据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类 型的媒体或装置。在一个实例中，链路16可包括使源装置12能够实时地将经编码视频 数据直接传输到目的地装置14的通信媒体。可根据通信标准(诸如，无线通信协议)调制 经编码视频数据，且将其发射至目的地装置14。通信媒体可包括任何无线或有线通信媒 体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于分组的网络(例如局 域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站 或可以用于促进从源装置12到目的地装置14的通信的任何其它设备。

或者，可将经编码资料从输出接口22输出到存储装置34。类似地，可通过输入接 口从存储装置34存取经编码数据。存储装置34可包含多种分布式或本地存取的数据存 储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失 性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另 一实例中，存储装置34可对应于可保持由源装置12产生的经编码视频的文件服务器或 另一中间存储装置。目的地装置14可从存储装置34经由流式传输或下载来存取所存储 的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的 地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP 服务器、网络附接存储(NAS)装置及本地磁盘驱动器。目的地装置14可以通过任何标准 数据连接(包含因特网连接)来存取经编码的视频数据。这可包含适合于存取存储于文件 服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、 电缆调制解调器等)或两者的组合。经编码的视频数据从存储装置34的发射可为流式发 射、下载发射或两者的组合。

本发明的技术不必限于无线应用或设定。所述技术可应用于视频译码以支持多种多 媒体应用，例如空中电视广播、有线电视发射、卫星电视发射、流式视频传输(例如，经 由因特网)、编码视频数据以存储于数据存储媒体上、解码存储于数据存储媒体上的视频 数据，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以 支持例如视频串流、视频回放、视频广播和/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一 些情况下，输出接口22可包含调制器/解调制器(调制解调器)及/或发射器。在源装置12 中，视频源18可包含例如视频俘获装置(例如摄像机)、包含先前俘获的视频的视频存档、 用于从视频内容提供者接收视频的视频馈入接口及/或用于产生计算机图形数据作为源 视频的计算机图形系统，或此类源的组合等源。作为一个实例，如果视频源18是摄像 机，那么源装置12和目的地装置14可以形成所谓的相机电话或视频电话。然而，本发 明中所描述的技术可大体上适用于视频译码，且可应用于无线和/或有线应用。

可由视频编码器20编码所俘获视频、预先俘获的视频或计算机产生的视频。经编 码视频数据可经由源装置12的输出接口22直接发射到目的地装置14。经编码视频数据 还可(或替代地)存储到存储装置34上以供稍后由目的地装置14或其它装置存取以用于 解码及/或回放。

目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些情况下， 输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28经由链路16 接收经编码视频数据。经由链路16传达或在存储装置34上提供的经编码视频数据可包 含由视频编码器20产生的多种语法元素以供由例如视频解码器30等视频解码器用于解 码视频数据。此些语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服 务器中的经编码视频数据包含在一起。

在一些实例中，目的地装置14的视频解码器30可解码在随机存取点或流调适点(例 如时间层切换点)之后的一或多个图片。举例来说，此可为用于调适位率、帧率(即，时 间层切换点)或空间分辨率的切换点。这些图片中的一或多者可为前导图片。当发生从 BLA或BLC图片的随机存取时，前导图片无法正确地解码。

在一实例中，为防止错误从取决于解码开始处而可能不可用的参考图片传播，视频 解码器30可不将在解码次序及输出次序两者上先于BLA或BLC图片的任何图(其包含 前导图片)用作参考图片。

在各种实例中，视频解码器30在解码BLA或BLC图片时可在解码BLA图片之前 将DPB中的所有参考图片标记为不用于参考。举例来说，视频解码器30可将经解码图 片缓冲器(DPB)中的参考图片标记为不用于参考。

在另一实例中，编码器20可在位流中包含且解码器30可接收用于待解码的BLA 图片的旗标或其它语法元素，例如no_output_of_prior_pics_flag。当等于1时，所述旗标 指示DPB中的所有先前图片都不输出以用于显示。明确地说，当 no_output_of_prior_pics_flag等于1时，解码器30清空经解码图片缓冲器中的所有图片 存储缓冲器而不输出其含有的图片。在一些实例中，此旗标或语法元素可在熵解码之前 呈现于切片标头中极靠前处，使得其可更容易地被解码而不需要熵译码，且所述信息可 在译码过程中较早地可用。举例来说，由于例如不需要对no_output_of_prior_pics_flag 进行熵解码，使得较不复杂的装置(例如MANE)可存取所述信息而不需要解码器。

在另一实例中，视频解码器30可处理经指派以指示何时BLA或BLC图片具有及 不具有前导图片的NAL单元类型。(再次，如上文所描述，BLA图片在概念上与BLC 图片大体相同，相同之处在于BLA与BLC图片表示断链CRA图片。)在一个实例中， 视频解码器30可根据多个不同网络抽象层(NAL)单元类型中的一者来解码图片。所述多 个NAL单元类型包含以下各者中的一或多者：(1)断链存取(BLA)图片的经译码切片，其 中BLA图片是具有位流中的相关联前导图片的BLA图片；(2)BLA图片的经译码切片， 其中BLA图片是具有位流中的相关联的可解码前导图片的BLA图片；及(3)BLA图片的 经译码切片，其中BLA图片是在位流中不具有相关联前导图片的BLA图片。

在一些实例中，视频解码器30经配置以在其检测到BLA NAL单元类型的情况下将 所有参考图片标记为不用于参考。如果解码器30检测到BLA NAL单元类型，那么参考 图片不可有效地用于解码BLA图片或在解码或输出次序上在BLA图片之后的任何图 片。

显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目 的地装置14可包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中， 目的地装置14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户， 且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光 二极管(OLED)显示器或另一类型的显示装置。

视频编码器20和视频解码器30可根据视频译码标准(例如目前正在开发的高效率视 频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和 视频解码器30可以根据其它专有或业界标准来操作，所述标准例如是ITU-T H.264标准， 也被称为MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展。然而，本发 明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T  H.263。

尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音 频编码器及解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或 其它硬件及软件，以处理对共同数据流或单独数据流中的音频与视频两者的编码。在一 些实例中，如果适用的话，多路复用器-多路分用器单元可以复合ITU H.223多路复用 器协议，或例如用户数据报协议(UDP)等其它协议。

视频编码器20和视频解码器30各自可实施为例如一或多个微处理器、数字信号处 理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、 固件或其任何组合等多种合适编码器电路中的任一者。当部分地用软件实施所述技术 时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中且使用一或 多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30 中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集 成为相应装置中的组合编码器/解码器(编解码器)的部分。

JCT-VC正在努力开发HEVC标准。所述HEVC标准化努力是基于被称作HEVC测 试模型(HM)的视频译码装置的进化的模型。HM假设视频译码装置根据例如ITU-T H.264/AVC相对于现存装置的几个额外能力。举例来说，虽然H.264提供了九种帧内预 测编码模式，但是HM可提供多达三十三种帧内预测编码模式。

总的来说，HM的工作模型描述视频帧或图片可以分成包含明度和色度样本两者的 一连串树块或最大译码单元(LCU)。树块具有与H.264标准的宏块类似的目的。切片包 含译码次序的多个连续树块。视频帧或图片可以分割成一或多个切片。每一树块可以根 据四叉树分裂成译码单元(CU)。举例来说，作为四叉树的根节点的树块可分裂成四个子 节点，且每一子节点又可为父节点且可分裂成另外四个子节点。最终的未分裂子节点(为 四叉树的叶节点)包括译码节点，即经译码视频块。与经译码位流相关联的语法数据可界 定树块可分裂的最大次数，且还可界定译码节点的最小大小。

CU包含译码节点和与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的 大小对应于译码节点的大小并且形状必须是正方形。CU的大小可以从8x8像素到具有 最大64x64像素或更大的树块的大小变动。每一CU可含有一或多个PU及一或多个TU。 举例来说，与CU相关联的语法数据可描述CU到一或多个PU的分割。分割模式可以 在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有区别。 PU可以分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四 叉树到一或多个TU的分割。TU可为正方形或非正方形形状。

HEVC标准允许根据TU变换，TU可以针对不同CU而有所不同。TU的大小通常 是基于针对经分割LCU定义的给定CU内的PU的大小而确定，但是情况可能并不总是 如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU残余样本可以使 用一种被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被 称为变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，所述变换系数 可以经量化。

一般来说，PU包含与预测过程有关的数据。举例来说，当PU经帧内模式编码时， PU可包括描述PU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时， PU可包括界定PU的运动向量的数据。举例来说，定义PU的运动向量的数据可以描述 运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精 度或八分之一像素精度)、运动向量指向的参考图片和/或运动向量的参考图片列表(例 如，列表0、列表1或列表C)。

一般来说，TU用于变换及量化过程。具有一或多个PU的给定CU还可包含一或多 个变换单元(TU)。在预测之后，视频编码器20可计算对应于PU的残余值。残余值包括 像素差值，所述像素差值可变换成变换系数、经量化且使用TU进行扫描以产生串行化 变换系数用于熵译码。本发明通常使用术语“视频块”来指CU的译码节点。在一些特 定情况下，本发明还可使用术语“视频块”来指包含译码节点以及PU及TU的树块， 即LCU或CU。

视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个 视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数 据，其描述GOP中包含的图片的数目。图片的每一切片可包含切片语法数据，其描述 用于相应切片的编码模式。视频编码器20通常对各个视频切片内的视频块进行操作以 便编码视频数据。视频块可以对应于CU内的译码节点。视频块可以具有固定或变化的 大小，并且根据指定译码标准可以有不同大小。

作为一实例，HM支持各种PU大小的预测。假设特定CU的大小是2Nx2N，则HM 支持2Nx2N或NxN的PU大小的帧内预测，及2Nx2N、2NxN、Nx2N或NxN的对称 PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的 帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而另一方向分割成 25％及75％。CU的对应于25％分区的部分由“n”继之以“上方(U)”、“下方(D)”、 “左侧(L)”或“右侧(R)”指示来指示。因而，举例来说，“2NxnU”是指水平地分割 的2Nx2N CU，其中上方有2Nx0.5N PU，而下方有2Nx1.5N PU。

在本发明中，“NxN”与“N乘N”可以互换使用来指代在垂直和水平尺寸方面的 视频块的像素尺寸，例如，16x16像素或16乘16像素。一般来说，16x16块将在垂直 方向上具有16个像素(y＝16)，并且在水平方向上具有16个像素(x＝16)。同样，NxN块 总体上在垂直方向上具有N个像素，并且在水平方向上具有N个像素，其中N表示非 负整数值。一块中的像素可布置成若干行和若干列。此外，块未必需要在水平方向与垂 直方向上具有相同数目的像素。举例来说，块可包括NxM像素，其中M未必等于N。

在使用CU的PU的帧内预测性或帧间预测性译码之后，视频编码器20可以计算 CU的TU的残余数据。PU可包括空间域(还称为像素域)中的像素数据，且TU在将变 换应用到残余视频数据之后可包括变换域中的系数，所述变换例如离散余弦变换(DCT)、 整数变换、小波变换或概念上类似的变换。所述残余数据可以对应于未编码图片的像素 与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于CU的残余数据 的TU，并且接着变换TU以产生用于CU的变换系数。

在任何用于产生变换系数的变换之后，视频编码器20可以执行变换系数的量化。 量化大体上是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压 缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，n位值 可在量化期间被下舍入到m位值，其中n大于m。

在一些实例中，视频编码器20可以利用预定义扫描次序来扫描经量化变换系数以 产生可被熵编码的串行化向量。在其它实例中，视频编码器20可以执行自适应扫描。 在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应 可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自 适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对所述一维 向量进行熵编码。视频编码器还20可对与经编码的视频数据相关联的语法元素进行熵 编码以供视频解码器30在对视频数据解码时使用。

为了执行CABAC，视频编码器20可以向待发射的符号指派上下文模型内的一个上 下文。举例来说，所述上下文可以涉及符号的相邻值是否为非零。为了执行CAVLC， 视频编码器20可以选择用于待发射的符号的可变长度码。VLC中的码字可经建构而使 得相对短的代码对应于更有可能的符号，而较长的代码对应于不太可能的符号。以此方 式，使用VLC可以举例来说实现优于对待发射的每一符号使用等长码字的位节省。概 率确定可基于指派给符号的上下文。

图2是说明可实施本发明中所描述的用于译码断链RAP图片的技术的实例视频编 码器20的框图。视频编码器20可以对视频切片内的视频块执行帧内和帧间译码。帧内 译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码 依赖于时间预测来减少或移除视频序列的邻接帧或图片内的视频中的时间冗余。帧内模 式(I模式)可以指若干基于空间压缩模式中的任一者。例如单向预测(P模式)或双向预测 (B模式)等帧间模式可以指代若干基于时间的压缩模式中的任一者。

在图2的实例中，视频编码器20包含分割模块35、预测模块41、滤波器模块63、 参考图片存储器64、求和器50、变换模块52、量化模块54，及熵编码模块56。预测模 块41包含运动估计模块42、运动补偿模块44，和帧内预测模块46。为了视频块重构， 视频编码器20还包括反量化模块58、反变换模块60和求和器62。滤波器模块63既定 表示一或多个环路滤波器，例如解块滤波器、自适应环路滤波器(ALF)和样本自适应偏 移(SAO)滤波器。尽管滤波器模块63在图2中说明为环内滤波器，但在其它配置中，滤 波器模块63可实施为环后滤波器(post loop filter)。

如图2中所说明，视频编码器20接收视频数据，且分割模块35可以将所述数据分 割成视频块。此分割还可包含分割成切片、瓦片或其它较大单元，以及视频块分割(例如 根据LCU及CU的四叉树结构)。视频编码器20大体上说明编码待编码视频切片内的视 频块的组件。所述切片可以划分成多个视频块(且可能划分成被称作瓦片的视频块集合)。 预测模块41可基于错误结果(例如，译码速率及失真等级)针对当前视频块选择多种可能 译码模式中的一者，例如多种帧内译码模式中的一者或多种帧间译码模式中的一者。预 测模块41可将所得经帧内或帧间译码块提供到求和器50以产生残余块数据，且提供到 求和器62以重建经编码块以用作参考图片。

如上文所论述，在一些情况下，视频编码器20可编码随机存取点或流调适点(例如， 时间层切换点)，例如BLA或BLC图片。举例来说，所述编码可发生在熵编码模块56 内，所述熵编码模块56可执行熵编码及非熵编码两者。这些图片中的一或多者可为CRA 图片的前导图片。如果解码从当前CRA图片之前的RAP图片开始，那么CRA图片的 前导图片可被正确地解码。然而，在出现从CRA图片的随机存取时，CRA图片的前导图 片无法被正确地解码。举例来说，前导图片可指向不可用的用于预测参考的块。因此， 前导图片可能不能在视频解码器30解码。因此，通常在随机存取解码期间丢弃这些前 导图片。

在一实例中，视频编码器20可在切片标头中提供旗标，例如 no_output_of_prior_pics_flag或语法元素，使得不输出DPB中的先前图片中的任一者， 即，在BLA或BLC图片之前的图片。在一些实例中，此旗标(或语法元素)可在熵编码 之前处于切片标头中靠前处，使得其可例如在解码器30处更容易地被解码且所述信息 可在译码过程中较早地可用。所述语法元素或旗标可由熵编码模块56(其可执行非熵编 码)编码在例如BLA或BLC图片的切片标头中。此对于例如MANE等中间装置可为有 用的，使得由语法元素或旗标提供的所述信息可以在不熵解码的情况下可用于中间装 置，但其还可有助于解码器在熵解码之前存取此类信息。

举例来说，视频编码器20(例如，熵编码模块56)可包含语法元素，所述语法元素指 示图片存储缓冲器被清空而不从图片存储缓冲器输出任何图片。所述语法元素在设定时 可致使在解码次序上在当前图片之前且在解码所述当前图片时驻留在图片存储缓冲器 中的图片从图片存储缓冲器清空而不输出。在一些实例中，所述语法元素可为多个语法 元素中的一者。另外，所述多个语法元素可包含经熵译码切片标头语法元素及非熵译码 切片标头语法元素。在一实例中，指示图片存储缓冲器被清空而不从图片存储缓冲器输 出任何图片的语法元素在任何经熵译码切片标头语法元素之前包含在切片标头中，使得 所述语法元素自身未被熵译码。

在一些实例中，所述语法元素可为no_output_of_prior_pics_flag且 no_output_of_prior_pics_flag可包含于紧接在first_slice_in_pic_flag之后的切片标头中。 first_slice_in_pic_flag可为指示切片是否在解码次序上是图片的第一切片的旗标。

在一实例中，视频编码器20可经配置以包含经指派以指示BLA或BLC图片何时 具有且不具有前导图片的NAL单元类型。举例来说，在一个标准中，包含NAL单元类 型16，BLA_W_LP(具有前导图片的BLA)；17，BLA_W_DLP(具有可解码前导图片的 BLA)；以及18，BLA_N_LP(不具有前导图片的BLA)。这些NAL单元类型可由熵编码 模块56(其可执行非熵编码)编码。因此，基于NAL单元类型，解码器可知晓BLA图片 何时具有前导图片及前导图片何时不可解码，例如，在解码从较靠前的RAP图片开始 时。因此，此信息可能用于确定前导图片何时可被标记为不用于参考，其可触发解码器 将经解码图片缓冲器中的参考图片标记为不用于参考。

预测模块41内的帧内预测模块46可相对于与待译码当前块在相同的帧或切片中的 一或多个相邻块执行当前视频块的帧内预测性译码，以提供空间压缩。预测模块41内 的运动估计模块42及运动补偿模块44相对于一或多个参考图片中的一或多个预测块执 行当前视频块的帧间预测性译码以提供时间压缩。

运动估计模块42可经配置以根据用于视频序列的预定模式为视频切片确定帧间预 测模式。预定模式可将序列中的视频切片标明为P切片、B切片或GPB切片。运动估计 模块42与运动补偿模块44可以高度集成，但出于概念目的分开加以说明。运动估计模 块42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说， 运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的 位移。

预测性块是被发现在像素差方面与待译码视频块的PU密切匹配的块，像素差可通 过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中，视频编 码器20可以计算存储在参考图片存储器64中的参考图片的子整数像素位置的值。举例 来说，视频编码器20可以内插四分之一像素位置、八分之一像素位置或参考图片的其 它分数像素位置的值。因此，运动估计模块42可以相对于整数像素位置和分数像素位 置执行运动搜索并且输出具有分数像素精确度的运动向量。

运动估计模块42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧 间译码切片中的视频块的PU的运动向量。参考图片可以选自第一参考图片列表(列表0) 或第二参考图片列表(列表1)，其中的每一者识别存储在参考图片存储器64中的一个或 一个以上参考图片。运动估计模块42将所计算的运动向量发送到熵编码模块56和运动 补偿模块44。

由运动补偿模块44执行的运动补偿可以涉及基于通过运动估计(可能执行对子像素 精确度的内插)确定的运动向量取出或产生预测性块。在接收到当前视频块的PU的运动 向量后，运动补偿模块44即刻可以在参考图片列表中的一者中定位所述运动向量指向 的预测性块。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像 素值从而形成像素差值来形成残余视频块。像素差值形成用于所述块的残余数据，并且 可包含明度和色度差分量两者。求和器50表示执行此减法运算的组件。运动补偿模块 44还可产生与视频块和视频切片相关联的供视频解码器30在对视频切片的视频块进行 解码时使用的语法元素。

帧内预测模块46可对当前块进行帧内预测，以作为对如上文所描述的由运动估计 模块42和运动补偿模块44执行的帧间预测的替代。明确地说，帧内预测模块46可以 确定用来对当前块进行编码的帧内预测模式。在一些实例中，帧内预测模块46可以例 如在分开的编码编次期间使用各种帧内预测模式对当前块进行编码，并且帧内预测模块 46(或在一些实例中为模式选择模块40)可以从所述测试模式中选择适当帧内预测模式来 使用。举例来说，帧内预测模块46可以使用速率失真分析计算用于各种经测试帧内预 测模式的速率失真值，并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预 测模式。速率失真分析总体上确定经编码块与经编码以产生所述经编码块的原始未编码 块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内 预测模块46可以根据用于各种经编码块的失真和速率计算比率，以确定哪个帧内预测 模式对于所述块展现最佳速率失真值。

在任何状况下，在选择用于块的帧内预测模式之后，帧内预测模块46可将指示用 于块的所选帧内预测模式的信息提供到熵编码模块56。熵编码模块56可根据本发明的 技术编码指示所选帧内预测模式的信息。视频编码器20可在所发射的位流中包含配置 数据。所述位流可包含多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(还 称为码字映射表)、用于各种块的编码上下文的定义，以及用于上下文中的每一者的最可 能帧内预测模式、帧内预测模式索引表和经修改的帧内预测模式索引表的指示。

在预测模块41经由帧间预测或帧内预测产生用于当前视频块的预测性块之后，视 频编码器20通过从当前视频块减去所述预测性块而形成残余视频块。残余块中的残余 视频数据可包含在一或多个TU中且应用到变换模块52。变换模块52使用例如离散余 弦变换(DCT)或概念上类似的变换的变换将残余视频数据变换成残余变换系数。变换模 块52可将残余视频数据从像素值域转换到变换域，例如频域。

变换模块52可以将所得变换系数发送到量化模块54。量化模块54对残余变换系数 进行量化以进一步降低位速率。量化过程可减少与系数中的一些或全部相关联的位深 度。可通过调整量化参数来修改量化程度。在一些实例中，量化模块54可以接着执行 对包含经量化变换系数的矩阵的扫描。或者，熵编码模块56可以执行所述扫描。

在量化之后，熵编码模块56对经量化变换系数进行熵编码。举例来说，熵编码模 块56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码 (CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE) 译码或另一熵译码方法或技术。在熵编码模块56进行的熵编码之后，可将经编码位流 发射到视频解码器30，或将经编码位流存档以供稍后发射或由视频解码器30检索。熵 编码模块56还可对正被编码的当前视频切片的运动向量和其它语法元素进行熵编码。

反量化模块58和反变换模块60分别应用反量化和反变换以在像素域中重建构残余 块以供稍后用作参考图片的参考块。运动补偿模块44可以通过将残余块添加到参考图 片列表中的一者内的参考图片中的一者的预测性块中来计算参考块。运动补偿模块44 还可将一或多个内插滤波器应用于所重建的残余块以计算子整数像素值用于运动估计。 求和器62将经重建的残余块相加到由运动补偿模块44产生的运动补偿预测块以产生参 考块用于存储在参考图片存储器64中。参考块可由运动估计模块42和运动补偿模块44 用作参考块以对后续视频帧或图片中的块进行帧间预测。

图2的视频编码器20表示经配置以编码用以根据本发明的技术指示在解码次序上 在BLA图片之前的参考图片不可用作参考图片的旗标或其它语法元素的视频编码器的 实例。

图3是说明可基于上文所描述的断链RAP图片实施针对流调适和剪接的增强支持 所描述的技术的实例视频解码器30的框图。在图3的实例中，视频解码器30包含熵解 码模块80、预测模块81、反量化模块86、反变换模块88、求和器90、滤波器模块91 及参考图片存储器92。预测模块81包含运动补偿模块82和帧内预测模块84。在一些 实例中，视频解码器30可执行与关于来自图2的视频编码器20描述的编码遍次大体上 互逆的解码遍次。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频 块和相关联语法元素的经编码视频位流。视频解码器30可从网络实体29接收经编码视 频位流。网络实体29可例如为服务器、媒体感知网络元件(MANE)、视频编辑器/剪接器， 或经配置以实施上文所描述的技术中的一或多者的其它此类装置。网络实体39可包含 或可不包含视频编码器20。如上文所描述，本发明中所描述的技术中的一些可在网络 29将经编码经编码视频位流发射到视频解码器30之前由网络实体29实施。在一些视频 解码系统中，网络实体29及视频解码器30可为单独装置的部分，而在其它情况下，关 于网络实体29描述的功能性可由包括视频解码器30的相同装置执行。

如上文所论述，在一些实例中，视频解码器30可解码例如BLA图片等断链RAP 图片，或在随机存取点或流调适点(例如时间层切换点)之后的图片，例如前导图片。当 发生从断链RAP图片的随机存取时，前导图片无法正确地解码。

在一实例中，为防止错误从取决于解码开始处而可能不可用的参考图片传播，视频 解码器30可不将在解码次序及输出次序两者上先于断链RAP图片的任何图片(其包含前 导图片)用作参考图片。举例来说，预测模块81可不将参考图片存储器92中存储的在解 码次序或输出次序上先于断链RAP图片的任何图片(其包含前导图片)用作参考图片。

在各种实例中，视频解码器30在解码BLA图片之前可将DPB中的所有参考图片 标记为不用于参考。举例来说，可执行熵和非熵解码的熵解码模块80可将参考图片存 储器92(有时被称作经解码图片缓冲器(DPB))中的参考图片标记为不用于参考。视频解 码器30(例如熵解码模块80)可确定当前图片为BLA或BLC图片，且在解码BLA或BLC 图片之前将图片存储缓冲器中的参考图片标记为不用于参考。确定当前图片为BLA或 BLC图片可包含确定当前图片为CRA图片以及确定当前图片为RAP图片。在当前图片 为CRA图片和RAP图片两者时，当前CRA图片为BLA图片。在一些实例中，解码器 30的此确定可以基于图片具有BLA NAL单元类型来进行。

在另一实例中，在解码BLA图片时，解码器30可在经编码位流中接收旗标或语法 元素，例如no_output_of_prior_pics_flag，使得不输出DPB中的先前图片中的任一者。 在一些实例中，此旗标可在熵解码之前呈现在BLA图片的切片的切片标头中较靠前处， 使得其可更容易地被解码且所述信息在译码过程中较早地可用。所述旗标或语法元素可 由熵解码模块80(其可执行熵解码及非熵解码两者)解码。在熵编码之前将旗标或其它语 法元素放入切片标头中靠前处可允许较不复杂的装置(例如，MANE)存取所述信息而不 需要熵解码器，这是因为(例如)不需要将no_output_of_prior_pics_flag熵解码。

在一实例中，视频解码器30可将语法元素(例如，no_output_of_prior_pics_flag)放置 在位流中以供解码器接收。所述语法元素可指示图片存储缓冲器被清空而不从图片存储 缓冲器输出任何图片。所述语法元素在设定时可致使在解码次序中在当前图片之前且在 解码所述当前图片时驻留在图片存储缓冲器中的图片从图片存储缓冲器被清空而不输 出。在一些实例中，所述语法元素可为多个语法元素中的一者。另外，所述多个语法元 素可包含一或多个经熵译码切片标头语法元素及一或多个非熵译码切片标头语法元素。 在一实例中，指示图片存储缓冲器被清空而不从图片存储缓冲器输出任何图片的语法元 素被包含于任何经熵译码切片标头语法元素之前(例如，在任何ue(v)元素之前)的切片标 头中(例如，作为u(1)元素)。在一些实例中，所述语法元素可为 no_output_of_prior_pics_flag且no_output_of_prior_pics_flag可包含于切片标头中，紧接 在first_slice_in_pic_flag之后且在任何经熵译码元素之前。first_slice_in_pic_flag可为指 示切片是否在解码次序中是图片的第一切片的旗标。

在另一实例中，视频解码器30可处理经指派以指示何时BLA图片具有及不具有前 导图片的NAL单元类型。视频解码器30可经配置以包含经指派以指示何时BLA图片 具有及不具有前导图片的NAL单元类型。举例来说，可执行熵解码及非熵解码的熵解 码模块80可处理所述NAL单元类型。

在一个实例中，视频解码器30(例如，熵解码模块80)可根据多个不同的网络抽象层 (NAL)单元类型中的一者来解码图片。所述多个NAL单元类型包含以下各者中的一或多 者：(1)断链存取(BLA)图片的经译码切片，其中BLA图片是具有位流中的相关联前导图 片的BLA图片；(2)BLA图片的经译码切片，其中BLA图片是具有位流中的相关联的可 解码前导图片的BLA图片；及(3)BLA图片的经译码切片，其中BLA图片是在位流中不 具有相关联前导图片的BLA图片。在一实例中，所述前导图片包括在显示次序中先于 随机存取图片(RAP)但在解码次序中在所述随机存取图片之后的图片。

视频解码器30的熵解码模块80对位流进行熵解码以产生经量化系数、运动向量和 其它语法元素。熵解码模块80将运动向量及其它语法元素转发到预测模块81。视频解 码器30可在视频切片层级和/或视频块层级接收语法元素。

当视频切片经译码为经帧内译码(I)切片时，预测模块81的帧内预测模块84可以 基于发信号通知的帧内预测模式和来自当前帧或图片的先前经解码块的数据产生用于 当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B、P或GPB) 切片时，预测模块81的运动补偿模块82基于从熵解码模块80接收到的运动向量和其 它语法元素产生用于当前视频切片的视频块的预测参考块。所述预测参考块可从参考图 片列表中的一者内的参考图片中的一者产生。视频解码器30可以基于存储在参考图片 存储器92中的参考图片使用默认建构技术建构参考帧列表--列表0和列表1。

运动补偿模块82通过剖析运动向量及其它语法元素确定用于当前视频切片的视频 块的预测信息，且使用所述预测信息产生用于经解码的当前视频块的预测参考块。举例 来说，运动补偿模块82使用一些接收到的语法元素确定用于对视频切片的视频块进行 译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切 片或GPB切片)、切片的参考图片列表中的一者或一者以上的建构信息、切片的每一经 帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以 对当前视频切片中的视频块进行解码的其它信息。当DPB中的图片被标记为不用于参 考时，不存在参考图片可用。因此，视频解码器30将不能够参考用于帧间预测的先前 参考图片来解码前导图片。

运动补偿模块82还可基于内插滤波器执行内插。运动补偿模块82可使用由视频编 码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。 在此情况下，运动补偿模块82可根据所接收的语法元素而确定由视频编码器20使用的 内插滤波器且使用所述内插滤波器来产生预测参考块。

反量化模块86将在位流中提供且由熵解码模块80解码的经量化变换系数反量化， 即去量化。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算 的量化参数以确定应应用的量化程度及同样确定应应用的反量化程度。反变换模块88 对变换系数应用反变换，例如反DCT、反整数变换或概念上类似的反变换过程，以便产 生像素域中的残余块。

在运动补偿模块82基于运动向量和其它语法元素产生了当前视频块的预测性块之 后，视频解码器30通过将来自逆变换模块88的残余块与运动补偿模块82产生的对应 预测参考块求和来形成经解码视频块。求和器90表示可以执行此求和运算的组件。如 果需要，还可使用环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或 者以其它方式改善视频质量。滤波器模块91既定表示一或多个环路滤波器，例如解块 滤波器、自适应环路滤波器(ALF)和样本自适应偏移(SAO)滤波器。尽管滤波器模块91 在图3中说明为环内滤波器，但在其它配置中，滤波器模块91可实施为环后滤波器。 接着将给定帧或图片中的经解码视频块存储在参考图片存储器92中，参考图片存储器 92存储参考图片用于后续运动补偿。参考图片存储器92还存储经解码视频用于以后在 显示装置(例如图1的显示装置32)上呈现。

以此方式，图3的视频解码器30表示经配置以解码根据本发明的技术译码的参数 集ID的视频解码器的实例。

图4是说明形成网络100的部分的一组实例装置的框图。在此实例中，网络10包 含路由装置104A、104B(路由装置104)和转码装置106。路由装置104及转码装置106 既定表示可形成网络100的部分的少数装置。例如交换器、集线器、网关、防火墙、桥 接器及其它此些装置的其它网络装置也可包含在网络100内。此外，可沿着服务器装置 102与客户端装置108之间的网络路径提供额外网络装置。在一些实例中，服务器装置 102可对应于源装置12(图1)，而客户端装置108可对应于目的地装置14(图1)。

一般来说，路由装置104实施一或多个路由协议以经由网络100交换网络数据。在 一些实例中，路由装置104可经配置以执行代理或快取存储器操作。因此，在一些实例 中，路由装置104可被称为代理装置。一般来说，路由装置104执行路由协议以经由网 络100发现路线。通过执行此些路由协议，路由装置104B可发现从自身经由路由装置 104A到服务器装置102的网络路线。

可通过例如路由装置104和转码装置106等网络装置实施本发明的技术，并且可通 过客户端装置108实施本发明的技术。以此方式，路由装置104、转码装置106和客户 端装置108表示经配置以执行本发明的技术的装置的实例。此外，图1的装置以及图2 中所说明的编码器和图3中所说明的解码器也为可经配置以执行本发明的技术的示范性 装置。

举例来说，服务器装置102可包含编码器以编码在随机存取点或流调适点(例如时间 层切换点)或其它流调适点之后的一或多个图片。举例来说，此可为用于调适位率、帧率 (即，时间层切换点)或空间分辨率的切换点。类似地，客户端装置108可解码在随机存 取点或流调适点(例如，时间层切换点)之后的一或多个图片。再次，此可为用于调适位 率、帧率(即，时间层切换点)或空间分辨率的切换点。这些图片中的一或多者可为前导 图片。当出现从BLA图片的随机存取时，前导图片无法在客户端装置108处正确地解 码。

在一实例中，为防止错误从取决于解码开始处而可能不可用的参考图片传播，客户 端装置108可不将存储在经解码图片缓冲器(DPB)中的在解码次序及输出次序两者上先 于BLA图片的图片(其包含前导图片)用作参考图片。

在各种实例中，客户端装置108可在解码BLA图片之前将DPB中的所有参考图片 标记为不用于参考。举例来说，客户端装置108可将解码图片缓冲器(DPB)中的参考图 片标记为不用于参考。

在另一实例中，服务器装置102、客户端装置108或两者可在切片标头中包含语法 元素或旗标，且将所述旗标(例如no_output_of_prior_pics_flag)编码于位流中，以使得 DPB中的所有先前图片都不由视频解码器30处理以解码前导图片或从DPB输出以(例 如)供呈现在监视器上。在一些实例中，此旗标可在熵解码之前位于切片标头中靠前处， 使得其可更容易地被解码且所述信息在译码过程中较早地可用。在一实例中，这些网络 元件装置中的一者可在例如需要剪接或信道切换或流调适(例如时间层切换)时将CRA 转换为BLA。使得旗标可在不进行熵译码的情况下加以存取允许不能进行熵解码的网络 元件存取所述旗标。

所述多个NAL单元类型包含以下各者中的一或多者：(1)断链存取(BLA)图片的经译 码切片，其中BLA图片是具有位流中的相关联前导图片的BLA图片；(2)BLA图片的经 译码切片，其中BLA图片是具有位流中的相关联的可解码前导图片的BLA图片；及 (3)BLA图片的经译码切片，其中BLA图片是在位流中不具有相关联前导图片的BLA图 片。在一实例中，所述前导图片包括在显示次序上先于随机存取图片(RAP)但在解码次 序上在所述随机存取图片之后的图片。

在各种实例中，构成网络100的路由装置104A、104B和转码装置106还可对在随 机存取点或流调适点(例如时间层切换点)之后的图片执行一些处理。举例来说，此可为 用于调适位率、帧率(即，时间层切换点)或空间分辨率的切换点。如上文所论述，这些 图片中的一或多者可为无法正确地解码的前导图片。

在一实例中，路由装置104A、104B和转码装置106中的一或多者可不将在解码次 序或输出次序上先于CRA图片的任何图片(其包含前导图片)用作参考图片。在另一实例 中，路由装置104A、104B和转码装置106中的一或多者可在解码BLA图片之前将DPB 中的所有参考图片标记为不用于参考。举例来说，路由装置104A、104B和转码装置106 中的一或多者可将经解码图片缓冲器(DPB)中的参考图片标记为不用于参考。在另一实 例中，路由装置104A、104B和转码装置106或流式传输服务器中的一或多者可使用旗 标(例如no_output_of_prior_pics_flag)以使得DPB中的所有先前图片都不输出。另外， 路由装置104A、104B和转码装置106可处理经指派以指示BLA图片何时具有和不具有 前导图片的NAL单元类型。

图5是说明根据本发明中描述的技术的实例的图。图5说明前导图片可解码与不可 解码时的情况的实例。前导图片的可解码性可基于预测性块的位置。另外，前导图片的 可解码性可基于当前CRA图片为不是BLA图片的CRA图片还是当前CRA图片为还是 BLA图片的CRA图片。(BLA图片为CRA图片的子组。)

图5的部分200说明呈解码次序的一系列图片。最初，例如视频解码器30(图1和 3)或客户端装置108(图4)可将位置202处的RAP图片解码为视频序列中的第一图片。 视频解码器30或客户端装置108可接着解码位置204处的可充当参考图片的图片或图 片的部分。如图5中所示，位置204在解码次序上为参考图片的可能位置。如果参考图 片位于位置204处，且位置206处的图片为不是BLA图片的CRA图片，那么位置208 处的前导图片将可解码。相反，如果参考图片位于位置204处且位置206处的图片为还 是BLA图片的CRA图片，那么位置208处的前导图片将不可解码。(BLA图片为CRA 图片的子组。)

如果位置202处的RAP图片为RAP图片(在此处，解码开始)且位置206处的当前 CRA图片不是BLA图片，那么如上文所描述，位置208处的前导图片可解码。相反， 如果位置206处的当前CRA图片为RAP，那么位置206处的当前CRA图片还是BLA 图片，且位置208处的前导图片不可解码。这是因为位置204处的预测性块不可用于为 位置206处的当前CRA图片的BLA图片。因此，位置204处的预测性块可(1)标记为不 用于参考，且(2)no_output_of_prior_pics_flag可指示先前图片(直到且包含位置208处的 前导图片)不应被输出。

如图5中所示，位置210在解码次序上为参考图片的另一可能位置。如果参考图片 位于位置210处，那么位置208处的前导图片将可解码。

图5的部分212说明呈输出次序的一系列图片。最初，视频解码器30(图1和3)或 客户端装置108(图4)RAP图片202。视频解码器30或客户端装置108可接着解码可充 当位置204处的预测性块的图片或图片的部分。如图5中所示，位置204在输出次序上 为预测性块的可能位置。

在输出次序上，可在位置206处的当前CRA图片之前输出前导图片208，如图5 中所示。如图5中所示，位置210在输出次序上为预测性块的另一可能位置。

图6是说明根据本发明中描述的一或多个实例的用于译码RAP图片的实例方法的 流程图。如图6中所示，在一些实例中，视频译码器(例如视频编码器20或视频解码器 30)可译码视频序列中的用于随机存取点或流调适点(例如时间层切换点)的BLA图片。 举例来说，此可为用于调适位速率、帧速率或空间分辨率的切换点。BLA图片可包含一 或多个前导图片。当出现从BLA图片的随机存取时，前导图片无法正确地解码(例如， 由解码器30、MANE，或其它解码装置)。

在一实例中，为防止错误从取决于解码开始处而可能不可用的参考图片传播，视频 解码器可不将在解码次序及输出次序两者上先BLA picture的任何图(其包含前导图片) 用作参考图片。

举例来说，视频解码器30可接收并解码语法元素，所述语法元素指示图片存储缓 冲器被清空而不从图片存储缓冲器输出任何图片(600)。所述语法元素可由编码器20或 中间网络元件包含在经编码视频位流中。视频解码器30可确定语法元素是否指示不应 发生先前图片的输出，例如，视频解码器30可检查语法元素(602)以确定其是否经设定， 即等于1。当视频解码器30接收到经设定的语法元素时，视频解码器30可致使在解码 次序上在当前图片之前且在解码当前图片时驻留在图片存储缓冲器中的图片从图片存 储缓冲器清空而不被输出(604)。

在一些实例中，所述语法元素可为多个语法元素中的一者。另外，所述多个语法元 素可包含经熵译码切片标头语法元素及非熵译码切片标头语法元素。在一实例中，语法 元素可指示图片存储缓冲器为空的而不从经解码图片缓冲器输出任何图片，且在任何经 熵译码切片标头语法元素之前包含在切片标头中。在另一实例中，语法元素可指示图片 存储缓冲器中的数据应被忽略和/或重写而不从图片存储缓冲器输出任何图片，且在任何 经熵译码切片标头语法元素之前包含在切片标头中。在一些实例中，所述语法元素可为 no_output_of_prior_pics_flag且no_output_of_prior_pics_flag可包含于紧接在 first_slice_in_pic_flag之后的切片标头中。first_slice_in_pic_flag可为指示切片是否在解 码次序中是图片的第一切片的旗标。

图7是说明根据本发明中所描述的一或多个实例的实例方法的流程图。在所说明的 实例中，视频译码器可确定当前图片为CRA图片(700)。视频译码器还可确定当前图片 为RAP图片(702)。视频译码器可确定当前图片为BLA图片(700)。在其它实例中，视频 译码器可使用NAL单元类型来确定当前图片是否为BLA图片。

在各种实例中，视频译码器可在解码BLA图片之前将DPB中的所有参考图片标记 为不用于参考。举例来说，视频解码器30可将参考图片存储器92(有时被称作经解码图 片缓冲器(DPB))中的参考图片标记为不用于参考。因此，所述图片将不用于帧间译码， 这将避免可能错误，且在一些实例中可解决空间调适问题。另外，通常这些图片将不输 出到例如监视器或屏幕，可在所述监视器或屏幕处观看图片。

视频解码器30可确定当前图片为BLA图片，且在解码BLA图片之前将图片存储 缓冲器中的参考图片标记为不用于参考。在一实例中，标记图片存储缓冲器中的参考图 片可在BLA图片包括不可解码BLA图片时发生，不可解码BLA图片在一些实例中可 基于NAL单元类型加以确定。在一些实例中，(1)将DPB中的图片标记为不用于参考， (2)使用例如no_output_of_prior_pics_flag等语法元素及(3)使用指示BLA图片的NAL单 元类型中的一或多者可独立地或以任何组合来使用。

图8为说明根据本发明中所描述之一或多个实例的实例方法之流程图。视频译码器 可处理经指派以指示BLA图片何时具有和不具有前导图片的NAL单元类型。视频译码 器可经配置以包含经指派以指示何时BLA图片具有及不具有前导图片的NAL单元类 型。举例来说，在一个标准中，包含NAL单元类型16，BLA_W_LP(具有前导图片的 BLA)；17，BLA_W_DLP(具有可解码前导图片的BLA)；以及18，BLA_N_LP(不具有 前导图片的BLA)。

在一个实例中，视频译码器可根据包含以下各自中的一或多者的多个不同网络抽象 层(NAL)单元类型中的一者来译码图片。举例来说，视频译码器可确定BLA图片不具有 相关联的前导图片(800)，且使用指示BLA图片为在位流中不具有相关联前导图片的 BLA图片的NAL单元类型来译码BLA图片的经译码切片或整个BLA图片(802)。视频 译码器可确定BLA图片具有相关联的可解码前导图片(804)，且使用指示BLA图片为在 位流中具有相关联的可解码前导图片的BLA图片的NAL单元类型来译码经译码切片或 整个BLA图片(806)。视频译码器确定BLA图片具有相关联的前导图片(808)，且可使用 指示BLA图片为在位流中具有相关联前导图片的BLA图片的NAL单元类型来译码BLA 图片的经译码切片或整个BLA图片(810)。在一实例中，如果视频解码器30检测到BLA NAL单元类型，那么视频解码器30可例如将DPB中的图片标记为不用于参考。

在一些实例中，(1)将DPB中的图片标记为不用于参考，(2)使用例如 no_output_of_prior_pics_flag等语法元素及(3)使用指示BLA图片的NAL单元类型中的 一或多者可独立地或以任何组合来使用。举例来说，在一些情况下，可使用所有这三者。 在其它实例中，可与将DPB中的图片标记为不用于参考结合使用实例NAL单元类型。 在另一实例中，可使用不输出先前图片语法元素与将图片标记为不用于参考。在另一实 例中，可使用不输出先前图片语法元素与NAL单元类型。

如本文所使用，BLC是指断链清洁随机存取，BLCL是指在位流中具有相关联前导 图片的BLC图片，且BLCNL是指在位流中不具有相关联前导图片的BLC图片。如本 文中所论述，BLC图片通常与BLA图片相同。CRA是指清洁随机存取，CRAL是指在 位流中具有相关联前导图片的CRA图片，且CRANL是指在位流中不具有相关联前导图 片的CRA图片。IDR是指瞬时解码刷新，LPR是指与随机存取点图片相关联的前导图 片，NSP是指无甚特别(Nothing Special Plain)，RAP是指随机存取点，且RPS是指参考 图片组。如本文所使用，TLA是指时间层存取，TLAL是指还是LRP图片的TLA图片， TLANL是指不是LRP图片的TLA图片。

BLA存取单元是指其中经译码图片为BLA图片的存取单元。BLC图片为其中经译 码切片的切片标头包含RPS语法而RPS被导出为空而不使用所述RPS语法的RAP图片。 BLCL存取单元为其中经译码图片为BLCL图片的存取单元。BLCL图片为其相关联LPR 图片存在于位流中的BLA图片。在一些实例中，BLCL存取单元可等效于BLA_W_DLP 与BLA_W_LP的组合。BLCNL存取单元为其中经译码图片为BLCNL图片的存取单元。 在一些实例中，BLCNL存取单元可等效于BLA_N_LP。BLCNL图片为其相关联LPR 图片不存在于位流中的BLA图片。

在一实例中，CRA存取单元为其中经译码图片为CRA图片的存取单元。CRA图片 为其中经译码切片的切片标头包含RPS语法且RPS语法用于导出RPS的RAP图片。 CRAL存取单元为其中经译码图片为CRAL图片的存取单元。CRAL图片为其相关联LPR 图片出现于位流中的CRA图片。CRANL存取单元为其中经译码图片为CRANL图片的 存取单元。CRANL图片为其相关联LPR图片不存在于位流中的CRA图片。

在一实例中，IDR存取单元为其中经译码图片为IDR图片的存取单元。IDR图片为 其中经译码切片的切片标头不包含RPS语法且RPS被导出为空的RAP图片。

在一实例中，如果在解码次序上的所有先前存取单元都不存在，其条件是由经译码 图片参考的每一参数集和在解码次序上的所有后续经译码图片在其激活之后存在，那么 IDR图片和在解码次序上的所有后续经译码图片可正确地解码。或者，在另一实例中， IDR图片可如HEVC中所定义(添加先前图片)。

在其它实例中，IDR图片可如下定义(加上先前注意点)：IDR图片可为仅含有I切 片的经译码图片。另外，对于实例IDR图片，在解码次序上在IDR图片之后的所有经 译码图片都不使用来自在解码次序上先于IDR图片的任何图片的帧间预测。在一实例 中，在解码次序上先于IDR图片的任何图片在输出次序上也先于IDR图片。

前导图片为不是RAP图片且在解码次序上在某一其它特定图片之后且在输出次序 上先于所述特定图片的经译码图片。LPR图片为与RAP图片或RAP图片的前导图片相 关联的前导图片。

图片次序计数可为与每一经译码图片相关联的变量，且具有随着在输出次序上图片 位置的增加(相对于解码次序上的先前RAP图片)而增加的值。

在一实例中，RAP存取单元为其中经译码图片为RAP图片的存取单元。RAP图片 可为仅含有I切片的经译码图片。对于RAP图片，在解码次序和输出次序两者上皆在 RAP图片之后的所有经译码图片不使用来自在在解码次序或输出次序上先于RAP图片 的任何图片的帧间预测。在解码次序上先于RAP图片的任何图片的输出应先于RAP图 片的输出。如果在解码次序上的所有先前存取单元都不存在，其条件是由经译码图片参 考的每一参数集和在解码次序上的所有后续经译码图片在其激活之后存在，那么RAP 图片和在解码次序和输出次序两者上的所有后续经译码图片可正确地解码。

或者，可根据先前论述且如下定义RAP图片。RAP图片可为仅含有I切片且在解 码次序和输出次序两者上皆在RAP图片之后的所有经译码图片都不使用来自在解码次 序上或输出次序上先于RAP图片的任何图片的帧间预测的经译码图片。在解码次序上 先于RAP图片的任何图片在输出次序也先于RAP图片。

TLA存取单元为其中经译码图片为TLA图片的存取单元。TLA图片为对于其来说， TLA图片和所有经译码图片具有大于或等于TLA图片的temporal_id的temporal_id的经 译码图片。在解码次序上在TLA图片之后的TLA图片不应使用来自temporal_id大于或 等于在解码次序上先于TLA图片的TLA图片的temporal_id的任何图片的帧间预测。 TLAL存取单元为其中经译码图片为TLA图片的存取单元。

在一些实例中，可定义以下相异VCL NAL单元类型。作为第一实例，可针对IDR 图片的经译码切片提供NAL单元类型(例如，nal_unit_type＝5)。对于用于此NAL单元类 型，HEVC WD6中的IDR图片概念适用。与其它类型的VCL NAL单元相比，此VCL NAL 单元类型的唯一特征是在切片标头中不包含参考图片组(RPS)语法。

一些实例包含BLCNL图片的经译码切片(在位流中不具有相关联前导图片的BLC 图片，例如nal_unit_type＝2)。与IDR图片的经译码切片相比，BLCNL图片的经译码切 片在切片标头中包含RPS语法，但RPS语法不用于RPS导出，而是将所有RPS子组导 出为空。

一些实例包含BLCL图片的经译码切片(在位流中具有相关联前导图片的BLC图片， 例如，nal_unit_type＝3)。与BLCNL图片相比，在位流中存在与BLCL图片相关联的前 导图片。

一些实例包含CRANL图片的经译码切片(在位流中不具有相关联前导图片的CRA， 例如，nal_unit_type＝15)。与BLCNL图片的经译码切片相比，CRANL图片的经译码切 片在切片标头中包含RPS语法，且RPS语法用于RPS导出。

一些实例包含CRAL图片的经译码切片(在位流中具有相关联前导图片的CRA图 片，例如，nal_unit_type＝4)。与CRANL图片相比，在位流中存在与CRAL图片相关联 的前导图片。

一些实例包含TLANL图片的经译码切片(不为LFR图片的TLA图片，例如， nal_unit_type＝16)。一些实例包含TLAL图片的经译码切片(还为LPR图片的TLA图片， 例如，nal_unit_type＝17)。一些实例包含NSP图片的经译码切片(不为以上各者中任一者 的无甚特别图片，nal_unit_type＝1)。

在解码每一BLC图片(BLCL或BLCNL)图片的切片数据之前，必须由解码器30将 经解码图片缓冲器(DPB)中的所有参考图片标记为“不用于参考”，如上文所描述。仅 在此操作完成后，才可由解码器30将HEVC WD 6中当前针对在位流开始处的CRA图 片的前导图片所指定的当前解码过程直接应用于BLA图片的前导图片，而不管BLA图 片是否改变空间分辨率。

在不进行上述操作的情况下，如果BLA图片不改变空间分辨率，那么如在HEVC WD6中当前针对位流开始处的CRA图片的前导图片所指定的当前解码过程可以由解码 器30直接应用于BLA图片的前导图片。然而，如果BLA图片改变空间分辨率，那么 如在HEVC WD 6中当前针对位流开始处的CRA图片的前导图片所指定的当前解码过程 无法直接应用于BLA图片的前导图片，因为所述情境可显得空间分辨率对于当前图片 与当前图片的参考图片不同。

确保DPB中的所有参考图片在解码每一BLA图片的切片数据之前都被标记为“不 用于参考”的一种方式是将每一BLA图片的RPS导出为空，而不管切片标头中用信号 通知的RPS是否指示非空RPS。举例来说，即使存在RPS，视频解码器30也可以对此 进行越权控制，且在图片为BLA图片的情况下将RPS导出或处理为空。

实际上，如果切片标头中用信号通知的RPS确实指示BLA图片或CRA(CRAL或 CRANL)图片的空RPS，那么应该已经将图片译码为IDR图片。

在一些实例中，RAP图片可定义为仅含有I切片的经译码图片。对于RAP图片， 在解码次序和输出次序两者上皆在RAP图片之后的所有经译码图片不使用来自在在解 码次序或输出次序上先于RAP图片的任何图片的帧间预测。另外，在解码次序上先于 RAP图片的任何图片的输出可先于RAP图片的输出。

为确保在解码次序上先于RAP图片的任何图片的输出应先于RAP图片的输出，一 种方式是使视频编码器20在发射到例如视频解码器30的经译码位流中将 no_output_of_prior_pics_flag设定为等于1，如上文所论述。在另一实例中，视频解码器 30对于BLA图片可推断no_output_of_prior_pics_flag等于1(不管其值如何)。以此方式， 允许BLA图片处的剪接操作，其中在经剪接位流中，比BLA图片靠前的图片的POC 值大于BLA图片的POC值。明确地说，BLA图片的POC值导出为等于其POC LSB(通 过假定POC MSB等于0)，以上情况可容易地发生。确保此情形的另一方式是确保在解 码次序上先于BLA图片的图片的输出时间早于BLA图片的输出时间。

一些实例允许视频编码器20和/或位流剪接器确定使用本文所述的方式中的哪一 者。因此，举例来说，在一些实例中，视频编码器20可在BLA图片的切片标头中包含 no_output_of_prior_pics_flag。在其它实例中，视频编码器20可包含指示存储在视频解 码器30处的缓冲器中的图片是否可用于参考的NAL单元类型。因此，例如当使用此些 图片进行解码将导致不正确地解码图片时，视频解码器30可将图片标记为不用于参考。

为通过网络元件实现CRA到BLA图片的简单重写，除将 no_output_of_prior_pics_flag置于CRA图片的切片标头中之外，还可将其尽可能靠前地 包含在切片标头中。此可在任何经熵译码切片标头参数之前，例如在一些实例中紧接 first_slice_in_pic_flag之后，如上文所论述。

在一实例中，两个背靠背BLA图片具有相同POC LSB，且只可能通过 random_access_pic_id(或重新命名为rap_pic_id)来对其加以区分。因此，可能优选地使 用固定长度码用于rap_pic_id，并且还尽可能靠前地包含在切片标头中，优选不在任何 经熵译码切片标头参数之后，例如，紧接first_slice_in_pic_flag和 no_output_of_prior_pics_flag(例如对于CRA图片和BLA图片两者)之后。可用于图片边 界检测的其它切片标头语法元素(例如，pic_parameter_set_id和POC LSB(即， pic_order_cnt_lsb))可类似。

特定类型(例如，SPS)或所有类型的所有参数集可存在于位流的开始处，即包含在位 流中的第一存取单元中。如果如此，那么可以方便地提取特定类型的所有参数集并且发 送到带外。举例来说，译码器可在会期描述协议(SDP)中包含在会期协商期间使用的参 数。因此，使编码器在位流中包含特定类型或所有类型的所有参数集存在于位流的开始 处的指示可为有益的。所述指示可包含在SEI消息、存取单元分隔符或参数集中。举例 来说，可对于SPS、图片参数集(PPS)或调适参数集(APS)使用相异的NAL单元类型以指 示所有SPS(或PPS或APS)存在于位流的开始处。

语法元素slice_type可基于NAL单元类型是否指示含有切片的图片为IDR图片、 CRA图片或BLA图片而条件性地存在于切片标头中。举例来说，如果NAL单元类型指 示含有切片的图片为IDR图片、CRA图片或BLA图片，那么slice_type不存在于切片 标头中。以其它方式，编码器将slice_type插入切片标头中。当不存在时，slice_type的 值指示切片为I切片。

图9是说明根据本发明中描述的一或多个实例的用于解码切片的实例方法的流程 图。在一个实例中，视频解码器30可解码视频数据，包含接收用于视频数据序列的待 解码的当前图片的切片(900)。视频解码器30可在切片的切片标头中接收至少一个经熵 译码语法元素和至少一个非熵译码语法元素。非熵译码语法元素在切片标头中可在经熵 译码语法元素之前。另外，非熵译码语法元素可指示在解码次序上在当前图片之前的图 片是否从图片存储缓冲器清空而不被输出(902)。在一个实例中，语法元素可为 no_output_of_prior_pics_flag。no_output_of_prior_pics_flag可设定到“1”以例如指示在 解码次序上在当前图片之前的图片何时从图片存储缓冲器清空而不被输出。视频解码器 30可基于非熵译码语法元素解码所述切片(904)。

图10是说明根据本发明中描述的一或多个实例的用于编码切片的实例方法的流程 图。编码器20可接收视频数据。视频编码器20可编码用于视频数据序列的当前图片的 切片(1000)。

视频编码器20在切片的切片标头中编码至少一个经熵编码语法元素和至少一个非 熵译码语法元素，其中所述非经熵编码语法元素在切片标头中在经熵编码语法元素之 前，且指示在解码次序上在当前图片之前的图片是否将从图片存储缓冲器清空而不被输 出(1002)。在一个实例中，语法元素可为no_output_of_prior_pics_flag。 no_output_of_prior_pics_flag可设定到“1”以例如指示在解码次序上在当前图片之前的 图片何时从图片存储缓冲器清空而不被输出。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果 以软件实施，则所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传 输，并且由基于硬件的处理单元执行。计算机可读媒体可包括计算机可读存储媒体，其 对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一 处的媒体(例如，根据一种通信协议)的通信媒体。以此方式，计算机可读媒体大体上可 对应于(1)有形计算机可读存储媒体，其是非暂时性的，或(2)通信媒体，例如信号或载波。 数据存储媒体可为可由一或多个计算机或一个或多个处理器存取以检索用于实施本发 明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计 算机可读媒体。

在又其它实例中，本发明涵盖包括存储于其上的数据结构的电脑可读媒体，其中所 述数据结构包含符合本发明的经编码位流。明确地说，数据结构可包含本文所述的NAL 单元设计。

借助于实例而非限制，此类计算机可读存储媒体可包含RAM、ROM、EEPROM、 CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或任何 其它可用来存储指令或数据结构的形式的所要程序代码并且可由计算机存取的媒体。同 样，任何连接可恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、 双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或 其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及 微波等无线技术包含于媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据 存储媒体并不包括连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形 存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数 字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地再现数据，而光盘使用 激光光学地在线数据。上文各者的组合也应包含在计算机可读媒体的范围内。

可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、 现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行 所述指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中 所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文所述的功能性可 以在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合编解码器 中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可以在广泛多种装置或设备中实施，包括无线手持机、集成电路(IC) 或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调，其经配置 以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上， 如上文所描述，各种单元可以配合合适的软件及/或固件组合在编解码器硬件单元中，或 通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理 器。

已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。