针对可缩放视频编码的假定参考解码器

摘要

本发明原理涉及针对可缩放视频编码扩展的假定参考解码器(HRD)，其中该可缩放视频编码扩展是针对压缩算法的。一个这种实施方式提出了修改H.264/AVC HRD，以和AVC的SVC一起使用。该实施方式定义了针对SVC的每个互操作性点的HRD限制。具体描述了一个实施方式，但是其它实施方式是可能的并且通过本发明原理能够设想。示出了针对空间、时间以及SNR可缩放性的改变。还存在对下面示出的相关HRD参数的改变。几个上述实施方式提供了针对SVC的HRD的规则。至少一个实施方式提出SVC－HRD规则，作为对AVC－HRD规则的修改。用户可以使用提出的SVC－HRD规则建立SVC－HRD并且针对SVC遵循来测试比特流。

说明书

相关申请的交叉引用

本申请要求于2007年1月5日提交的美国临时申请序列号No.60/878729的权益，其以全文引用的形式并入本文中。

技术领域

本申请涉及针对在压缩视频系统中的可缩放视频编码的假定参考解码器(hypothetical reference decoder)。

背景技术

假定参考解码器在压缩视频系统中是有价值的，这是由于假定参考解码器用于验证编码比特流是否遵循标准。在诸如H.264/AVC等的编码标准中，由于该标准的可缩放视频编码特性，因此存在很多互操作性点(interoperablity point)。H.264/AVC标准具有定义了HRD的规则(也被称作要求，限制，或者操作规范)。HRD行为是规范化的。任何AVC比特流都必须遵循根据该规则而建立的HRD。SVC(可缩放视频编码)是AVC标准的扩展(附录G)。SVC比特流典型地具有多个互操作性点(也被称为操作点)，这至少一部分是由于比特流是可缩放的。这种比特流可以是例如在空间、时间以及SNR上是可缩放的。对应于可缩放方面，可以从比特流中提取子比特流。之前的HRD具有的规则不足以允许它们验证类似于AVC中SVC的那些比特流。

发明内容

本发明公开描述了提供针对SVC的假定参考解码器(HRD)的至少一种实施方式。一种此类实施方式提出了修改H.264/AVC HRD，以和SVC一起使用。该实施方式定义了针对SVC的每个互操作性点的HRD限制。具体描述了一种实施方式，但是其它实施方式是可能的并且是通过本发明公开能够设想的。本发明公开的第一部分分别讨论了针对空间、时间以及SNR可缩放性的改变。本发明公开的第二部分讨论了对相关HRD参数的改变，随后是说明书文本。

H.264/AVC标准具有定义了HRD的规则(也被称作要求，限制，或者操作规范)。HRD行为是规范化的。任何AVC比特流都必须遵循根据该规则而建立的HRD。SVC(可缩放视频编码)是AVC标准的扩展(附录G)。本发明内容描述了提供针对SVC的HRD的规则的一个或者更多实施方式。至少一种实施方式提出SVC-HRD规则，作为对AVC-HRD规则的修改。用户可以使用提出的SVC-HRD规则来建立SVC-HRD，并且测试比特流对SVC的遵循。

附图说明

图1示出了AVC序列的序列参数集合。

图2示出了AVC的缓冲周期SEI消息。

图3示出了提出的HRD参数。

图4示出了提出的VUI参数。

图5示出了提出的buffer_period SEI消息。

图6示出了提出的图像定时SEI消息。

具体实施方式

SVC比特流典型地具有多个互操作性点(也被称作操作点)，这至少部分是由于比特流是可缩放的。这种比特流可以是例如在空间、时间以及SNR上可缩放的。对应于可缩放方面，可以从比特流中提取子比特流。在一种实施方式中，HRD检查每个互操作性点以确保对SVC的遵循。HRD可以分别定义针对每个检查点的HRD限制。或者几个检查点可以遵守一个HRD限制。在本发明公开中描述的至少一种实施方式中，提出了针对每个检查点使用分离的HRD限制。对分离的HRD限制的使用可以使操作简单，并且还可以提供与H.263+的方案的一些相似性。

在本部分，在一种具体实施方式的上下文中，分析是否并且如何从H.264/AVC中的HRD进行修改，以分别从空间、SNR以及时间可缩放性方面满足SVC中HRD。在此从检查多种可能的不同类型的可缩放性的一个构思观点来提供了描述，其它构思观点也是可能的。

1、空间SVC

1.1、VUI消息中的HRD：VUI消息包括在SPS中(参见表1中的vui_parameters())。对于每个空间SVC层，由于图像尺寸不同于其它层，所以相应的SPS也不同于其它层。因此，AVC中的VUI的HRD可以直接应用至针对空间SVC的VUI的HRD，而不需要任何修改。针对每个检查点，可以通过针对AVC的HRD规则来获得正确的VUI消息，如表1所示。

1.2、缓冲周期SEI消息：seq_parameter_set_id在缓冲周期SEI消息中。通过给与每个空间SVC层对应的SPS中的seq_parameter_set_id编索引，可以获得针对每个空间SVC层的缓冲周期。因此，对于空间SVC来说，AVC中HRD的缓冲周期SEI消息可以针对空间SVC而直接应用。针对每个检查点，可以获得正确的缓冲周期SEI消息，而不需要修改当前的HRD，如表2所示。

1.3、图像定时SEI消息：针对在相同的接入单元中的不同层，cpb_removal_delay以及dpb_output_delay可以是相同的(参见表6)。所以不需要针对空间可缩放性的任何改变。

2、SNR SVC

2.1、VUI消息：对于SNR SVC，可以由dependency_id或者quality_level来指示质量层。不同的质量层/级别可以共享相同的SPS，所以应当对AVC中的VUI消息进行修改(参见表3)，以包括针对所有质量层/级别的HRD信息。

2.2、缓冲周期SEI消息：对于SNR SVC，不同的质量层/级别可以共享相同的SPS，所以其与缓冲周期SEI消息中存在的seq_parameter_set_id不具有一对一映射。应当对该缓冲周期SEI消息进行修改(参见表5)，以包括针对所有质量层/级别的HRD信息。

2.3、图像定时SEI消息：针对相同的接入单元中的不同质量层/级别，cpb_removal_delay以及dpb_output_delay可以是相同的。所以不需要针对空间可缩放性的任何改变。

3、时间SVC

3.1、VUI消息：对于时间SVC，不同的时间层可以共享相同的SPS，所以应当对AVC中的VUI消息进行修改(参见表3)，以包括针对所有时间层的HRD信息。

3.2、缓冲周期SEI消息：对于时间SVC，不同的时间层可以共享相同的SPS，所以其与缓冲周期SEI消息中存在的seq_parameter_set_id不具有一对一映射。应当对该缓冲周期SEI消息进行修改(参见表5)，以包括针对所有时间层的HRD信息。

3.3、图像定时SEI消息：对于时间SVC，帧速率针对每个时间层是不同的。由于较低时间层可以作为针对较高时间层的依赖层，这意味着一个具有给定temporal_level的NAL单元可以针对多个帧速率而工作。应当对该图像定时SEI消息进行修改(参见表6)，以包括针对所有时间层的HRD信息。

3.4、在VUI消息中，当timing_info_present_flag为真时，应当考虑修改num_units_in_tick，time_scale以及fixed_frame_rate_flag，以反映正确的帧速率信息(参见表4)。

在对AVC-HRD规则的下列修改中，将全部三种可缩放性的概念级别(空间，时间，以及SNR)结合起来。表3至6取自AVC标准，并且涉及AVC-HRD。对AVC标准表的添加是使用斜体来表示的。不存在对AVC标准表的删除，尽管其它实施方式可以具有删除。黑体字术语是在比特流中实际发送的语法。如所见，表3至6的每个表示出了通过引入对变量“profile_idc”进行测试的“if-then”循环，来修改了AVC标准。如果“profile_idc”等于“SVC”，则执行if循环一次或者更多次，以测试一个或者更多点。如果“profile_idc”不等于“SVC”，则假定“AVC”为相关标准，并且执行“else”循环，以针对AVC遵循来测试一个点(使用现有的AVC-HRD规则)。在表3中，变量“dependency_id[i]”，“temporal_level[i]”以及“quality_level[i]”提供了不同的可缩放选项。由于这些变量具有八个比特的结合长度，所以针对SVC比特流存在高达2**8个检查点。这是与针对AVC比特流的单一检查点而相比较的。

l、在VUI消息中，针对共享相同SPS的每个依赖层、时间层以及质量层，通知(signal)HRD参数，如表3所示。当timing_info_present_flag为真时，针对每个时间层通知num_units_in_tick、time_scale以及fxed_frame_rate_flag，如表4所示。

2、在缓冲周期SEI消息中，针对共享相同sequence_parameterset_id的每个依赖层、时间层以及质量层，通知HRD相关参数，如表5所示。

3、在图像定时SEI消息中，针对每个时间层，通知HRD相关参数，如表6所示。

可以总结表3至6的操作。表3定义了针对每个检查点/层的比特率和cpb(编码图像缓冲)大小。表4定义了针对每个时间层的帧速率。表5定义了针对每个检查点/层的初始cpb延迟和初始dpb延迟。表6定义了针对每个检查点/层的cpb移除延迟和dpb(解码图像缓冲)输出延迟。针对每个检查点/层，与针对AVC的相同方式，在HRD规则中使用上述参数，以测试比特流是否遵循规则。

num_layer_minus1加1指示了，参照包含该hrd_parameters()的SPS中的相同seq_parameter_set_id，比特流所支持的可缩放层或者呈现点(presentation point)的数量。

dependency_id[i]指示了可缩放层i的依赖(CGS)层，其等于可缩放层i中的NAL单元的dependency_id。

temporal_level[i]指示了可缩放层i的时间层，其等于可缩放层i中的NAL单元的temporal_level。

quality_level[i]指示了可缩放层i的质量层，其等于可缩放层i中的NAL单元的quality_level。

cpb_cnt_minus1[i]，bite_rate_scale[i]，cpb_size_scale[i]，bit_rate_value_minus1[i][SchedSelldx]，cpb_size_value_minus1[i][SchedSelldx]，cbr_flag[i][SchedSelldx]，initial_cpb_removal_delay_length_minus1[i]，cpb_removal_delay_length_minus1[i]，dpb_output_delay_lenght_minus1[i]，time_offset_length[i]分别等于它们的针对可缩放层i的相应值¹。

num_temporal_layer_minus1加1指示了比特流所支持的时间层的数量，其等于在比特流中的NAL单元的最大temporal_level。

timing_info_present_flag[i]，num_units_in_tick[i]，time_scale[i]，fixed_frame_rate_flag[i]分别等于它们的针对时间层i的相应值。

num_layer_minus1加1指示了，参照缓冲周期SEI消息中的相同的seq_parameter_set_id，比特流所支持的可缩放层或者呈现点的数量。

dependency_id[i]指示了可缩放层i的依赖(CGS)层，其等于在可缩放层i中的NAL单元的dependency_id。

temporal_level[i]指示了可缩放层i的时间层，其等于可缩放层i中的NAL单元的temporal_level。

quality_level[i]指示了可缩放层i的质量层，其等于可缩放层i中的NAL单元的quality_level。

initial_cpb_removal_delay[i][SchedSelldx]，initial_cpb_removal_delay_offset[i][SchedSelldx]分别等于它们的针对可缩放层i的相应值。

num_temporal_layer_minus1加1指示了时间层的数量，该数量依赖于其接入单元与该图像定时SEI消息相关联的NAL单元。

temporal_layer[i]指示了时间层i的时间级别。

¹在该定义中，比特率包括针对可缩放层i及其依赖层的比特。

cpb_removal_delay[i]，dpb_output_delay[i]分别等于它们的针对时间层i的相应值。

通过本发明公开能够设想多种实施方式，并且这些实施方式可以包括本发明公开中描述的一个或者更多特征。这些实施方式可以是例如方法、装置、或者指令程序等形式，并且可以使用例如硬件，软件，或者组合来实施。还有多种可能的实施方式。