3D视频编码中的视图间子分割预测的方法和装置

摘要

本发明揭示一种用于基于子块的视图间预测的三维视频编码或解码的装置和方法。方法将材质块分割为材质子块，并确定材质子块的差异向量。视图间参考数据是基于不同视图中的材质子块和参考材质帧的差异向量来派生的。于编码或解码时，视图间参考数据然后用作当前块的预测。本发明的一个方面提出分割当前材质块。本发明的另一方面提出用于当前材质子块的差异向量的派生。

说明书

相关申请的交叉应用

本发明要求2012年7月9日提交的序列号为61/669,364名称为“3D视频编码中具有子分 割的视图间预测”(Inter-view prediction with sub-partition scheme in 3D video coding)的美国 临时专利申请，以及2012年10月12日提交的序列号为61/712,926名称为“在3D视频编码中 与运动补偿模块整合的视图间子分割预测”(Inter-view sub-partition prediction integrated with  the motion compensation module in 3D video coding)的美国临时专利申请的优先权。美国临 时专利申请通过参考并入与此。

技术领域

本发明涉及三维(Three-dimensional，3D)视频编码。特别地，本发明涉及3D视频 编码中的视图间子分割预测。

背景技术

3D电视近年来已经是一种技术趋势，其想要带给观看者非常好的观赏体验。已经开发 了各种技术以使能3D观看。其中，多视图视频是3D电视应用的关键技术。现有的视频是二 维(Two-dimensional，2D)介质，其仅仅为观看者提供来自相机视角的场景的单个视图。 然而，多视图视频能够提供动态场景的任意视图以及为观看者提供真实的感觉。

多视图视频一般通过同时使用多个相机俘获场景来创建，其中多个相机合适地定位， 以便每个相机从一个视角俘获场景。因此，多个相机将俘获对应于多个视图的多个视频序 列。为了提供更多的视图，已经使用更多的相机，以生成具有与视图关联的大量视频序列 的多视图视频。因此，多视图视频将要求用于储存的较大存储空间和/或用于传送的高带宽。 因此，多视图视频编码技术已经在领域中发展以减少所要求的存储空间或传送带宽。

一种简单明确的方法可以是简单地将现有的视频编码技术独立地应用到每个单视图 视频序列，并忽略不同视图中的任何相关。这样的编码系统将会是非常低效率的。为了改 进多视图视频编码的效率，典型的多视图视频编码利用视图间冗余。因此，大多数3D视频 编码(3DVC)系统考虑与多个视图和深度图关联的视频数据的相关。标准发展实体，ITU-T 的视频编码专家组的联合视频组(Joint Viedo Team of the ITU-T Video Coding Experts  Group，VCEG)和ISO/IEC运动图像专家组(ISO/IEC Moving Picture Experts Group，MPEG) 将H.264/MPEG-4AVC扩展到多视图视频编码(Multi-view coding，MVC)用于立体和多视 图视频。

MVC采用时间和空间预测以改进压缩效率。在MVC的发展过程中，提出一些宏模块 级的编码工具，包含照度补偿(illumination compensation)、自适应参考滤波、运动跳跃 模式以及视图合成预测。提出这些编码工具以利用多个视图之间的冗余。照度补偿意在补 偿不同视图之间的照度变化。自适应参考滤波意在减少由于相机之间的聚焦不匹配导致的 变化。运动跳跃模式允许当前视图中的运动向量从其他视图推断。应用视图合成预测以从 其他视图预测当前视图。

然而，在MVC中，深度图和相机参数不会被编码。在新一代3D视频编码(3DVC)的 近来标准化发展中，材质数据、深度数据和相机参数均被编码。例如，图1图示了用于3D 视频编码的一般预测结构，其中符合标准的视频编码器用于基本视图视频。进来的3D视频 数据包含对应于多个视图的图像(110-0、110-1、110-2，…)。聚集用于每个视图的图像 形成用于对应视图的图像序列。通常，对应于基础视图(也称为独立视图)的图像序列110-0 由符合视频编码标准(例如，H.264/AVC或高效视频编码(High Efficiency Video Coding， HEVC))的视频编码器130-0独立地编码。用于与从属视图(即，视图1、2…)关联的图 像序列的视频编码器(130-1、130-2，…)除时间预测以外还利用视图间预测。视图间预 测由图1中的短虚线指示。

为了支持交互式应用，在相应视图与场景关联的深度图(120-0、120-1、120-2，…) 也包含于视频比特流中。如图1所示，为了减少与深度图关联的数据，深度图使用深度图 编码器(140-0、140-1、140-2，…)压缩，压缩后的深度图数据包含于比特流中。复用器 150用于将来自图像编码器和深度图编码器的压缩后的数据结合。深度信息可用于在所选 择的中间视角合成虚拟视图。对应于所选视图的图像可以使用基于对应于另一视图的图像 的视图间预测来编码。在此情况下，用于所选视图的图像称为从属视图。

由于深度数据和相机参数在新一代3DVC中也编码，材质图像和深度图之间的关系可 以用于进一步改进压缩效率。深度图和材质图像具有较高相关，因为他们对应于相同物理 场景的不同方面。可以利用相关以改进压缩效率或减少要求的计算负担。此外，深度图可 用于表示两个材质图像之间的对应。因此，深度图可以用于视图间预测方法。

发明内容

揭示一种用于基于子块的视图间预测的三维视频编码或解码的装置和方法。根据本发 明的实施例的基于子块的视图间预测的方法包含接收与当前视图中的当前帧的当前块关 联的第一数据；将当前块分割为当前子块；确定当前子块的差异向量；派生视图间参考数 据并基于视图间参考数据将视图间预测编码或解码应用于第一数据。视图间参考数据是 基于当前子块的差异向量从参考帧派生的，其中参考帧和当前帧具有相同的时间戳并对应 于不同视图。对于编码，第一数据对应于与当前块关联的像素数据或深度数据。对于解码， 第一数据对应于材质块的剩余数据或当前块的深度。如果省略运动信息和剩余数据，视图 间跳跃模式为当前块提示，以及如果省略运动信息且剩余数据已经传送，则视图间直接 模式为当前材质块提示。

本发明的一个方面提出分割当前块。当前块可以分割为相等大小的矩形或方形子块， 或任意的形状的子块。当前块可以分割为对应于4×4子块或8×8子块的相等大小的方形子 块，且4×4子块或8×8子块的指示可以在比特流中的序列参数组(SPS)提示。相等大小 的方形子块可对应于n×n子块，且在比特流的序列级、切片级或编码单元(CU)级中提示。

本发明的另一方面提出用于当前子块的差异向量的派生。在一个实施例中，当前块的 视图间参考数据是从参考帧的对应子块获得，且对应子块是基于当前子块的差异向量来确 定的。当前子块的差异向量可以基于对应于当前块的深度图中的并列子块的深度值来确 定。当前子块的差异向量还可以从与在视图间模式中编码的当前块的相邻子块关联的相邻 差异向量获得。

附图说明

图1图示用于三维视频编码系统的预测结构的示例。

图2图示三维(3D)视频编码中的基于空间相邻块、时间并列块以及视图间并列块的 预测的示例。

图3图示了根据本发明的实施例的基于子块的视图间预测的示例，其中当前材质块分 割为4×4方形子块。

图4图示了根据本发明的实施例的基于子块的视图间预测的另一示例，其中当前材质 块分割为4×4方形子块。

图5图示了根据本发明的实施例的基于子块的视图间预测的示例，其中当前材质块根 据关联的深度图分割为任意的形状的子块。

图6图示了基于相邻块的相邻差异向量的用于当前材质子块的差异向量的派生的示 例。

图7图示了根据本发明的实施例的并入基于子块的视图间预测的系统的示范性流程 图。

具体实施方式

图2图示了示例，其中当前块的预测来源于空间相邻的块、并列图片中的时间并列的 块以及视图间平列图片中视图间并列的块。图片210、211和212对应于分别在时间实例t0、 t1和t2来自视图V0的图片。类似地，图片220、221和222对应于分别在时间实例t0、t1和t2 来自视图V1的图片，以及图片230、231和232对应于分别在时间实例t0、t1和t2来自视图V2 的图片。显示于图2中的图片可以是彩色图像或深度图像。对于当前图片，内/间(Intra/Inter) 预测可以基于相同视图中的图片来应用。例如，当前图片221中的当前块224的预测可以基 于图片221的围绕块(即，内预测)。当前块224的预测可使用来自其它图片的信息，例如， 相同视图中的图片220和222(即，间预测)。此外，当前块224的预测还可使用来自其他 视图的并列图片的信息，例如，图片211和231(即，视图间预测)。

在并入本发明的实施例的系统中，具有子分割方案的视图间预测方法用于节省计算时 间并减少复杂性而不牺牲编码效率。在一个实施例中，当前块首先分割为子块，分割后的 子块的对应是从另一视图获得以作为参考。来自另一视图的对应子块然后用作预测因子用 于当前子块，以生成剩余误差，且剩余误差被编码/解码。在本公开中，当前块参考相同时 间戳但来自不同视图的参考帧的编码模式，称为视图间(inter-view)模式。此外，将块分 割为子块且使用来自其它视图的参考图片中的对应子块来编码子块的视图间模式，称作子 块视图间模式。此外，可以包含子块视图间跳跃/直接模式，其中，当没有剩余误差要编码 /解码时，使用子块视图间跳跃模式，以及，当没有运动信息需要编码/解码时，使用子块 视图间直接模式。在这些模式中，子块的差异向量(disparity)可以从编码器中的已编码 的深度、解码器中已解码的深度或编码器和解码器中估计的深度图获得。

图3图示了根据本发明的一个实施例的具有四个方形子块的子块视图间模式的一个示 例。当视图1(即，T1)的材质帧中的当前块被编码或解码时，假设视图1的深度图(即， D1)已经编码/解码或估计。因此，来自D1的深度信息可用于T1的材质信息的编码或解码。 当前材质块310分割为子块，且子块根据差异向量在对应于视图0(即，T0)中的参考帧找 到对应子块321到324。参考帧中对应子块321到324用作视图间参考数据以编码或解码当前 块310。有多个方法为当前块派生差异向量。例如，对应子块321到324可以基于T0中的并 列块320和D1中的深度信息来确定。派生后的差异向量在图3中显示为粗箭头线。生成并编 码T0中的当前块和对应子块之间的剩余误差。当不需要编码剩余误差和关联的运动信息 时，视图间模式变为视图间跳跃模式。在运动信息可以推测且仅仅剩余误差需要传送的情 况下，视图间模式变成视图间直接模式。

根据本发明的分割方法可对应于将当前块分割为常规形状，例如，矩形或方形，或分 割为任意的形状。例如，当前块可以分割为4×4或8×8的方形，且分割信息可以在序列级句 法中提示(signaled)，例如，3D视频编码中的序列参数集(Sequence Parameter Set，SPS)。 本公开中的4×4方形指的是以方形中的4行和方形中的4列来分割。类似地，本公开中的8×8 方形指的是以方形中的8行和方形中的8列来分割。尽管4×4和8×8分割在以上提及，当前块 可以分割为n×n子块，其中n是整数且分割信息可以在比特流中提示。再次，本公开中的n×n 分割指的是以方形中的n行和方形中的n列来分割。子块分割参数，即，n可以在序列级(SPS) 或切片级中提示。子块的大小可以等于在系统中指定的运动补偿块的最小大小。将块分割 为如4×4子块的示例显示于图4，其中子块410位于当前视图(即，视图1)的T1中，以及子 块420是视图0的T0中的并列(collocated)子块。有各种方法派生对应子块。例如，T0中的对 应子块422可以基于并列子块420和与视图1关联的对应深度信息D1来派生。一个子块的差 异向量显示为粗箭头线。T0中的对应子块用作预测因子用于T1中的子块410用于编码或解 码。

图5图示了将当前块分割为任意形状的示例。当前块可以根据所选择的准则分割为任 意的形状。例如，当前块510可以根据如图5所示的深度图中的边缘沿着目标边界分割为两 个部分512和514，有各种方法确定与任意形状的子块关联的差异向量。例如，两个对应子 块522和524可以基于T0中并列块520和D1中并列深度块530来派生。两个子块的差异向量由 粗箭头线指示。如上所述，当材质帧T1中的当前块被编码或解码时，假设深度图D1中的并 列深度块已经被编码或解码，或可以由已知方法来估计。

子块视图间模式的以上示例还可以应用于深度图编码。在一实施例中，当前视图(即， T1)的深度帧中的当前深度块分割为子块，且子块在对应于另一视图(即，T0)的参考深 度帧中找到对应子块。参考深度帧中的对应子块用作视图间参考数据以编码或解码当前深 度块。

在当前块分割为多个子块后，子块的对应部分可以根据本发明的另一实施例从深度图 或编码的/解码的相邻块的差异向量来获得。在3D视频编码中，用于当前块的深度图总是 存在，且深度图已经编码/解码或可估计。当子块的对应部分从深度图获得时，子块的差异 向量可以从深度图中的并列子块中的所有深度样本或局部深度样本的最大、最小、中值或 平均派生。当子块的对应部分从编码或解码的相邻块获得差异向量时，子块的差异向量可 以从在视图间模式中编码或解码的相邻块推测。

图6图示了为四个方形子块从编码的邻居派生差异向量的示例。当前块610分割为四 个子块，即，S1、S2、S3和S4。相邻块根据他们的位置分割为多个区域(即，区域A至区 域E)。例如，块A1、…、An属于区域A和块B1、…、Bn属于区域B等。假设每个区域中 的至少一个块在视图间模式编码。因此，子块S1、S2和S3邻近于相邻块，其中至少一个相 邻块在视图间模式中编码或解码。对于子块S1，差异向量可以从在区域A、C和E以视图间 模式编码的块派生。类似地，子块S2和S3的差异向量可以分别从在区域B和D中以视图间 模式编码的相邻块派生。当有多个候选时，子块的差异向量派生可以基于在视图间模式中 编码的所有和一些相邻块的差异向量的最大、最小、平均或中值。

因为子块S4不邻近于任何视图间相邻块，子块S4的差异可以隐含地从子块S1、S2和S3 派生。根据本发明的实施例，有若干方式获得子块S4的差异向量。此外，明确的信号可用 于指示选择哪个派生方法。在第一实施例中，如果子块S1的差异向量接近于子块S2的差异 向量，子块S4的差异向量设置为子块S3的差异向量。否则，子块S4的差异向量设置为子块 S2的差异向量。两个差异向量之间的相似度可以基于对应于映射到笛卡尔坐标系统中两个 差异向量的两个点之间的距离来测量。其它距离测量也可使用。在第二实施例中，子块S4 的差异向量是与子块S1、S2和S3关联的差异向量的加权总和。权重反比于距离。在第三实 施例中，根据选择信号，子块S4的差异向量设置为子块S1、S2或S3的差异向量。在第四实 施例中，如果并列块具有差异值，子块S4的差异向量等于先前编码的帧中的并列块的差异 向量。在第五实施例中，子块S4的差异向量等于从先前编码的帧中的并列块中的深度信息 派生的差异向量。在第六实施例中，子块S4的差异向量可以基于空间邻居或由信号指示的 时间并列块来派生。在第六实施例中，子块S4的差异向量派生于编码的/解码的或估计的深 度值。

此外，在本发明的一个实施例中，旗标用于指示是否使能子块视图间模式。旗标可以 并入比特流的序列级(例如，SPS)中，其中序列中的所有帧共享相同的旗标。旗标可以 并入切片级，其中切片中的所有编码块共享相同的旗标。旗标还可以为每个编码块提示。 此外，旗标可根据当前块周围的邻近块的模式信息适应性地并入。如果大多数邻近块使用 视图间模式，则旗标位于比非交互(interview)模式更高的优先位置。

当前块的视图间参考数据的派生可以使用用于运动补偿(即，运动补偿模块)的现存 的处理模块来执行。在本领域中已知运动补偿模块提供运动补偿的数据用于间预测。运动 补偿模块的输入包含参考图片和运动向量。在一些系统中，参考索引可用于选择一组参考 图片。在本发明的一个实施例中，运动补偿模块接收一个或多个差异向量，并将它们作为 运动向量。视图间参考帧由运动补偿模块用作参考图片。可选地，视图间参考索引可由运 动补偿模块使用以选择该组参考图片。运动补偿模块将基于对应当前块的参考帧的子块输 出视图间参考数据。视图间参考数据然后用作当前块编码或解码的预测。在获得视图间参 考数据后，运动信息不再需要且可以清除。在运动补偿模块中，运动信息可以通过将运动 信息设置为非可用的来清除。类似地，运动向量可以通过将运动向量设置为零运动来清除， 以及参考索引和图片可以通过将它们设置为非可用的来清除。

具有子分割方案的视图间模式可以应用到不同的分割块大小，且每个分割使用一个旗 标以指示是否使能视图间模式。如上所揭示的基于子块的视图间编码和解码可用于视图合 成预测。相同的技术还可应用于分割3D视频编码中的编码单元(Coding Unit，CU)，其 中CU是用于如正发展的高效视频编码(HEVC)标准定义的帧的编码和解码的单元。在此 情况下，CU变成即将分割以基于不同视图中参考帧中的对应子块生成视图间参考数据的 块。分割的CU的差异向量的派生与以上所揭示的当前材质或深度块的差异向量的派生相 同。在一个实施例中，用于n×n子块的旗标可以根据扫描线顺序或Z形(zigzag)顺序来提 示。当所有其它的子块指示使能视图间模式时，最后分割的旗标可忽略。

图7图示了根据本发明的实施例并入子块视图间模式的三维编码或解码系统的示范性 流程图。在步骤710，系统接收第一数据，第一数据与对应于当前视图的当前帧的当前块 关联。对于编码，与当前块关联的第一数据对应于即将编码的原始像素数据或深度数据。 第一数据还可对应于即将视图间预测的剩余像素数据。在后面的情况中，剩余像素数据还 使用视图间预测，以生成剩余像素数据的另一剩余数据。为了简便，原始像素数据和剩余 像素数据在本公开中均被称作像素数据。剩余数据指的是来自视图间预测的剩余数据。因 此，本公开中的剩余数据可对应于剩余像素数据或剩余像素数据的另一剩余数据。对于解 码，第一数据对应于用于重建当前块的像素数据或深度数据的剩余数据。第一数据可从存 储器获取，例如，计算机存储器、缓冲器(RAM或DRAM)或其它媒体。第一数据还可 从处理器接收，例如，控制器、中央处理单元、数字信号处理器或产生第一数据的电子电 路。在步骤720中，当前块分割为当前子块，在步骤730中，确定当前子块的差异向量。在 步骤740中，基于当前子块的差异向量从参考帧派生视图间参考数据，其中参考帧和当前 帧对应于不同视图和相同图片时间戳。在步骤750中，基于视图间参考数据将视图间预测 的编码或解码应用于第一数据。

以上显示的流程图意在图示基于子块分割的视图间预测的示例。本领域的技术人员可 修改每个步骤、重新排布步骤、分裂步骤或结合步骤以在不背离本发明的精神下实践本发 明。

呈现以上描述以使能本领域的普通技术人员以按照特定应用和其要求的上下文中所 提供的来实践本发明。对所描述的实施例的各种修改对本领域的技术人员是明显的，且本 文定义的一般原理可以应用到其它实施例。因此，本发明不是意在限制于所显示和描述的 特定实施例，而是符合包含本文揭示的原理和新颖特征的最广范围。在以上详细描述中， 说明各种具体细节以便提供本发明的完整的理解。不过，本领域技术人员应理解本发明可 以实践。

如上所述的本发明的实施例可以以各种硬件、软件代码或其组合来实施。例如，本发 明的实施例可以是集成于视频压缩芯片的电路或集成于视频压缩软件的程序代码以执行 本文描述的处理。本发明的实施例还可是执行于数字信号处理器(DSP)的程序代码以执 行本文描述的处理。本发明还可涉及由计算机处理器、数字信号处理器、微处理器或现场 可编程门阵列(FPGA)处理的多个功能。这些处理器可用于根据本发明，通过执行机器- 可读软件代码或定义由本发明实施的特定方法的固件代码，来执行特定任务。软件代码或 固件代码可以用不同的编程语言和不同的格式或风格来开发。软件代码还可以兼容不同的 目标平台。然而，软件代码的不同的代码格式、风格和语言和根据本发明配置代码以执行 任务的其它装备将不背离本发明的精神和范围。

本发明可以以不背离其精神或本质特性的其他具体形式来实施。所描述的示例在所有 方面考虑为仅仅是说明性的并不是限制性的。因此，本发明的范围由所附的权利要求指示 而不是由上文的描述来指示。落入权利要求的均等的意义和范围的所有改变包含于他们的 范围。