具有对称图片分辨率和质量的帧兼容全分辨率立体3D视频递送

摘要

高分辨率3D图像可以被编码成采用基础层（BL）视频信号和增强层（EL）视频信号的第一复用图像帧和第二复用图像帧。第一复用图像帧可以包括用于双眼的水平高分辨率图像数据，而第二复用图像帧可以包括用于双眼的垂直高分辨率图像数据。用于3D图像的经编码对称分辨率图像数据可以被分发至用于3D图像处理和呈现的宽泛种类的装置。接收装置可以从第一复用图像帧或第二复用图像帧之一来重构缩减分辨率3D图像。接收装置还可以通过从第一复用图像帧和第二复用图像帧两者组合高分辨率图像数据，来重构高分辨率3D图像。

说明书

相关申请的交叉引用

本申请要求2011年9月29日提交的美国临时专利申请No. 61/541,005和2012年1月04日提交的美国临时专利申请No.61/583,081 的优先权，其全部内容通过引用而并入于此。

技术领域

本发明总体上涉及图像数据。更具体地，本发明的示例实施例涉及 用于立体3D图像的图像数据。

背景技术

用于3D内容递送的帧兼容半分辨率（FCHR）解决方案遭受劣化的 空间分辨率，因为半分辨率3D内容仅包含从全分辨率3D图像帧子采样 （subsample）的半分辨率图像帧。

在某些技术下，帧兼容全分辨率（FCFR）解决方案可以被用于通 过经由基础层发送半分辨率3D图像帧并且经由增强层发送补充半分辨率 3D图像帧来生成全分辨率3D图像帧。半分辨率3D图像帧和补充半分辨率 3D图像帧可以由接收装置组合成全分辨率的3D图像帧。

然而，这些技术执行低通滤波，以减小/去除半分辨率图像帧中的混 叠（aliasing）。由于图像帧中的高频内容通过低通滤波被去除，因而， 下游装置不可能恢复高空间频率内容中的全部精细细节和纹理。虽然全 分辨率3D图像帧仍可能被构造，但3D图像帧中的像素将由于低通滤波而 不可逆地改变，并且不能被用于再现这些3D图像帧所源自的原始3D内容 中的原始分辨率和清晰度。

在本部分中描述的方法是可以推行的方法，但不一定是先前已经设 想或推行的方法。因此，除非另外加以表明，否则，不应假定本部分中 描述的任何方法仅由于它们被包括在本部分中而被认为是现有技术。类 似的是，参照一个或多个方法确立的问题不应基于本部分而假定已经在 任何现有技术中被认识到，除非另外加以表明。

附图说明

本发明在附图的图中通过示例而非限制的方式进行了例示，并且其 中，相同标号指示相似部件，并且其中：

图1A例示了根据本发明一实施例的、保持存在于输入视频序列中的 高空间频率内容的多层视频编码器；

图1B例示了根据一实施例的、接收具有高空间频率内容的输入视频 信号的多层视频解码器；

图1C例示了根据一实施例的基础层视频解码器；

图2、图3和图4例示了根据一些示例实施例的解复用器的不同构造；

图5例示了一些示例实施例中的复用格式；

图6A和图6B例示了一些示例实施例中的、以上下和并排格式形成图 像部分的一个视角的交织内容；

图7例示了一些示例实施例中的、用于携带交织内容的复用格式；

图8A例示了根据本发明一实施例的多层视频编码器；

图8B示出了根据一实施例的多层视频解码器；

图9例示了根据一些示例实施例的解复用器；

图10A和图10B例示了一些示例实施例中的处理流程；

图11例示了根据本发明一示例实施例的、其上可以实现在此描述的 计算机或计算装置的示例硬件平台；

图12A和图12B例示了根据本发明一实施例的、FCFR多层视频编码 器和FCFR多层视频解码器；

图13A和图13B例示了用于重构全分辨率信号的示例实施例；

图14例示了根据本发明一实施例的、用于生成增强层的编码处理流 程；以及

图15例示了根据本发明一实施例的、解码器RPU中的用于生成载波 图像信号的滤波处理流程。

具体实施方式

在此描述了涉及3D视频编码的示例实施例。在下面的描述中，出于 说明的目的，阐述了许多具体细节，以便提供对本发明的详尽理解。然 而，应当清楚，本发明可以在没有这些具体细节的情况下实践。在其它 情况下，公知结构和装置未按详尽细节进行描述，以便避免不必要地遮 蔽、混淆或模糊本发明。

在此根据下列提纲对示例实施例进行描述：

1、一般概述

2、多层化视频递送

3、解复用器

4、采样格式

5、交织视频应用

6、残留图像编码

7、示例处理流程

8、利用载波信号的残留图像编码

9、实现机构-硬件概述

10、等同、扩展、另选例以及其他

1、一般概述

本概述给出对本发明一示例实施例的一些方面的基本描述。应注意 到，本概述不是该示例实施例的各方面的广泛或详尽摘要。而且，应注 意到，本概述不是旨在被理解为标识出该示例实施例的任何特定显著方 面或元素，也不被理解为描绘该示例实施例的任何具体范围或本发明的 任何一般范围。本概述仅以节略和简化格式给出涉及该示例实施例的一 些概念，而且应当被理解为仅仅是针对后续示例实施例的更详细描述的 概念性序言。

视频数据当前主要通过网络连接来接收，例如，从基于因特网的内 容提供方。然而，分配给计算装置上的诸如3D显示应用的显示应用的比 特率是受限的。

为支持最广泛的可能种类的3D图像呈现装置，3D图像内容可以作为 具有缩减分辨率的帧兼容3D图像帧（或图片）来递送。如所讨论的，3D 图像帧可以从全分辨率3D图像帧子采样成缩减分辨率3D图像帧；全分辨 率3D图像帧中的高空间频率内容可以通过低通滤波器来去除，以防止子 采样图像帧中的混叠。

实施例包括编码并向下游装置提供对称高分辨率3D图像数据。在一 些示例实施例中，具有沿水平方向的缩减分辨率和沿垂直方向的全分辨 率的第一复用3D图像帧在基础层和增强层中的一个中提供给接收装置， 而具有沿垂直方向的缩减分辨率和沿水平方向的全分辨率的第二复用3D 图像帧在基础层和增强层中的另一个中提供给接收装置。增强层中的左 眼（LE）和右眼（RE）图像数据可以通过接收装置与基础层中的LE和 RE图像数据相组合，以重构对称全分辨率LE和RE图像帧。第一复用3D 图像帧和第二复用3D图像帧中的一者或两者可以是支持缩减分辨率（低 于全分辨率，例如，半分辨率）3D视频应用的兼容帧。

在此描述的编解码器实现技术可以被配置成包括层间预测能力，以 充分利用基础层中的复用3D图像帧与输入图像帧之间的统计冗余。增强 层中的复用3D图像帧可以（有可能仅仅）携带残留或差分图像数据，而 不是携带大量的LE和RE图像数据且不利用不同层的图像数据中的统计 冗余。在增强层中提供的残留或差分图像数据使得下游装置能够通过在 基础层中的帧兼容复用3D图像帧之上加入该残留或差分图像数据，来构 造对称全分辨率LE和RE图像帧。

在一些示例实施例中，编解码器可以被配置成包括如在ITU-T建议 H.264和ISO/IEC14496-10中描述的那样来使用的视图间预测能力。在一 些示例实施例中，RPU（参考处理单元）可以被用于改进层间预测的效 率以用于压缩增强层。

在一些实施例中，基础层和增强层两者中包括补充高空间频率内容 的复用3D图像帧可以被发送到高端3D显示器和/或呈现在高端3D显示器 上以供观看。另外，这些复用3D图像帧中的一个（例如，帧兼容复用3D 图像帧）可以被发送到相对低端3D显示器和/或呈现在相对低端3D显示器 上以供观看。

在一些示例实施例中，其它应用所需的数据也可以包括在一个或多 个增强层中。在一些示例实施例中，多种多样的特征（如根据可从位于 San Francisco,California的Dolby Laboratories购买到的FCFR技术所提 供的）可以被如在此描述的基础层和增强层所支持。

在此所描述的技术提供了用于在保持对多种相对低端视频播放器 的向后兼容性的同时实现对称高分辨率和高图片质量的解决方案。实施 在此描述的技术的显示系统能够比实施其它FCFR方案的其它显示系统 获得更好的重构3D图片的图片质量。特别地，在此描述的显示系统与其 它显示系统相比，能够保留更多高频并且再现具有更多细节的更清晰图 片。

在此描述的技术可以被用于减小带宽或比特率使用，并且保持具有 缩减分辨率的帧兼容3D图像数据，其支持各种电视机、显示器以及其它 图像呈现装置。

另外，针对交织3D内容的选项还可以在这里描述的技术下实施。该 选项例如可以被用于承载诸如体育节目的3D广播应用。

在一些实施例中，与没有利用在此描述的技术的其它方法相比，一 些可用系统组件的重用、改动以及改进允许相对低成本的实现。

在一些示例实施例中，在此描述的机构形成了媒体处理系统的一部 分，媒体处理系统包括但不限于：手持式装置、游戏机、电视机、膝上 型计算机、上网本计算机、平板计算机、蜂窝无线电话、电子书阅读器、 销售终端点、台式计算机、计算机工作站、计算机信息亭、或各种其它 种类的终端以及媒体处理单元。

本领域技术人员将容易地明白针对在此描述的优选实施例和一般 原理以及特征的各种修改。由此，本公开不是旨在限制到所示实施例， 而是符合与在此描述的原理和特征一致的最广泛范围。

2、多层化视频递送

图1A例示了根据本发明一实施例的、保持存在于输入视频序列中的 高空间频率内容的多层视频编码器（100）。图1B例示了根据该示例实施 例的、对应于图1A所示多层视频编码器（100）的多层视频解码器（150）。

在一示例实施例中，多层视频编码器（100）被配置成对输入3D视 频序列进行编码。该输入3D视频序列由3D输入图像的序列构成。该3D 图像序列中的一3D输入图像包括包含高空间频率内容的全分辨率3D图 像数据。如在此使用的，术语“全分辨率”可以指一图像帧中的独立可设 置像素的总数目最大所支持的空间分辨率。3D输入图像中的全分辨率3D 图像数据可以由多层视频编码器（100）初始地解码成输入LE图像帧 （102-L）和输入RE图像帧（120-R），这两者都包含高空间频率内容。

在一示例实施例中，多层视频编码器（100）中的一个或多个滤波 和子采样机构（例如，104-H和104-V）基于输入LE和RE图像帧（102-L 和102-R），生成沿垂直和水平方向中的一个方向滤波而沿垂直和水平方 向中的另一个方向不滤波的LE和RE图像数据。

例如，滤波和子采样机构（104-H）可以被配置成，从输入LE和RE 图像帧（102-L和102-R）沿水平方向过滤高空间频率内容，并且将已沿 水平方向滤波的LE和RE图像帧（102-L和102-R）水平子采样成对应的 LE和RE部分。复用器（106-H）可以被配置成，按并排格式将LE和RE 部分组合在3D复用图像帧（108-H）中。

类似的是，滤波和子采样机构（104-V）可以被配置成，从输入LE 和RE图像帧（102-L和102-R）沿垂直方向过滤高空间频率内容，并且将 已沿垂直方向滤波的LE和RE图像帧（102-L和102-R）垂直子采样成对 应的LE和RE部分。复用器（106-V）可以被配置成，按上下格式将LE 和RE部分组合成3D复用图像帧（108-V）。

对LE和RE图像帧（102-L和102-R）的滤波可以沿水平和垂直方向 中的一个方向从输入LE和RE图像帧（102-L和102-R）中去除高空间频 率内容的全部或大部分。滤波可以利用滤波和子采样机构（例如，104-H 和104-V）中的一个或多个低通滤波器（LPF）来执行。在一示例实施例 中，在此描述的滤波沿水平和垂直方向中的一个方向去除或基本上抑制 输入图像中超过与多层视频解码器（例如，150）所支持的空间分辨率的 一部分（例如，一半或另一分数）相对应的阈值频率的任何空间频率内 容。

如在此使用的，术语沿一空间方向（水平或垂直）的“高空间频率 内容”可以指存在于输入3D视频序列中的沿该空间方向的高空间频率图 像细节。如果沿该空间方向去除高空间频率内容已经发生，则下游装置 将不能够利用已沿该空间方向滤波的图像数据来再现高分辨率图像细节。

如在此使用的，在滤波和子采样机构（104-H或104-V）中的子采样 器可以被配置成，保留与其中已经过滤/去除高空间频率内容的方向正交 的方向上的高空间频率内容。例如，滤波和子采样机构（104-H）中的子 采样器可以被配置成，沿其中已经去除高空间频率内容的相同水平方向 子采样（例如，每隔一列保持），并且避免沿垂直方向的子采样。类似的 是，滤波和子采样机构（104-V）中的子采样器可以被配置成，沿其中已 经去除高空间频率内容的相同垂直方向子采样（例如，每隔一行保持）， 并且避免沿水平方向的子采样。

复用3D图像帧（108-H和108-V中的一个）包括用于左眼的（例如， 下采样的）图像数据部分和用于右眼的（例如，下采样的）图像数据部 分。复用3D图像帧可以沿水平和垂直方向中的一个由下游装置解码成具 有缩减分辨率（例如，半分辨率）的LE图像帧和RE图像帧。具有缩减分 辨率的这种经解码的LE和RE图像帧可以上采样以包括与全分辨率图像 相同数量的像素，但是比不是通过上采样操作获得的全分辨率图像具有 更模糊的外观。

在一示例实施例中，复用3D图像帧（108-H）包括LE和RE图像数 据部分，其中每一个都包括全分辨率图像帧中的总像素数的缩减数量（例 如，一半、低于一半、或比总数少的另一数量），其中，LE和RE图像数 据部分包括沿垂直方向的高空间频率内容，而另一复用3D图像帧（108-V） 包括补充LE和RE图像数据部分，其中每一个都包括全分辨率图像帧中的 总像素数的缩减数量（例如，一半、低于一半、或比总数少的另一数量）， 其中，该补充LE和RE图像数据部分包括沿水平方向的高空间频率内容。 LE和RE图像数据部分可以按并排格式、上下格式、五点形格式、棋盘格 式、交织格式、前述格式的组合、或另一复用格式而在复用3D图像帧（例 如，108-H和108-V中的一个）内复用。

一个或多个增强层可以被用于携带第一复用3D图像帧（例如，108-H 和108-V中的一个），该第一复用3D图像帧可以在基础层中与第二复用3D 图像帧（例如，108-H和108-V中的另一个）相组合。在此描述的多层视 频解码器（例如，150）可以被配置成，基于第一和第二复用3D图像帧（例 如，108-H和108-V），生成在垂直和水平方向上都具有高空间分辨率内容 的图像帧。

在一示例实施例中，BL编码器（110）至少部分地基于第一复用3D 图像帧（例如，108-H），生成要在基础层帧兼容视频流（BL FC视频流 112-1）中携带的基础层视频信号，而EL编码器（116）至少部分地基于 第二复用3D图像帧（例如，108-V），生成要在增强层帧兼容视频流（EL FC视频流112-3）中携带的增强层视频信号。BL编码器（110）和EL编码 器（116）中的一者或两者可以利用多种编解码器（如H.264/AVC、VP8、 VC-1和/或其它）中的一种或多种来实现。

在此描述的增强层视频信号可以利用混合视频编码方法（例如，通 过视频编解码器（如VC-1、H.264/AVC和/或其它）实现的方法）来生成。 复用3D图像帧108-V中的图像数据可以根据同一图像帧中的相邻采样而 被预测（利用帧内预测），或者根据来自属于同一层且被缓冲作为预测参 考图像帧缓冲器内的运动补偿预测参考的、过去已解码的图像帧的采样 而被预测（帧间预测）。层间预测还可以至少部分地基于来自其它层（例 如，基础层等）的已解码的信息。

另外和/或可选地，多层视频编码器（100）可以包括用于执行涉及 预测的操作的参考处理单元（RPU，114）。通过参考处理单元（114）执 行的预测可以被用于减小多层视频解码器（150）中在构造复用3D图像帧 时的冗余数据和开销。该RPU（114）可以接收并使用来自BL编码器110 的BL图像数据和其它预测相关信息，并且通过帧内或帧间预测生成预测 参考图像帧。

在使用这种预测的那些示例实施例中，EL编码器（116）至少部分 地基于第二复用3D图像帧（108-V）和预测参考图像帧，来生成预测参 考图像帧与第二复用3D图像帧108-V之间的复用3D图像残留或差分，并 将该图像残留存储在要在EL FC视频流（112-3）中携带的增强层视频信 号中。而且，基于该预测和编码处理，RPU（114）可以生成编码信息， 该编码信息可以利用RPU流（112-2）作为元数据发送至解码器。

图1B例示了根据一实施例的接收输入视频信号的多层视频解码器 （150），其中，来自原始视频序列（其可以是如结合图1A讨论的输入视 频序列）的、沿两个正交方向的高空间频率内容已经分别保留在增强层 和基础层中所携带的互补图像数据中。在一示例实施例中，输入视频信 号在多个层（或多个比特流）中被接收。如在此使用的，术语“多层”或“多 个层”可以指携带（各输入视频信号）彼此之间具有一个或多个逻辑依赖 关系的输入视频信号的两个或更多个比特流。

在一示例实施例中，该多层视频解码器（150）被配置成将BL FC 视频流（图1B的112-1）、EL RPU流（图1B的112-2）、以及EL FC视频流 （图1B的112-3）中的一个或多个输入视频信号解码成（全分辨率）3D 输出图像的序列。通过多层视频解码器（150）解码的3D输出图像序列中 的3D输出图像包括用于双眼的高空间分辨率内容，因为已经沿水平和垂 直方向两者保留了输入视频信号所源自的原始视频序列中的高空间频率 内容。

在一示例实施例中，BL解码器（152）至少部分地基于从BL FC视 频流（图1B的112-1）接收的BL视频信号，生成第一复用3D图像帧（158-H）， 而EL解码器（156）至少部分地基于从EL FC视频流（图1B的112-3）接 收的EL视频信号，生成第二复用3D图像帧（158-V）。BL解码器（152） 和EL解码器（156）中的一者或两者可以利用多种编解码器（如H.264/AVC、 VP8、VC-1和/或其它）中的一种或多种来实现。

在使用预测的实施例中，解码器侧的RPU（154）至少部分地基于 从EL RPU流（图1B的112-2）接收的参考视频信号和/或来自BL解码器 （152）的BL图像数据，生成预测参考图像帧。而且，EL解码器（156） 至少部分地基于EL FC视频流（图1B的112-3）中的EL视频信号和来自 RPU（154）的预测参考图像帧，生成第二复用3D图像帧（158-V）。

多层视频解码器（150）可以组合在一个或多个增强层（例如，EL RPU流112-2和EL FC视频流112-3）中接收的补充图像数据和在基础层 （例如，BL FC视频流112-1）中接收的图像数据，以生成包括沿垂直和 水平方向两者的高空间频率内容的全分辨率LE和RE输出图像帧（例如， 162-L和162-R）。例如，解复用器（DeMux，160）可以被配置成，将复 用3D图像帧（158-H和158-V）解复用成具有高空间频率内容的LE和RE 输出图像帧（162-L和162-R）。虽然这些复用3D图像帧（158-H和158-V） 皆包括用于左眼和右眼两者的图像数据，但LE和RE输出图像帧（162-L 和162-R）中的每一个都仅用于左眼和右眼中的一个。第一复用3D图像 帧（158-H）中的第一LE图像数据部分可以与第二复用3D图像帧（158-V） 中的第二LE图像数据部分相组合，以形成包括沿垂直方向和水平方向两 者的高空间频率内容的LE输出图像（162-L）。类似的是，第一复用3D图 像帧（158-H）中的第一RE图像数据部分可以与第二复用3D图像帧（158-V） 中的第二RE图像数据部分相组合，以形成包括沿垂直方向和水平方向两 者的高空间频率内容的RE输出图像（162-R）。

全分辨率LE和RE输出图像帧（162-L和162-R）（这两者包括沿垂直 方向和水平方向两者的高空间频率内容）可以通过显示装置（其例如可 以包括多层视频解码器150）被呈现，以展现全分辨率输出3D图像。呈现 全分辨率LE和RE输出图像帧可以（但不限于）采用帧顺序方式。因为高 空间频率内容已经保留在通过多层视频解码器（150）接收的视频信号中， 所以该全分辨率输出3D图像包含可能存在于原始3D图像（其可以是图1A 的3D输入图像之一）中的高空间频率图像细节。

图1C例示了根据一实施例的、接收从原始视频序列（其可以是如结 合图1A讨论的输入视频序列）生成的一个或多个输入视频信号的基础层 视频解码器（150-1）。在一示例实施例中，该基础层视频解码器（150-1） 被配置成将从基础层接收的BL输入视频信号（图1C的BL FC视频流112-1） 解码成3D输出图像的序列，无论其它层中的视频信号是否可能存在或不 存在于通过解码器接收的物理信号中。在一示例实施例中，基础层视频 解码器（150-1）被配置成忽略除了BL FC视频流（112-1）以外的其它流 中任何视频信号的存在。

通过基础层视频解码器（150-1）生成的3D输出图像序列中的3D输 出图像不包括全分辨率3D图像数据，因为输入视频信号所源自的原始视 频信号中的沿垂直和水平方向之一的高空间频率内容已经在基础层视频 信号中被过滤/去除并且不能由基础层视频解码器（150-1）恢复。

在一示例实施例中，BL解码器（图1C的152）至少部分地基于BL FC 视频流（图1C的112-1）中的BL输入视频信号，生成复用3D图像帧（例 如，图1C的158-H）。BL解码器（图1C的152）可以利用多种编解码器（如 H.264/AVC、VP8、VC-1和/或其它）中的一种或多种来实现。

在一示例实施例中，上采样单元（170）将复用3D图像帧（158-H） 解复用和/或分离成两个图像数据部分。当复用3D图像帧（158-H）包括 用于左眼和右眼两者的复用的已滤波图像数据时，这些图像数据部分包 括已滤波LE图像数据部分和已滤波RE图像数据部分，其中每一个都具有 低于全分辨率的缩减分辨率。在一示例实施例中，上采样单元（170）上 采样（例如，沿水平方向扩展）已滤波LE图像数据部分，以形成上采样 LE已滤波输出图像帧（172-L）。类似的是，上采样单元（170）上采样 （例如，沿水平方向扩展）已滤波RE图像数据部分，以形成上采样RE 已滤波输出图像帧（172-R）。尽管上采样LE和RE已滤波图像帧（172-L 和172-R)皆可以包括与全分辨率图像帧相同数量的像素，但是与不是通 过上采样操作获得的全分辨率LE和RE图像帧（图1B的162-L和162-R） 所构成的3D图像相比，所呈现的具有上采样LE和RE已滤波图像帧 （172-L和172-R）的3D图像具有更模糊的外观。另外，上采样LE和RE 已滤波图像帧（172-L和172-R）不具有在BL视频信号（其例如可以从图 1A的112-1导出）的编码处理中去除的高空间频率图像细节。

低于全分辨率的上采样LE和RE已滤波图像帧（172-L和172-R）可 以通过显示装置（其例如可以包括基础层视频解码器150-1）呈现，以展 现输出3D图像。呈现上采样LE和RE已滤波图像帧（172-L和172-R）可 以但不限于采用帧顺序方式。

3、解复用器

图2、图3和图4例示了根据一些示例实施例的、图1B的解复用器160 的不同构造。解复用器（160-1到160-5）皆可以被配置成，接受从第一复 用3D图像帧（例如，158-H）解码/导出的第一LE部分（202-L）和从第 二复用3D图像帧（例如，158-V）解码/导出的第二LE部分（204-L）。第 一LE部分（202-L）可以包括沿垂直和水平方向中的一个（例如，垂直 方向）的高空间频率内容，而第二LE部分（204-L）可以包括沿垂直和 水平方向中的另一个（同一示例中为水平方向）的高空间频率内容。

解复用器（160-1到160-5）皆可以被配置成，处理并组合第一LE部 分（202-L）和第二LE部分（204-L），以生成包括沿垂直和水平方向两 者的高空间频率内容的全分辨率LE图像帧（162-L）。

与解复用器（160-1到160-5）中的每一个相似的解复用器可以被配 置成，接受从第一复用3D图像帧（158-H）解码/导出的第一RE部分和从 第二复用3D图像帧（158-V）解码/导出的第二RE部分。第一RE部分可 以包括沿垂直方向的高空间频率内容，而第二RE部分可以包括沿水平方 向的高空间频率内容。该解复用器可以被配置成，处理并组合第一RE部 分和第二RE部分，以生成包括沿垂直和水平方向两者的高空间频率内容 的全分辨率RE图像帧（图1B的162-R）。

如图2所示，解复用器（160-1）中的上采样器（206-H）可以被配置 成，沿水平方向上采样第一LE部分（202-L），以创建第一LE图像帧 （208-H）。类似的是，解复用器（160-1）中的上采样器206-V可以被配 置成，沿垂直方向上采样第二LE部分（204-L），以创建第二LE图像帧（208 －V）。

第一低通滤波器（210-1）和第一高通滤波器（210-2）可以被应用 至第一LE图像帧（208-H），以产生第一低通LE图像帧（212-1）和第一 高通LE图像帧（212-2）。类似的是，第二低通滤波器（214-1）和第二高 通滤波器（214-2）可以被应用至第二LE图像帧（208-V），以产生第二低 通LE图像帧（216-1）和第二高通LE图像帧（216-2）。

解复用器（160-1）中的平均单元（218）可以被配置成，接受第一 低通LE图像帧（212-1）和第二低通LE图像帧（216-1）作为输入，并且 针对第一低通LE图像帧（212-1）和第二低通LE图像帧（216-1）应用平 均操作，以生成低通平均LE图像帧。

解复用器（160-1）中的加法器（220）可以被配置成，接受第一高 通LE图像帧（212-2）、第二高通LE图像帧（216-2）以及低通平均LE图 像帧作为输入，并且针对第一高通LE图像帧（212-2）、第二高通LE图像 帧（216-2）以及低通平均LE图像帧应用加法操作，以生成包括沿垂直和 水平方向两者的高空间频率内容的全分辨率LE图像帧（162-L）。

在一些实施例中，例如，出于抗混叠目的，已经由多层视频编码器 （例如，图1A的100）应用了低通滤波。图2的解复用器（160-1）可以根 据如图3A和图3B例示的一些实施例来简化。在这些实施例中，可以通过 消除可以在图2的复用器160-1中使用的低通滤波器（例如，210-1和214-1） 和平均单元（218）来减小解码复杂性。

如图3A所示，解复用器（160-2）中的上采样器（206-H）可以被配 置成，沿水平方向上采样第一LE部分（202-L），以创建包括沿垂直方向 的高空间频率内容的LE图像帧（208-H）。

保留沿水平方向的高空间频率内容的高通滤波器（214-2）可以被应 用至第二LE部分（202-L），以产生高通LE部分。解复用器（160-2）中 的上采样器206-V可以被配置成，沿垂直方向上采样高通LE部分，以创 建包括沿水平方向的高空间频率内容的高通LE图像帧（216-2）。

解复用器（160-2）中的加法器（222）可以被配置成，接受高通LE 图像帧（216-2）和LE图像帧（208-H）作为输入，并且针对高通LE图像 帧（216-2）和LE图像帧（208-H）应用加法操作，以生成包括沿垂直和 水平方向两者的高空间频率内容的全分辨率LE图像帧（162-L）。

在一些实施例中，代替使用如图3A所示的解复用器（160-2）来导 出全分辨率LE图像帧（例如，162-L），可以使用如图3B所示的解复用器 （160-3）。在图3B中，解复用器（160-3）中的上采样器（206-V）可以 被配置成，沿垂直方向上采样第二LE部分（204-L），以创建包括沿水平 方向的高空间频率内容的LE图像帧（208-V）。

保留沿垂直方向的高空间频率内容的高通滤波器（210-2）可以被应 用至第一LE部分（202-L），以产生高通LE部分。解复用器（160-3）中 的上采样器206-H可以被配置成，沿水平方向上采样高通LE部分，以创 建包括沿垂直方向的高空间频率内容的高通LE图像帧（212-2）。

解复用器（160-3）中的加法器（222）可以被配置成，接受高通LE 图像帧（212-2）和LE图像帧（208-V）作为输入，并且针对高通LE图像 帧（212-2）和LE图像帧（208-V）应用加法操作，以生成包括沿垂直和 水平方向两者的高空间频率内容的全分辨率LE图像帧（162-L）。

在一些实施例中，代替使用如图3A和图3B所示的解复用器（160-2 或160-3）中的高通滤波器（例如，图3A的214-2或图3B的210-2）来导出 全分辨率LE图像帧（例如，162-L），可以使用如图4A所示的减法操作。 与高通滤波操作形成对比，诸如402的减法操作可以需要更少的计算复杂 性。

仅出于例示的目的，第一LE部分（202-L）可以从BL视频信号解码， 而第二LE部分（204-L）可以从EL视频信号解码。如图4A所示，参考LE 部分404（其可以具有与第二LE部分（204-L）相同的空间尺度）可以在 层间预测处理期间，由RPU406（其例如可以是图1B的154）基于第一LE 部分（202-L）来生成。在一些实施例中，包括沿垂直方向的低通滤波器 （408）（其去除沿垂直方向的高空间频率内容）、垂直子采样器（410； 其例如可以每隔一行保持）、以及水平上采样器（412）的处理路径或子 路径可以被用于生成参考LE部分404。

减法操作（402）可以被配置成，接受参考LE部分404（其除了由上 游的多层视频编码器（例如，图1A的100）去除的沿水平方向的高空间频 率内容以外，还沿垂直方向去除了高空间频率内容）和第二LE部分 （204-L）作为输入，并且从第二LE部分（204-L）中减去参考LE部分404， 以生成包括仅沿水平方向的高空间频率内容的高通LE部分。在一些实施 例中，在此描述的高通LE部分可以等同于由图3A的高通滤波器（214-2） 生成的高通LE部分。

与图3A的解复用器（160-2）相似，图4A的解复用器（160-4）可以 包括上采样器206-V，其可以被配置成沿垂直方向上采样高通LE部分， 以创建包括沿水平方向的高空间频率内容的高通LE图像帧（216-2）。

解复用器（160-4）中的加法器（222）可以被配置成，接受高通LE 图像帧（216-2）和LE图像帧（208-H）（由水平上采样器206-H从第一LE 部分202-L生成）作为输入，并且针对高通LE图像帧（216-2）和LE图像 帧（208-H）应用加法操作，以生成包括沿垂直和水平方向两者的高空间 频率内容的全分辨率LE图像帧（162-L）。

如图4B所示，参考LE部分424（其可以具有与第一LE部分（202-L） 相同的空间尺度）可以在层间预测处理期间，由RPU426（其例如可以 是图1B的154）基于第二LE部分（204-L）来生成。在一些实施例中，包 括沿垂直方向的低通滤波器（428（其去除沿垂直方向的高空间频率内容）、 垂直子采样器（430；其例如可以每隔一行保持）、以及水平上采样器（432）） 的处理路径或子路径可以被用于生成参考LE部分404。

解复用器（160-5）中的减法操作（422）可以被配置成，接受参考 LE部分424（其除了由上游的多层视频编码器（例如，图1A的100）去除 的沿垂直方向的高空间频率内容以外，还沿水平方向去除了高空间频率 内容）和第一LE部分（202-L）作为输入，并且从第一LE部分（202-L） 中减去参考LE部分424，以生成包括仅沿垂直方向的高空间频率内容的 高通LE部分。在一些实施例中，在此描述的高通LE部分可以等同于由图 3B的高通滤波器（210-2）生成的高通LE部分。

与图3B的解复用器（160-3）相似，图4B的解复用器（160-5）可以 包括上采样器206-H，其可以被配置成沿水平方向上采样高通LE部分， 以创建包括沿垂直方向的高空间频率内容的高通LE图像帧（212-2）。

解复用器（160-5）中的加法器（222）可以被配置成，接受高通LE 图像帧（212-2）和LE图像帧（208-V）（由垂直上采样器206-V从第二LE 部分204-L生成）作为输入，并且针对高通LE图像帧（212-2）和LE图像 帧（208-V）应用加法操作，以生成包括沿垂直和水平方向两者的高空间 频率内容的全分辨率LE图像帧（162-L）。

4、采样格式

图5例示了一些示例实施例中的复用格式。如所示，LE图像帧（例 如，102-L或由其导出的LE图像）和RE图像帧（例如，102-R或由其导 出的RE图像）可以包括针对3D图像帧中的多个像素（ai、bi、ci、di等， 其中i可以是正整数）的LE和RE像素值。在一些实施例中，诸如图1A的 复用图像帧108-H的并排复用图像帧可以使用多种并排复用格式 （108-H-1、108-H-2、108-H-3，或其它并排复用格式）中的任一种，以 容纳从LE和RE图像帧（102-L和102-R）水平子采样的图像数据。在一 些实施例中，诸如图1A的复用图像帧108-V的上下复用图像帧可以使用 多种上下复用格式（108-V-1、108-V-2、108-V-3，或其它上下复用格式） 中的任一种，以容纳从LE和RE图像帧（102-L和102-R）垂直子采样的 图像数据。

诸如图1的106-H或106-V的复用器可以基于一个或多个因素（例如， 与复用器所采用的子采样方法有关）从多种复用格式中进行复用格式的 一个或多个选择，并且可以向多层视频解码器（例如，图1B的150）通知 对复用格式的选择，作为例如利用RPU流112-2的元数据。多层视频解码 器（150）中的RPU单元（例如，图4A的406或图4B的426）可以基于与 从BL视频信号解码的复用3D图像帧（例如，对应于图1A的108-H）来构 造层间参考帧或图像部分（例如，图4A的404或图4B的424），其中考虑 了在生成被编码在BL和EL层两者中的复用3D图像帧（108-H和108-V） （差分或非差分）时，上游多层视频编码器所使用的所采用子采样方法。

5、交织视频应用

图6A例示了一些示例实施例中的、按上下格式形成图像部分（606） 的同一视角（左眼或右眼）的交织内容（602）。在图6A中，该交织内容 （602）可以首先解复用成等于t的第一时间的（例如1080i的）上场（top  field）（604-T）和等于t+1的第二时间的（例如1080i的）下场(bottom field) （604-B）。在图6A中，上场（604-T）和下场（604-B）中的每一个都可 以垂直地滤波并垂直地子采样成第一半场（608-1）（例如，在垂直方向 上具有全空间分辨率的一半或不到一半或者具有低于全空间分辨率的另 一分辨率）和第二半场（608-2）（例如，在垂直方向上具有全空间分辨 率的一半或不到一半或者具有低于全空间分辨率的另一分辨率）。而且， 在图6A中，第一半场（608-1）和第二半场（608-2）可以被交织成第一 交织图像帧中的上或下场（606）。

图6B例示了一些示例实施例中的、按并排格式形成图像部分（626） 的同一视角（左眼或右眼）的交织内容（602）。在一些实施例中，该交 织内容（602）在水平滤波和水平子采样并接着交织成图像部分（626） 之前不需要被解复用成两个分离的场。相反的是，该交织内容（602）可 以被直接水平滤波和水平子采样成图像部分（626）。图6B所示操作可以 针对LE和RE视角中的每一个来执行，并且可以构建滤波和采样机构 （104-H）的一半。

图6A和图6B中描述的操作可以被应用至左眼和右眼视角中的每一 个，由此，形成具有上下格式的第一交织图像帧（如图6A中部分所示）， 和具有并排格式的第二交织图像帧（如图6B中部分所示）。第一交织帧和 第二交织帧中的一个交织帧可以被携带在BL视频信号中，而另一（差分 或者非差分编码的）交织帧可以被携带在EL视频信号中。结果，第一交 织图像帧和第二交织图像帧中的一个（例如，本示例中的第一交织图像 帧）携带沿水平方向的高空间频率内容，而第一交织图像帧和第二交织 图像帧中的另一个（例如，本示例中的第二交织图像帧）携带沿垂直方 向的高空间频率内容。

图7例示了一些示例实施例中的、用于携带交织内容的复用格式。 如图6A和图6B所示，沿水平或垂直方向的低通滤波和子采样可以针对交 织内容以场为基础。左图像场（708-L）和右图像场（708-R）可以分别 对应于交织内容的LE和RE视角达等于t的时间。左图像场（708-L）和右 图像场（708-R）之一的像素值可以在如图6B所示地应用水平滤波和水平 子采样时，被用于填充如图7所示的多种复用（或子采样）格式（708-H-1、 708-H-2、708-H-3等）中的任一种的左侧或右侧。类似的是，左图像场 （708-L）和右图像场（708-R）之一的像素值可以在如图6A所示地应用 垂直滤波和水平子采样时，被用于填充如图7所示的多种复用（或子采样） 格式（708-V-1、708-V-2、708-V-3等）中的任一种的上侧或下侧。在一 些实施例中，LE和RE视角两者的并且对应于等于t的第一时间和等于t+1 的第二时间两者的所有图像场中的子采样图像数据以应用至交织内容的 上下格式存在。

6、残留图像编码

图8A例示了根据本发明一实施例的、保持存在于输入视频序列中的 高空间频率内容的多层视频编码器（100-1）。图8B示出了根据该示例实 施例的、对应于图8A所示多层视频编码器（100-1）的多层视频解码器 （150-2）。

在一示例实施例中，多层视频编码器（100-1）被配置成编码由3D 输入图像的序列构成的输入3D视频序列。该3D图像序列中的一3D输入图 像包括包含高空间频率内容的全分辨率3D图像数据。3D输入图像中的全 分辨率3D图像数据可以由多层视频编码器（100）初始地解码成输入LE 图像帧（102-L）和输入RE图像帧（120-R），这两者都包含高空间频率 内容。

在一示例实施例中，多层视频编码器（100）中的第一滤波和子采 样机构（例如，104-H）基于输入LE和RE图像帧（102-L和102-R），生 成沿垂直或水平方向中的一个方向滤波而沿垂直或水平方向中的另一个 方向不滤波的LE和RE图像数据。出于例示的目的，该第一滤波和子采样 机构可以是图8A的104-H，其被配置成，从输入LE和RE图像帧（102-L 和102-R）沿水平方向过滤高空间频率内容，并且将已沿水平方向滤波的 LE和RE图像帧（102-L和102-R）水平子采样成对应的LE和RE部分。复 用器（106-H）可以被配置成，按并排格式将LE和RE部分组合在3D复用 图像帧（108-H）中。

在一些实施例中，代替通过EL处理子路径（包括滤波、子采样、复 用以及压缩成EL视频信号）来处理LE和RE图像帧（102-L和102-R），LE 和RE残留图像帧（806-L和806-R）可以通过EL处理子路径来处理。如 图8A所示，RPU（114）可以被配置成，基于BL编码器（110）所提供的 复用3D图像帧（108-H）来生成LE和RE参考图像部分。来自RPU（114） 的LE和RE参考图像部分可以沿与BL处理子路径的子采样方向相同的方 向进行上采样。例如，如果包括水平滤波、水平子采样、并排复用以及 BL编码的BL处理子路径沿水平方向执行输入LE和RE图像帧（102-L和 102-R）的子采样，则RPU（114）生成的LE和RE参考图像部分皆可以沿 水平方向上采样，以形成上采样LE图像帧（804-L）和上采样RE图像帧 （804-R）。

加法操作（810-L）可以被配置成，接受上采样LE图像帧804-L（其 已经通过BL处理子路径沿水平方向去除了高空间频率内容）的补充和输 入LE图像帧（102-L）作为输入，并且将输入LE图像帧（102-L）与上采 样LE图像帧804-L的补充相加，以生成包括仅沿水平方向的高空间频率 内容的LE残留图像帧（806-L）。加法操作（810-R）可以被配置成，接 受上采样RE图像帧804-R（其已经通过BL处理子路径沿水平方向去除了 高空间频率内容）的补充和输入RE图像帧（102-R）作为输入，并且将 输入RE图像帧（102-R）与上采样RE图像帧804-R的补充相加，以生成 包括仅沿水平方向的高空间频率内容的RE残留图像帧（806-R）。

第二滤波和子采样机构可以是图8A的104-V，其被配置成，将LE和 RE残留图像帧（806-L和806-R）垂直子采样成对应的LE和RE残留部分。 另外并且可选地，该第二滤波和子采样机构可以包括垂直滤波器，其被 配置成，例如在上述针对LE和RE残留图像帧（806-L和806-R）的子采 样操作之前，垂直地滤波LE和RE残留图像帧（806-L和806-R）。复用器 （106-V）可以被配置成，按上下格式将LE和RE残留部分组合在3D复用 图像帧（808-V）中。

在一示例实施例中，BL编码器（110）至少部分地基于第一复用3D 图像帧（例如，108-H），生成要在基础层帧兼容视频流（BL FC视频流 112-1）中携带的基础层视频信号，而EL编码器（116）至少部分地基于 第二复用3D图像帧（例如，808-V），生成要在增强层帧兼容视频流（EL FC视频流112-3）中携带的增强层视频信号。BL编码器（110）和EL编码 器（116）中的一者或两者可以利用多种编解码器（如H.264/AVC、VP8、 VC-1和/或其它）中的一种或多种来实现。

图8B例示了根据一实施例的接收输入视频信号的多层视频解码器 （150-2），其中，来自原始视频序列（其可以是如结合图8A讨论的输入 视频序列）的、沿两个正交方向的高空间频率内容已经分别保留在增强 层和基础层中所携带的互补图像数据中。

在一示例实施例中，该多层视频解码器（150-2）被配置成将BL FC 视频流（图8B的112-1）、EL RPU流（图8B的112-2）、以及EL FC视频流 （图8B的112-3）中的一个或多个输入视频信号解码成3D输出图像的序列。 通过多层视频解码器（150-2）解码的3D输出图像序列中的3D输出图像 包括用于双眼的高空间频率内容，因为已经沿水平和垂直方向两者保留 了输入视频信号所源自的原始视频序列中的高空间频率内容。

在一示例实施例中，BL解码器（152）至少部分地基于从BL FC视 频流（图8B的112-1）接收的BL视频信号，生成第一复用3D图像帧（158-H）， 而EL解码器（156）至少部分地基于从EL FC视频流（图8B的112-3）接 收的EL视频信号，生成第二复用3D图像帧（858-V）。BL解码器（152） 和EL解码器（156）中的一者或两者可以利用多种编解码器（如H.264/AVC、 VP8、VC-1和/或其它）中的一种或多种来实现。

在一些实施例中，EL解码器（156）至少部分地基于EL FC视频流 （图8B的112-3）中的EL视频信号而不需要来自RPU（154）的预测参考 图像帧，来生成第二复用3D图像帧（858-V）。

多层视频解码器（150-2）可以组合在一个或多个增强层（例如， EL FC视频流112-3）中接收的残留图像数据和在基础层（例如，BL FC 视频流112-1）中接收的图像数据，以生成包括沿垂直和水平方向两者的 高空间频率内容的全分辨率LE和RE输出图像帧（例如，162-L和162-R）。 例如，解复用器（DeMux，160）可以被配置成，将复用3D图像帧（158-H 和858-V）解复用成具有高空间频率内容的LE和RE输出图像帧（162-L 和162-R）。虽然这些复用3D图像帧（158-H和858-V）皆包括用于左眼和 右眼两者的图像数据，但LE和RE输出图像帧（162-L和162-R）中的每 一个都仅用于左眼和右眼中的一个。第一复用3D图像帧（158-H）中的 第一LE图像数据部分可以与第二复用3D图像帧（158-V）中的第二LE图 像数据部分相组合，以形成包括沿垂直方向和水平方向两者的高空间频 率内容的LE输出图像（162-L）。类似的是，第一复用3D图像帧（158-H） 中的第一RE图像数据部分可以与第二复用3D图像帧（158-V）中的第二 RE图像数据部分相组合，以形成包括沿垂直方向和水平方向两者的高空 间频率内容的RE输出图像（162-R）。

全分辨率LE和RE输出图像帧（162-L和162-R）（这两者包括沿垂直 方向和水平方向两者的高空间频率内容）可以通过显示装置（其例如可 以包括多层视频解码器150）被呈现，以展现全分辨率输出3D图像。呈现 全分辨率LE和RE输出图像帧可以（但不限于）采用帧顺序方式。因为高 空间频率内容已经保留在通过多层视频解码器（150）接收的视频信号中， 所以该全分辨率输出3D图像包含可能存在于原始3D图像（其可以是图8A 的3D输入图像之一）中的高空间频率图像细节。

在图8A和图8B所示的实施例中，不需要层间预测。与在其它实施例 （例如，如图1A和图所示）中相比，在这些实施例中通过多层视频解码 器解码BL和EL图像数据可以更大程度上独立地执行。结果，与图2到图4 所示那些相比，可以在诸如图8B的150-2的多层视频解码器中使用更简单 的解复用器（例如，图9的160-6）。

应注意到，残留图像数据在渐进视频应用中可以利用如图5所示的 任何子采样格式并且在交织视频应用中可以利用如图7所示的任何子采 样格式而被子采样。在此描述的PRU信号可以被用于向下游视频解码器 通知由上游多层视频编码器编码的BL和EL图像数据的选定子采样格式。

7、示例处理流程

图10A例示了根据本发明一实施例的示例处理流程。在一些示例实 施例中，一个或多个计算装置或硬件组件可以执行该处理流程。在框1002 中，多层视频编码器（例如，100）接收输入3D图像，该输入3D图像包 括左眼（LE）输入图像帧和右眼（RE）输入图像帧。

在框1004中，多层视频编码器（100）基于LE输入图像帧和RE输入 图像帧，生成包括沿水平方向的第一高空间频率内容和沿垂直方向的第 一缩减分辨率内容的第一复用图像帧。

在框1006中，多层视频编码器（100）基于LE输入图像帧和RE输入 图像帧，生成包括沿垂直方向的第二高空间频率内容和沿水平方向的第 二缩减分辨率内容的第二复用图像帧。

在框1008中，多层视频编码器（100）编码并输出第一复用图像帧 和第二复用图像帧，以表示输入3D图像。

在一实施例中，该3D输入图像是3D输入图像序列中的第一3D输入 图像，其中该3D输入图像序列包括具有第二LE输入图像帧和第二LE输 入图像帧的不同的第二3D输入图像。该多层视频编码器（100）还被配置 成执行：基于第二LE输入图像帧和第二RE输入图像帧，生成包括沿水平 方向的第三高空间频率内容和沿垂直方向的第三缩减分辨率内容的第三 复用图像帧；基于第二LE输入图像帧和第二输入图像帧，生成包括沿垂 直方向的第四高空间频率内容和沿水平方向的第四缩减分辨率内容的第 四复用图像帧；以及编码并输出第三复用图像帧和第四复用图像帧，以 表示第二输入3D图像。

在一实施例中，第一复用图像帧包括第一LE图像数据部分和第一 RE图像数据部分。该第一LE图像数据部分和第一RE图像数据部分沿水 平方向和垂直方向都具有相同的空间分辨率。第二复用图像帧包括第二 LE图像数据部分和第二RE图像数据部分。该第二LE图像数据部分和第 二RE图像数据部分沿水平方向和垂直方向都具有相同的空间分辨率。在 一实施例中，第一LE图像数据部分和第一RE图像数据部分中的每一个表 示整个图像帧的一个子采样版本（例如，全分辨率的一半、低于一半、 或另一缩减数量）；第一复用图像帧采用并排格式来携带第一LE图像数 据部分和第一RE图像数据部分。第二LE图像数据部分和第二RE图像数 据部分中的每一个表示整个图像帧的一个子采样版本（例如，全分辨率 的一半、低于一半、或另一缩减数量）；第二复用图像帧采用上下格式来 携带第二LE图像数据部分和第二RE图像数据部分。

在一实施例中，第一复用图像帧采用保留沿水平方向的高空间频率 内容的第一复用格式。第二复用图像帧采用保留沿垂直方向的高空间频 率内容的第二复用格式。

在一实施例中，第一复用图像帧或第二复用图像帧中的一个在多个 比特流中的基础层比特流中输出，而第一复用图像帧或第二复用图像帧 中的另一个在所述多个比特流中的增强层比特流中输出。

在一实施例中，多层视频编码器（100）还被配置成执行：至少部 分地基于第一复用图像帧生成预测参考图像数据；并且基于该预测参考 图像数据与第二输入图像帧之间的差分来编码增强层视频信号。

在一实施例中，多层视频编码器（100）还被配置成执行：在生成 第一复用图像帧时，向第一输入图像帧和第二输入图像帧应用沿第二方 向的一个或多个第一操作，包括（a）空间频率滤波操作或（b）空间子 采样操作中的至少一个，其中，所述一个或多个第一操作去除沿第二方 向的高空间频率内容而保留沿第一方向的高空间频率内容；以及，在生 成第二复用图像帧时，向第一输入图像帧和第二输入图像帧应用沿第一 方向的一个或多个第二操作，包括（a）空间频率滤波操作或（b）空间 子采样操作中的至少一个，其中，所述一个或多个第二操作去除沿第一 方向的高空间频率内容而保留沿第二方向的高空间频率内容。

在一实施例中，第一复用图像帧或第二复用图像帧中的一个包括残 留图像数据，该残留图像数据通过从根据LE输入图像帧和RE输入图像帧 导出的输入图像数据中减去基于第一复用图像帧或第二复用图像帧中的 另一个所生成的参考图像数据而生成。

在一实施例中，多层视频编码器（100）还被配置成将利用一个或 多个输入视频信号表示、接收、发送、或存储的一个或多个3D输入图像 转换成利用一个或多个输出视频信号表示、接收、发送、或存储的一个 或多个3D输出图像。

在一实施例中，输入3D图像包括按以下之一编码的图像数据：高动 态范围（HDR）图像格式、与电影艺术和科学学院（AMPAS）的学院颜 色编码规范（ACES）标准相关联的RGB颜色空间、数字院线联盟的P3 颜色空间标准、参考输入媒介度量/参考输出媒介度量（RIMM/ROMM） 标准、sRGB颜色空间、与国际电信联盟（ITU）的BT.709推荐标准相关 联的RGB颜色空间等。

图10B例示了根据本发明一示例实施例的另一示例处理流程。在一 些示例实施例中，一个或多个计算装置可以执行该处理流程。在框1052 中，多层视频解码器（例如，150）接收由第一复用图像帧和第二复用图 像帧表示的3D图像，该第一复用图像帧包括沿水平方向的第一高空间频 率内容和沿垂直方向的第一缩减分辨率内容，而第二复用图像帧包括沿 垂直方向的第二高空间频率内容和沿水平方向的第二缩减分辨率内容。

在框1054中，多层视频编码器（150）基于第一复用图像帧和第二 复用图像帧，生成左眼（LE）图像帧和右眼（RE）图像帧，该LE图像 帧包括沿水平方向和垂直方向两者的LE高空间频率内容，而该RE图像帧 包括沿水平方向和垂直方向两者的RE高空间频率内容。

在框1056中，多层视频解码器（150）通过呈现LE图像帧和RE图像 帧来呈现3D图像。

在一实施例中，该3D图像是3D图像序列中的第一3D图像，其中该 3D图像序列包括具有第三复用图像帧和第四复用图像帧的不同的第二 3D图像，该第三复用图像帧包括沿水平方向的第三高空间频率内容和沿 垂直方向的第三缩减分辨率内容，而该第四复用图像帧包括沿垂直方向 的第四高空间频率内容和沿水平方向的第四缩减分辨率内容。在一实施 例中，多层视频解码器（150）还被配置成执行：生成第二LE图像帧和 第二RE图像帧，该第二LE图像帧包括沿水平方向和垂直方向两者的高空 间频率内容，并且该第二LE图像帧包括沿水平方向和垂直方向两者的高 空间频率内容；以及，通过呈现第二LE图像帧和第二RE图像帧来呈现第 二3D图像。

在一实施例中，该第一复用图像帧或第二复用图像帧中的至少一个 包括LE图像数据部分和RE图像数据部分。该LE图像数据部分和RE图像 数据部分具有相同的空间分辨率。在一实施例中，该LE图像数据部分和 RE图像数据部分中的每一个表示整个图像帧的一个子采样版本（例如， 全分辨率的一半、低于一半、或另一减小数量）。该LE图像数据部分和 RE图像数据部分按并排格式或上下格式之一形成单个图像帧。

在一实施例中，从多个比特流中的基础层比特流解码第一复用图像 帧或第二复用图像帧中的一个，而从所述多个比特流中的增强层比特流 解码第一复用图像帧或第二复用图像帧中的另一个。

在一实施例中，多层视频解码器（150）还被配置成执行：至少部 分地基于该第一复用图像帧或第二复用图像帧中的一个，生成预测参考 图像数据；并且基于根据增强层（EL）视频信号和该预测参考图像数据 解码的EL数据，生成LE图像帧或RE图像帧中的一个。

在一实施例中，多层视频解码器（150）还被配置成执行：在生成 LE图像帧时应用一个或多个第一操作，包括（a）空间频率滤波操作或 （b）解复用操作中的至少一个，其中，所述一个或多个第一操作将水平 方向和垂直方向两者的、从第一复用图像帧和第二复用图像帧导出的LE 高空间频率内容组合成LE图像帧；并且，在生成RE图像帧时应用一个或 多个第二操作，包括（a）空间频率滤波操作或（b）解复用操作中的至 少一个，其中，所述一个或多个第二操作将水平方向和垂直方向两者的、 从第一复用图像帧和第二复用图像帧导出的RE高空间频率内容组合成 RE图像帧。

在一实施例中，所述一个或多个第一操作和所述一个或多个第二操 作至少包括高通滤波操作。

在一实施例中，所述一个或多个第一操作和所述一个或多个第二操 作包括代替至少一个高通滤波操作的处理子路径。该处理子路径包括至 少一个减法操作而不包括高通滤波操作。

在一实施例中，第一复用图像帧或第二复用图像帧中的一个包括残 留图像数据。多层视频解码器（150）还被配置成执行：解码并处理增强 层图像数据，而不从第一复用图像帧或第二复用图像帧中的另一个生成 预测参考数据。

在一实施例中，多层视频解码器（150）还被配置成处理利用一个 或多个输入视频信号表示、接收、发送、或存储的一个或多个3D图像。

在一实施例中，3D图像包括按以下中的一种编码的图像数据：高动 态范围（HDR）图像格式、与电影艺术和科学学院（AMPAS）的学院颜 色编码规范（ACES）标准相关联的RGB颜色空间、数字院线联盟的P3 颜色空间标准、参考输入媒介度量/参考输出媒介度量（RIMM/ROMM） 标准、sRGB颜色空间、与国际电信联盟（ITU）的BT.709推荐标准相关 联的RGB颜色空间等。

在不同示例实施例中，编码器、解码器、系统等执行如所描述的前 述方法中的任何方法或一部分。

8、利用载波信号的残留图像编码

如图8A所描绘的，在一个实施例中，增强层（EL）流112-3包括被 复用为上下（TaB）帧（808-V）的图像残留（例如，806-L和806-R）。 代替直接编码这些残留信号（例如，通过利用EL编码器116），可以通过 组合残留信号与“载波”图像信号以形成新的EL信号，来实现改进的压缩。 利用这种载波信号的目的是，使增强层看起来更像自然的视频信号，其 中，诸如H.264/AVC编解码器的现有视频编解码器（如在“ISO/IEC 14496-10:Information technology-coding of audio-visual objects-Part10: Advanced Video Coding”中描述的）针对这样的视频信号被优化。图12A 描绘了这种实施例的示例。图12A例示了根据在增强层中利用载波图像信 号的实施例的示例FCFR编码器。如图12A所描绘的，基础层的处理跟随 稍早讨论的处理步骤，例如图8A中所绘的处理步骤。在步骤1205中，左 视图（102-L）和右视图（102-R）信号被下采样并被复用，以例如按并 排（SbS）格式生成复用半分辨率帧。步骤1205表示图8A中描绘的步骤 104-H和106-H的简化表示。在复用之后，接着将BL信号1207利用基础层 编码器1210（例如，H.264/AVC编码器）压缩，以生成压缩BL流1240-1。

BL信号1207（或者另选地，经解码的BL信号1212）可以被用于利 用水平上采样804再生左视图和右视图的全分辨率（FR）版本（左FR和 右FR）。接着，将原始视图（102-L和102-R）和重构视图相减（例如， 在810中），以生成残留806-L和806-R。复用器1215以与在基础层中使用 的帧格式（例如，SbS）正交的帧格式（例如，TaB）来复用这些残留， 以生成残留信号808-V。接下来，残留808-V与载波信号1222相加，以生 成EL信号1237。载波信号1222可以响应于SbS BL1207信号，利用载波 RPU1220来生成。载波RPU可以执行水平上采样和垂直下采样两者，以 生成与残留信号（例如，808V）的格式和分辨率匹配的载波TaB信号1222。 在一实施例中（参见图15），垂直下采样在水平上采样之前执行。在另一 实施例中，载波信号可以响应于BL流的解码版本（例如，经解码的BL 信号1212）来生成。在另一实施例中，在基础层采用TaB格式而增强层采 用SbS格式时，可以应用类似处理（参见图14）。与载波RPU1220和编解 码器RPU1225有关的处理可以通过同一处理器或不同处理器来执行。

为保持原始残留（808-V）的完整性，在一实施例中，可以减小载 波信号的范围，例如，将每一像素除以一常数，例如2。这种除法处理可 以与载波RPU中的滤波处理相组合。在另一实施例中，当残留808-V非常 小时，载波信号可以针对其全部像素具有固定像素值，例如，128。在另 一实施例中，载波信号的值可以基于残留信号的性质而适应性地限定。 可以利用元数据（例如，作为RPU数据流的一部分）向解码器通知这种 决策。

在一个实施例中，EL信号1237利用如在H.264（AVC）规范中规定 的多视图编码（MVC）来压缩，以生成编码或压缩EL流1240-2。因为BL 信号1207和EL信号1237不具有相同的复用格式，所以可以采用参考处理 单元（RPU）1225，以将经解码的SbS BL信号1212转换成可以被MVC 编码器1230用作参考的TaB信号（1227）。该TaB图片（1227）是新生成 的视图间预测参考图片，并且被插入到参考图片列表中，以编码EL图片。 为进一步改进编码效率，编解码器RPU1225可以应用附加的分区、处理 以及滤波，以匹配从BL信号至EL输入信号的视图间参考图片，如A. Tourapis等人于2010年6月30日提交的PCT申请PCT/US2010/040545中描 述的，其全部内容且通过引用而并入于此。对于在RPU中使用的滤波和 分区的选择可以随多个分辨率级别而改变，例如，片段、图片、图片组 （GOP）、场景、或序列级。在一编码器上，编码EL和BL流（1240）可 以与RPU数据（例如，1240-3）和要发送至解码器的其它辅助数据（未 示出）复用。

图12B例示了根据本发明一示例实施例的解码示例处理流程。在接 收器处，将传入流解复用，以生成编码BL流（1240-1）、编码EL流（1240-2）、 以及RPU数据（例如，1240-3）。BL解码器1250对应于BL编码器1210。 在一个实施例中，BL解码器1250是AVC解码器。BL解码器1250将生成经 解码的（例如，SbS）BL图像1252。

因为编码EL流1240-2是利用来自EL信号1237和经解码BL信号1212 两者的参考帧来编码的，所以相同处理同样在解码器上匹配。利用RPU 数据1240-3，编解码器RPU1255可以生成要被MVC解码器1260使用的信 号1257。信号1257包括预测增强层信号，其可以被用作用于MVC解码器 1260的附加的参考帧序列，以生成经解码的EL信号1262。

在解压缩BL和EL流之后，解码器需要按全分辨率重构左视图和右 视图。图13A描绘了要被称为“差分”方法的这种方法的一个示例实施例。 基础层中缺失的垂直或水平频率可以被构造为增强层（1262）和载波信 号1302的逐像素差分。载波信号1302可以利用经解码BL信号1252和采用 与编码器载波RPU（1220）的处理匹配的处理的解码器RPU（例如，1255） 来重构。图15描绘了这种处理的示例。接着，将残留信号1317上采样（例 如，在1320中）并且按逐像素相加方式与上采样帧兼容（FC）重构基础 层（FC-L和FC-R）合并，以重构全分辨率（FR）左视图和右视图（FR-LR 和FR-RE）。在一个实施例中，为减小复杂性，可以重用来自编解码器 RPU1255的输出，因为编解码器RPU和载波RPU往往共享相同滤波器。 对于在编解码器RPU中采用一个分区和一个滤波器时的情况，两个RPU 应用完全相同的处理。

如图13A所描绘的，传统接收器仍可以通过针对BL信号1252执行适 当的上采样来解码半分辨率的帧兼容视图的对（FC-L和FC-R）。

图13B描绘了用于重构全分辨率信号的另一示例实施例，该方法被 称为“高通方法”。在该方法下，经解码TaB EL信号1262首先通过水平高 通滤波器1330处理。这种滤波器去除EL信号中的载波信号的低频分量， 由此生成无载波残留信号（例如，808-V）。高通滤波器的输出被垂直上 采样（1320）以生成残留信号1322-L和1322-R，这些残留信号被加到水 平上采样的重构帧兼容层（FC-L和FC-R）上，以生成原始视图的全分辨 率估计（例如，FR-RE和FR-LE）。

在一实施例中，如果源视频是交织的，则上场和下场在垂直滤波期 间独立地处理（例如，下采样或上采样）。接着，将这些场合并（例如， 通过线交织）以创建帧。如果使用AVC编码器，则该交织信号可以按帧 编码模式或场编码模式来编码。编解码器RPU还应被指令，是将来自BL 的视图间参考图片作为帧还是作为场来处理。在AVC编码中，不存在对 托管（mandated）比特流中的编码序列的扫描类型的指示，因为其在解 码范围之外。补充增强信号（SEI）消息中可能有某些信息，但解码不需 要SEI消息。在一个实施例中，提出高级语法来指示RPU应当应用帧处理 还是场处理。在一个实施例中，如果是交织信号，则无论图片是怎样编 码的，RPU可以总是将该图片作为分离的场来处理。在另一实施例中， RPU可以遵循BL信号是怎样编码的。因此，如果BL信号被编码为场，则 RPU应用场处理，否则，其应用帧处理。

本发明的实施例包括多种多样的滤波器，其可以被分类为：多路复 用（或复用）滤波器、RPU滤波器、以及多路分解（解复用）滤波器。 在设计复用滤波器时，目的是尽可能多地保持来自原始滤波器的信息但 不导致混叠。对于下采样来说，复用滤波器可以被设计成，在频谱中点 具有非常平坦的通带响应和强衰减，其中，信号在下采样期间被折叠， 以避免混叠。在一实施例中，（按Matlab表示法）这种滤波器的示例具有 如下系数：

[30，-4，-61，-21，83，71，-102，-178，116638，904，

638，116，-178，-102，71，83，-21，-61，-4，30]/2¹¹

在设计RPU时，下采样滤波器和上采样滤波器应当具有非常低的截 止频率，因为载波图像中的高频不被用于重构，并且具有这样的低通信 号将会帮助增加EL信号的编码效率。RPU下采样和上采样滤波器还应当 具有尽可能低的阶次，因为这些精确滤波器在解码器中被用于实时解码。 这种滤波器的示例在表7中描绘。

在解码期间，可以应用与在编解码器RPU中使用的上采样滤波器相 同的解复用滤波器。对于重构的高通方法来说（例如，图13B），高通滤 波器（1330）应当是复用下采样滤波器和解复用上采样滤波器的组合频 率响应的互补。典型地，这种滤波器的阶次较高，其可能不适于某些实 时解码器应用。还可以以低得多的滤波器阶次得到具有类似通带特性、 但具有更低阻带衰减的高通滤波器，使得它们更好地适于实时解码器应 用。这种滤波器的示例在表8中描绘。

一些实现对于EL流来说可以具有非常低的比特流需求。在一个实施 例中，为改进低比特率下的编码质量，可以从EL流中去除所有色度信息。 在一个示例中，可以将EL信号中的色度值设置为恒定值，例如，128。 对应地，通过编解码器RPU处理的视图间参考图片的颜色分量需要按相 同方式配置。在另一实施例中，可以仅选择并发送在EL信号中具有最多 高频的输入信号的那些区域，并且使剩余区域变灰色，例如，通过将它 们设置为恒定值（例如，128）。这些区域的位置和尺寸可以从编码器利 用元数据（例如通过RPU数据流）通知解码器。

在图12A中，残留信号808-V直接与载波信号1222相加，以生成EL 1237。在另一实施例中，可以在将残留信号与载波相加之前，向残留信 号应用线性或非线性量化方法。

迄今为止讨论的示例实施例旨在解决恢复缺失的水平或垂直频率 的问题。在一实施例中，可以采用附加的增强层来恢复附加的频率，诸 如对角的。例如，输入信号（102-L和102-R）可以跨对角方向被下采样。 该信息（或基于该对角信息的另一残留信号）可以被发送至解码器，作 为第二增强层（EL2）。解码器可以合并BL、EL和EL2信号，以生成FCFR 信号。在另一实施例中，代替利用单独的EL2流来编码对角信息，可以 在EL信号中的色度通道中编码亮度对角信息。在这种实现中，亮度将按 全分辨率来编码，但色度将按半分辨率来编码。

8.2语法示例

8.3诸如H.264的编码标准通常仅定义编码比特流和解码处理的语 法。这部分给出了针对H.264中的新FCFR简档或支持本发明方法的其它 压缩标准的所提议语法。

第一部分被称作RPU首部，rpu_header()，并且包括在信号传输期 间很可能不会改变的静态信息。

第二部分被称作RPU数据净荷，rpu_data_payload()，并且包括可 能更频繁更新的动态信息。RPU数据净荷向解码器告知在被用于预测之 前将被用于更新视图间参考图片的滤波器。

该语法可以按片段级、图片级、GOP级、场景级、或序列级发送。 其可以被包括在NAL单元首部、序列参数集（SPS）及其扩展、SubSPS、 图片参数集（PPS）、片段首部、SEI消息、或新NAL单元等处。在一示 例实施例中，RPU语法仅在序列级被更新。为了向后兼容，如表1所示， 还定义了针对用于MFC的编码片段扩展的新NAL单元， slice_layer_extension_rbsp()。在我们的示例中，在表2中被标记为简档 134的新简档被分配用于利用正交复用（OM）的FCFR3D系统的实施例。

所提议语法的附加示例在表2、表3以及表4中描绘，其中，用 Courier字体描绘了针对现有H.264/A VC规范的所提议的增加。在这个 示例中，所提议的RPU语法在序列级调用，并且其被添加在序列参数集 MVC扩展中。

RPU数据首部语义

rpu_type规定针对RPU信号的预测类型目的。如果不存在，则其值 被假定为0。

rpu_format规定在给定rpu_type时的预测处理格式，其将在处理视 频数据时使用，以供预测和/或最终重构。如果不存在，则其值被假定为 0。表5描绘了rpu_type和rpu_format值的示例。

default_grid_position表明view0和view1网格位置信息是否应当被 显式通知。如果default_grid_position被设为1，或者不存在，则默认值按 如下方式获取：

view0_grid_position_x和在H.264规范中的帧封装排列SEI消息语义 部分中定义的frame0_grid_position_x相同。

view0_grid_position_y和在H.264规范中的帧封装排列SEI消息语义 部分中定义的frame0_grid_position_y相同。

View1_grid_position_x和在H.264规范中的帧封装排列SEI消息语义 部分中定义的frame1_grid_position_x相同。

View1_grid_position_y和在H.264规范中的帧封装排列SEI消息语义 部分中定义的frame1_grid_position_y相同。

interlace_processing_flag表明参考处理是否将以帧或场为基础来应 用。如果其被设为零，则处理将在帧域进行。如果该标志被设为1，则处 理应针对每一个场分别执行。

disable_part_symmetry_flag（当存在时）表明是限制还是不限制针 对属于不同视图的空间并置分区的滤波器选择。如果该标志未设置，则 任一视图中的两个并置分区利用相同RPU滤波器来处理，以导出增强层 预测。因此，一半的滤波器被通知。如果该标志被设置，则针对经处理 图片中的每一个分区通知一个滤波器。如果不存在，则所有分区使用相 同滤波方法（NULL）。如果rpu_format被设为SBS并且PicWidthInMbs= 1，或者如果rpu_format被配置成OU或TAB并且PicHeightInMapUnits等 于1，则该标志被限制成等于1。如果不存在，则该标志的值将被设为1。

num_x_partitions_minusl表明被用于在滤波期间沿水平维度细分 经处理图片的分区数。其可以取任何非负整数值。如果不存在，则 num_x_partitions_minusl的值被设成等于0。num_x_partitions_minus1 的值处于0与Clip3(0,15,(PicWidthInMbs>>1)-1)之间，其中， PicWidthInMbs在H.264规范中规定。

num_y_partitions_minusl表明被用于在滤波期间沿垂直维度细分 经处理图片的分区数。其可以取任何非负整数值。如果不存在，则 num_y_partitions_minus1的值被设成等于0。num_y_partitions_minusl 的值处于0与Clip3(0,7,(PicHeightInMapUnits>>1)-1)之间，其中， PicHeightInMapUnits在H.264规范中规定。

RPU数据净荷语义

separate_component_filtering_flag表明是否针对每一个颜色空间分 量发送分别的滤波器还是针对所有分量使用单个滤波器。如果该标志被 设为零，则针对每一个滤波器抽头系数如下设置：filter_idx[y][x][1]= filter_idx[y][x][2]=filter_idx[y][x][0]。

filter_idx_down[y][x][cmp]包含对应于下采样处理滤波器的索 引（index），其中该下采样处理滤波器要被用于与颜色分量cmp相对应的、 具有垂直坐标y和水平坐标x的分区。该索引可以取任何非负值，分别对 应于唯一的处理滤波器或方案。

filter_idx_up[y][x][cmp]包含对应于上采样处理滤波器的索引， 其中该上采样处理滤波器要被用于与颜色分量cmp相对应的、具有垂直 坐标y和水平坐标x的分区。该索引可以取任何非负值，分别对应于唯一 的处理滤波器或方案。

表6示出了提供filter_idx方法的系统的示例。滤波器的示例在表7中 示出。用于下采样和上采样的“F2”滤波器没有滤波系数。其简单地将载 波信号设置成恒定值（例如，128）。

图14描绘了用于生成EL信号（1237）的示例处理流程。图14的右半 部分描绘了其中基础层按并排（SbS）格式编码从而EL层按上下（TaB） 格式编码的情况。该右半部分中的处理流程匹配如图12A所描绘的处理流 程。图14的左半部分描绘了其中基础层按上下（TaB）格式编码（1405） 而增强层按SbS格式编码（1415）的情况。TaB复用步骤1405可以跟随图 1中的步骤104-V和106-V中描绘的处理，而SbS复用1415可以跟随图1中的 步骤104-H和106-H中描绘的处理。

假定前面描述的语法，图15描绘了在解码FCFR流以生成载波信号 1302期间，RPU中的示例处理的实施例。例如利用载波RPU1220，也可 以应用类似处理以在编码器中生成载波信号1222。如图15中描绘，该处 理针对输入序列的所有分区和所有颜色分量操作。该数据流可以相同， 而不管BL信号是按SbS格式还是按TaB格式复用；然而，滤波取向取决于 基础层的格式。该处理还假定下采样先于上采样；然而，在另一实施例 中，上采样可以先于下采样。

利用RPU数据流（例如，1240-3）和滤波器标识查找表（例如，表6）， 在步骤1510中，RPU识别要被用下采样经解码BL信号的下采样滤波器。 如果其是F0或F1滤波器（1515-1），则其继续进行以执行下采样（1520-1）。 如果其是F2滤波器，则其简单地生成载波信号，其中所有像素值被设置 成常数（例如，128）（1520-2）。如果BL层按SbS格式编码，则下采样（1520） 沿垂直方向执行。如果BL层按TaB格式编码，则下采样（1520）沿水平 方向执行。

在下采样（1520）之后，两个原始半部分（或视图）被解复用，并 接着以正交取向再次复用，例如，从SbS至TaB或者从TaB至SbS，以形 成与残留信号的复用格式匹配的中间结果。接着，将该中间信号上采样， 以使最终载波信号与残留信号的分辨率匹配。如果上采样滤波器是F0或 F1（1525-1），则该中间结果被上采样，以生成最终载波信号1237。如果 其是F2滤波器，则其生成载波信号，其中所有像素值被设置成固定值（例 如，128）（1530-2）。如果BL层按SbS格式编码，则上采样（1530）沿水 平方向执行。如果BL层按TaB格式编码，则上采样（1530）沿垂直方向 执行。如果解码器未识别出任何滤波器，则该处理终止，并且可以生成 出错消息（1540）。

表1：NAL单元类型、语法元素种类、以及NAL单元类型类别

表2：序列参数集MVC扩展语法

表3：RPU数据首部语法

表4：RPU数据净荷语法

表5：RPU格式

rpu_type Rpu_format Rpu_format_name RPU格式 0 0 SbS OM-FCFR并排 0 1 OU OM-FCFR上下 1-63 1-63 2-63 保留

表6：下采样和上采样filter_idx

表7：RPU隐式滤波器定义

表8：OM_FCFR重构滤波器

9、实现机构-硬件概述

根据一个实施例，在此描述的技术通过一个或多个专用计算装置来 实现。这些专用计算装置可以硬布线以执行这些技术，或者可以包括诸 如一个或多个专用集成电路（ASIC）或永久性地编程成执行这些技术的 现场可编程门阵列（FPGA）的数字电子装置，或者可以包括被编程成依 据固件、存储器、其它存储设备、或组合中的程序指令来执行这些技术 的一个或多个通用硬件处理器。这种专用计算装置还可以将定制硬布线 逻辑、ASIC、或FPGA与定制编程相组合以实现这些技术。这些专用计 算装置可以是台式计算机系统、便携式计算机系统、手持式装置、连网 装置、或包含硬布线和/或程序逻辑以实现这些技术的任何其它装置。

例如，图11是例示可以实现本发明一示例实施例的计算机系统1100 的框图。计算机系统1100包括用于传送信息的总线1102或其它通信机构， 和与总线1102耦接以处理信息的硬件处理器1104。硬件处理器1104例如 可以是通用微处理器。

计算机系统1100还包括耦接至总线1102的、用于存储信息和要通过 处理器1104执行的指令的主存储器1106，如随机存取存储器（RAM）或 其它动态存储装置。主存储器1106还可以被用于在执行要通过处理器 1104执行的指令期间，存储临时变量或其它中间信息。这种指令当存储 在处理器1104可访问的非暂时存储介质中时，使计算机系统110成为被定 制化成执行这些指令中指定的操作的专用机器。

计算机系统1100还包括用于存储静态信息和用于处理器1104的指令 的只读存储器（ROM）1108或耦接至总线1102的其它静态存储装置。存 储装置1110（如磁盘或光盘）被设置并耦接至总线1102，以存储信息和 指令。

计算机系统1100可以经由总线1102耦接至诸如液晶显示器的显示器 1112，以向计算机用户显示信息。输入装置1114（包括字母数字键和其 它键）耦接至总线1102，以向处理器1104传送信息和命令选择。另一类 型的用户输入装置是游标控制器1116，如鼠标、轨迹球、或游标方向键， 以向处理器1104传送方向信息和命令选择，并且用于控制显示器1112上 的游标移动。该输入装置典型地具有沿两个轴的两个自由度，第一轴（例 如，x）和第二轴（例如，y），其允许该装置指定平面中的位置。

计算机系统1100可以利用定制化硬布线逻辑、一个或多个ASIC或 FPGA、固件和/或程序逻辑来实现在此描述的技术，这些定制化硬布线 逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑与该计算机系统组 合以使得计算机系统1100作为专用机器或者将其编程为专用机器。根据 一个实施例，在此的技术响应于处理器1104执行包含在主存储器1106中 的一个或多个指令的一个或多个序列而通过计算机系统1100来执行。这 些指令可以从另一存储介质（如存储装置1110）读取到主存储器1106中。 执行包含在主存储器1106中的指令序列使处理器1104执行在此描述的处 理步骤。在另选实施例中，硬布线电路可以代替软件指令或与软件指令 组合地使用。

在此使用的术语“存储介质”指存储数据和/或使机器按特定方式操 作的指令的任何非暂时介质。这种存储介质可以包括非易失性介质和/或 易失性介质。非易失性介质例如包括光学或磁盘，诸如存储装置1110。 易失性介质包括动态存储器，诸如主存储器1106。存储介质的常见形式 例如包括：软盘、柔性盘、硬盘、固态驱动器、磁带、或任何其它磁数 据存储介质、CD-ROM、任何其它光学数据存储介质、具有孔图案的任 何物理介质、RAM、PROM、以及EPROM、FLASH-EPROM、NVRAM、 任何其它存储器芯片或存储盒。

存储介质不同于传输介质但可以结合传输介质使用。传输介质参与 在存储介质之间传递信息。例如，传输介质包括同轴线缆、铜导线以及 光纤，包括具有总线1102的导线。传输介质还可以采取声波或光波的形 式，诸如在无线电波和红外数据通信期间生成的那些。

各种形式的介质可以涉及向处理器1104运送一个或多个指令的一个 或多个序列以供执行。例如，这些指令可以初始地在远程计算机的磁盘 或固态驱动器上携带。远程计算机可以将这些指令加载到其动态存储器 中并且利用调制解调器通过电话线路发送这些指令。计算机系统1100本 地的调制解调器可以接收电话线路上的数据并且使用红外发送器将这些 数据转换成红外信号。红外检测器可以接收以红外信号携带的数据，并 且恰当的电路可以在总线1102上发出数据。总线1102向主存储器1106运 送数据，据此，处理器1104检索并执行指令。主存储器1106接收的指令 可以可选地在通过处理器1104执行之前或之后存储在存储装置1110上。

计算机系统1100还包括耦接至总线1102的通信接口1118。通信接口 1118向耦接至连接至本地网络1122的网络链路1120提供双向数据通信。 例如，通信接口1118可以是综合服务数字网络（ISDN）卡、有线调制解 调器、卫星调制解调器、或者用于向对应类型电话线路提供数据通信连 接的调制解调器。作为另一示例，通信接口1118可以是用于向兼容局域 网（LAN）提供数据通信连接的局域网（LAN）卡。无线链路也可以实 现。在任何这种实现中，通信接口1118发送和接收携带表示各类信息的 数字数据流的电、电磁或光学信号。

网络链路1120典型地通过一个或多个网络向其它数据装置提供数据 通信。例如，网络链路1120可以通过本地网络1122向主机计算机1124或 者向由因特网服务提供商（ISP）1126操作的数据设备提供连接。ISP1126 又通过环球分组数据通信网络（现在通称为“因特网”1128）提供数据通 信服务。本地网络1122和因特网1128都使用携带数字数据流的电、电磁 或光学信号。通过不同网络的信号和在网络链路1120上且经由通信接口 1118（其向和从计算机系统1100运送数字数据）的信号是传输介质的示 例形式。

计算机系统1100可以通过网络、网络链路1120以及通信接口1118发 送消息和接收数据（包括程序代码）。在因特网示例中，服务器1130可能 通过因特网1128、ISP1126、本地网络1122以及通信接口1118发送用于应 用程序的所请求的代码。

所接收的代码可以在其被接收时通过处理器1104来执行、和/或存储 在存储装置1100或其它非易失性存储设备中，以供以后执行。

10、等同、扩展、另选例以及其他

在前述说明书中，本发明的示例实施例已经参照可以随不同实现而 改变的许多具体细节进行了描述。由此，本发明并且本发明的申请人意 欲的发明的单独且排它的指标是从本申请产生的一组权利要求，其采用 权利要求所发布的具体形式，包括任何随后的修改。在此针对包含在这 些权利要求中的术语明确地阐述的任何定义应约束在权利要求中使用的 这种术语的含义。因此，权利要求中未明确陈述的限制、要素、特性、 特征、优点或属性无论如何都不应限制权利要求的范围。本说明书和附 图因此按例示性意义而非限制性意义来考虑。