用于确定用于空间可缩放视频编解码器的预测块的方法

摘要

本发明涉及一种用于从空间可缩放视频编解码器的第二分辨率层图像确定第一分辨率层图像的预测块的方法(100)，其中所述第一分辨率层图像的分辨率高于所述第二分辨率层图像的分辨率，所述方法(100)包括：将所述第二分辨率层图像的每个块放大(101)为放大后第二分辨率层图像的相应块；以及通过锐化过滤器过滤(103)所述放大后第二分辨率层图像的每个块以获得所述第一分辨率。

说明书

背景技术

本发明涉及一种用于从第二低分辨率层图像的块确定第一高分辨率 层图象的预测块的方法，并且涉及一种用于在不同的分辨率块之间进行 代码转换的空间可缩放视频编解码器。

由于现代视频广播和电话会议系统迅速扩展，可以使用各种视频启 用设备，从低成本的移动电话到高端HDTV远程呈现终端，因此出现了 解决分辨率可缩放视频流的需要。虽然高性能HDTV视频终端能够实时 解码和播放高清晰度视频流，但移动设备经常在使得此类设备的标准清 晰度(SD)分辨率最佳的显示分辨率和计算资源两方面受到限制。针对 这个问题的广泛使用的解决方案之一是视频转码。专用转码服务器解码 传入的高分辨率视频流，将其重新缩放至较低分辨率，然后编码重新缩 放后视频序列以产生用于发送至低性能客户的视频流。这种解决方案严 重地受到转码过程的高计算复杂性的不利影响，尤其是在多视频流处理 的情况下，这种情况需要将昂贵的高性能转码服务器集成至广播或电话 会议系统中，从而显著增加了系统构建成本和维护成本。转码解决方案 的其它缺点是由有损视频编码算法引入的图像质量劣化的累积。较低分 辨率视频流是从已经由于有损视频编码伪像而发生失真的解码后高分辨 率数据流(而不是在转码服务器上不可用的原始无失真视频序列)，所 以第二编码阶段增加了甚至更多的编码失真。

一种更精妙的解决方案来自于可缩放视频编解码器，如H.263+和 H.264/SVC。编码为若干不同的分辨率的操作由在视频流源设备上操作 的视频编码器执行，使得发送至视频广播或电话会议服务器的视频流确 实已经包含了嵌入为可缩放层的所有所需要的分辨率，并且服务器只需 要向每个视频客户端发送最适合客户端的性能和能力的适当层数据(或 者广播所有层的数据，使得每个客户端将自己提取最合适的层)。因为 可缩放层的调度是比多信道视频流的转码计算密集性小得多的任务，因 此广播/电话会议服务器的成本大幅降低。此外，这种解决方案提供了一 种良好的网络包丢失保护手段。如果包含较高分辨率层数据的包在网络 传输过程中丢失，那么接收器仍然可以解码和显示较低分辨率图像，从 而避免图像冻结或破坏，这是在易错网络中使用的许多视频编解码器的 共同问题。另外，由于不同层的不相等的重要性，例如基本层比增强层 更为重要，可以使用高效的不等FEC技术来改善包丢失保护，同时保持 FEC额外数据开销较低。

同时，这种解决方案仍然存在两个严重的缺点。它通过多分辨率编 码计算在视频源设备之间的分配从服务器移除了难以应对的转码负担， 这提高了这些设备上的计算和存储资源利用率。由于根据受约束的比特 率预算对若干个视频序列进行编码(以不同分辨率表示同一移动图像) 而该比特率预算否则可能仅由最高分辨率视频序列更高效地利用，因此 观察到编码效率的显著恶化。

为了减轻上述问题，现代可缩放视频编解码器标准引入了层间预测 编码模式。较高分辨率层帧的每个宏块可以使用放大后较低分辨率层帧 的并置宏块进行预测，而不是使用同一帧的相邻宏块(如在帧内预测中 那样)或同一层的参考帧(如在帧间预测中那样)。层间预测有助于减 轻这两个问题。它不要求针对较高分辨率层的计算密集型运动估计程序， 因为它使用在放大后较低分辨率帧中与正在编码的宏块位置相同的预测 宏块。从同一图像的较低分辨率版本预测较高分辨率图像有助于降低由 于编码同一图像的若干版本而引入的信息性冗余，并因此提高了编码效 率。

但层间预测仍然无法完全解决编码效率恶化的问题。即使是在使用 层间编码时，多层空间可缩放性编解码器的编码效率也比单层编解码器 的编码效率差高达20％。因此，提高多层空间可缩放性编解码器的编码 效率对于使得基于可缩放编解码器的广播/电话会议系统具有成本效益而 言是一个重要问题。

现代的用于空间可缩放性视频编解码器的层间预测算法应满足以下 要求：算法应使预测残差信号最小化以便提供更好的编码效率改进。算 法应使最佳预测参数搜索(如果有的话)的计算复杂性和存储器要求最 小化。如果涉及计算密集型最佳预测参数搜索，那么算法应为灵活的质 量性能权衡提供手段。算法应使解码复杂性增加很少。算法应允许简单 且无缝地集成至现有的可缩放视频编解码器架构和基础设施中。

如ITU-T建议第102至114页的H.263：“用于低比特率通信的视频 编码”描述以及如图10描绘的较旧的空间可缩放性启用编解码器H.263+ (Annex O)仅通过对较低分辨率层信号的重构样本进行上采样来执行 层间预测。低分辨率图像1204是通过缩小1201高分辨率图像1202而获 得的。低分辨率图像1204被编码且重构1203以获得低分辨率的SVC基 本层图像1206，低分辨率的SVC基本层图像1206被放大1205成高分 辨率的放大后SVC基本层图像1208。向该放大后SVC基本层图像1208 应用层间空间预测1207以重构高分辨率的原始SVC空间层图像1202。

现有技术的可缩放视频编解码器标准H.264/SVC另外规定了层间运 动预测模式，其中较高分辨率层的运动参数(参考索引、分区数据、运 动矢量)使用较低分辨率层的放大后运动参数进行预测或导出，以及层 间残差预测模式，其中较高分辨率层的残差信号使用较低分辨率层的放 大后残差信号进行预测，如由T.Wiegand、G.Sullivan、J.Reichel、H. Schwarz、M.Wien在“联合草案ITU-T建议H.264|ISO/IEC 14496- 10/Amd.3可缩放视频编码”第380至562页所描述的。

然而，这些层间预测模式存在以下问题：从用于包含不同边缘的区 域的放大后较低分辨率信号预测较高分辨率信号由于以下事实而效率较 低，即这些边缘在已在使用缩小后原始较高分辨率图像作为输入数据的 较低分辨率层编码器中被缩小并且随后在使用放大后重构后较低分辨率 层数据作为预测值的较高分辨率层编码器中被放大回来之后变得模糊。 因此，层间预测为此类区域生成高能量的残差信号，这或者通过降低质 量以便适合受约束的比特率或者如果保持质量的话通过提高比特率而使 编码效率恶化。

已作出以下描述的一些努力来改进可缩放编码。如在C.A.Segall 和S.-M.Lei的第7876833号美国专利“用于针对空间可缩放编码的自适 应放大的方法和装置(Method and apparatus for adaptive up-scaling for  spatially scalable coding)”中所描述的，选择性使用针对局部图像性质 自适应的不同上采样过滤器提高了层间预测效率。该方法增强了 H.264/SVC标准所规定的具有几个计算上较简单的过滤器的当前六抽头 放大过滤器，这种放大过滤器具有可以改进针对平滑图像区域的预测 但没有改进边缘脆性，并且因此没有提供针对包含不同边缘的区域的 任何编码效率提高。

如在第18届结合图像处理的IEEE国际会议中“D.Grois和O. Hadar的“用于针对动态过渡区域的ROI可缩放视频编码的复杂性感知 自适应空间预处理(Complexity-aware adaptive spatial pre-processing for  ROI scalable video coding with dynamic transition region)”中所描述的， 图像的不太重要的背景区域的自适应平滑化降低了此类区域所消耗的 比特预算，从而为更为重要的感兴趣区域节约了比特。该方法移除了 被视为不必要或不重要的图像细节，这并不总是可取的，尤其是对于 应该保留图像脆性的情况。此外，该方法要求预处理阶段识别图像中 的ROI(感兴趣区域)，这通常涉及复杂的计算机视觉技术，因而显 著增加了整个系统的计算复杂性。

如在2005年7月24至29日波兰波兹南的联合视频工作组第16次 会议的文档JVT-P085中W.-J.Han的“用于单环路解码的平滑化后参考 预测(Smoothed reference prediction for single-loop decoding)”中所描述 的，层间残差预测模式中的预测信号的平滑化补偿了单环路解码方法 所施加的约束，并且实现了针对该特定方法的更好的层间预测。该方 法只对单环路解码方法这种特定情况有意义，在更一般的情况下并没 有实际用途。

如在2003年关于多媒体和博览会的国际会议论文集中Y.Yang和 L.Boroczky的“用于MPEG-2编码视频的联合分辨率增强和伪像减少 (Joint resolution enhancement and artifact reduction for MPEG-2encoded  digital video)”中所描述的，用于MPEG-2编码视频的联合分辨率增强 和伪像减少被应用于在高清晰度监视器上显示较低分辨率图像。在该 方法中，锐度增强被应用于解码器处的解码后图像，其中正在预测的 原始图像不可用。因此，这种方法缺少选择最佳锐度增强参数以便实 现最佳预测效率的能力，并且没有提供针对编码器侧的编码效率改进。

如在1999年关于甚低比特率视频编码的国际研讨会论文集中E. Asbun,P.Salama和E.Delp的“用于在速率可缩放视频编解码器中编码 预测性错误帧的预处理和后处理技术(Preprocessing and Postprocessing  Techniques for Encoding Predictive Error Frames in Rate Scalable Video  Codecs)”中所描述的，包括锐度增强的预处理和后处理技术被应用于 PEF(预测误差帧，即，由运动补偿产生的残差帧)以提高速率可缩放 的基于小波的视频编解码器中的PEF编码效率。在该方法中，锐度增 强被应用于解码器中的解码后PEF，而不是编码器中的预测帧，因此 它无法用于提高层间预测的效率。

发明内容

本发明的目标在于提供一种用于空间可缩放视频编解码器中层间预 测的改进的技术。

该目标通过独立权利要求的特征来实现。从从属权利要求、说明书 和附图中，另外的实施形式是显而易见的。

本发明是基于以下发现：通过向可缩放视频编解码器中引入两种额 外的层间预测模式可提供这种改进的技术。第一层间预测模式使用由锐 化过滤器处理的放大后较低分辨率层图像。第二层间预测模式使用与默 认比例因子，即较高与较低分辨率层之间的比例因子，不同的自定义比 例因子产生的放大后较低分辨率层图像。新的预测模式用于以下情形中： 它们提供比其它可用的预测模式，即，诸如帧内预测、帧间预测、当前 标准层间预测，更低的残差信号能量。这允许实现针对较高分辨率层比 特流的较低比特率，同时保持与当前可缩放视频编解码器标准相同的质 量，或者在相同的比特率下更好的质量。

为了详细描述本发明，将使用下列术语、缩写和符号：

H.264：           根据ITU-TH.264标准的视频编解码器。

H.263+：          根据ITU-T H.263标准Annex O的视频编解码器。

H.264AVC：        根据ITU-T H.264高级视频编码标准的视频编解 码器。

H.264SVC：        根据ITU-T H.264可缩放视频编码标准的视频编 解码器。

FEC：             前向纠错。

视频帧：在视频压缩领域中，视频帧是使用具有不同优点和缺 点的不同算法进行压缩的，这些算法主要围绕数据压缩量。这些用于视 频帧的不同算法被称为图片类型或帧类型。在这些不同视频算法中使用 的三种主要图片类型是I、P和B。I帧是最少可压缩的但不需要其它视 频帧来进行解码。P帧可以使用来自先前帧的数据进行解压缩，并且比I 帧更可压缩。B帧可以使用先前帧和前向帧两者用于数据参考以获得最 高的数据压缩量。

宏块：宏块是基于用于静止图像和视频帧的离散余弦变换的一种图 像压缩组成部分和技术。宏块通常由两个或更多个像素块组成。块的大 小取决于编解码器，并且通常是4的倍数。在现代编解码器中，如 H.263和H.264，总体宏块大小固定为16×16像素，但它被分解成更小 的4、8或16像素乘以4、8或16像素的块或分区。这些较小分区的组 合必须结合起来以形成16×16宏块。

根据第一方面，本发明涉及一种用于从空间可缩放视频编解码器的 第二分辨率层图像确定第一分辨率层图像的预测块的方法，其中所述第 一分辨率层图像的分辨率高于所述第二分辨率层图像的分辨率，所述方 法包括：将所述第二分辨率层图像的每个块放大为放大后第二分辨率层 图像的相应块；以及通过锐化过滤器过滤所述放大后第二分辨率层图像 的每个块以获得所述第一分辨率层图像的预测块。

当预测包含由于下采样/上采样变换而变模糊的不同边缘的图像块时， 残差信号减少，从而使得编码效率提高。所述方法可以简单且无缝地集 成至现有的可缩放视频编解码器架构和基础设施中。所述新预测模式利 用上采样后较低分辨率层图像的锐化增强增强了层间预测而不改变任何 编码器模块或编码器架构。

在根据所述第一方面的所述方法的第一可能实施形式中，所述放大 的比例因子对应于所述第一分辨率层图像与所述第二分辨率层图像的所 述分辨率的比率。

当所述比例因子对应于所述第一分辨率层图像与所述第二分辨率层 图像的所述分辨率的所述比率时，所述第一(高)分辨率层图像可以通 过对所述比例因子的简单放大从所述第二(低)分辨率层图像进行重构。

在根据上述第一方面或根据所述第一方面的所述第一实施形式的所 述方法的第二可能实施形式中，所述锐化过滤器包括参数锐化过滤器。

所述参数锐化过滤器允许最佳地调整所述锐化过滤器的所述参数， 从而提高了所述过滤的准确性，并且因此提高了从所述第二(低)分辨 率层图像重构所述第一(高)分辨率层图像的准确性。

在根据上述第一方面或根据所述第一方面的前述实施形式的所述方 法的第三可能实施形式中，所述锐化过滤器包括以下过滤器中的一种： 基于高斯平滑化的过滤器、基于拉普拉斯的过滤器、自适应方向敏感锐 化过滤器、翘曲锐化过滤器。

当使用此类简单的锐化过滤器时，解码复杂性不会显著增加。

在根据上述第一方面或根据所述第一方面的前述实施形式的所述方 法的第四可能实施形式中，所述方法包括：根据使块预测误差最小化的 优化准则确定所述锐化过滤器的参数。

具有通过最佳参数搜索搜索的参数的参数过滤器允许相对于质量-性 能权衡的灵活实施。

在根据上述第一方面或根据所述第一方面的前述实施形式的所述方 法的第五可能实施形式中，所述方法包括：相对于使块预测成本函数最 小化确定所述锐化过滤器的参数；以及将所述锐化过滤器的所述参数添 加至所述视频编解码器的比特流。

将所述锐化过滤器的所述参数添加至所述视频编解码器的所述比特 流允许使用相同的锐化过滤器用于所述图像的所述编码和所述解码。因 此，所述编码和所述解码是同步的。

在根据所述第一方面的所述第五实施形式的所述方法的第六可能实 施形式中，所述成本函数是基于在所述视频编解码器的编码过程中产生 的失真以及所述视频编解码器的所述比特流的比特率。

这种成本函数易于实施，在搜索所述最佳参数时具有低计算复杂性。

在根据上述第一方面或根据所述第一方面的任一前述实施形式的所 述方法的第七可能实施形式中，所述第一分辨率层图像包括H.264/SVC 视频编解码器的空间增强层，并且所述第二分辨率层图像包括 H.264/SVC视频编解码器的空间基本层。

因此，所述H.264/SVC视频编解码器的软件可以重新用于实施根据 所述第七实施形式的所述方法。现有软件的小的修改是容易实现的。

根据第二方面，本发明涉及一种用于从空间可缩放视频编解码器的 第二分辨率层图像确定第一分辨率层图像的预测块的方法，其中所述第 一分辨率层图像的分辨率高于所述第二分辨率层图像的分辨率，所述方 法包括：通过使用不同于所述第一分辨率层图像与所述第二分辨率层图 像的所述分辨率的比率的比例因子将所述第二分辨率层图像的每个块放 大为放大后第二分辨率层图像的相应块；以及选择所述放大后第二分辨 率层图像的块作为所述第一分辨率层图像的预测块。

当预测包含由于下采样/上采样变换而变模糊的不同边缘的图像块时， 残差信号减少，从而使得编码效率提高。所述方法可以简单且无缝地集 成至现有的可缩放视频编解码器架构和基础设施中。所述新预测模式利 用自定义比例因子重新利用现有的图像上采样模块。

在根据所述第二方面的所述方法的第一可能实施形式中，所述放大 后第二分辨率层图像的所述块是从所述放大后第二分辨率层图像的所述 相应块周围的所述放大后第二分辨率层图像的块之中选择的。

所述选择过程将得到相对于所述图像的锐化的所述最佳块。

在根据上述第二方面或根据所述第二方面的所述第一实施形式的所 述方法的第二可能实施形式中，所述方法包括：确定所述比例因子以及 表示所述放大后第二分辨率层图像的所述所选块相对于所述放大后第二 分辨率层图像的所述相应块的位移的位移矢量以使块预测成本函数最小 化；以及将所述比例因子和所述位移矢量添加至所述视频编解码器的比 特流。

将所述比例因子和所述位移矢量添加至所述视频编解码器的所述比 特流允许使用所述放大和选择程序进行所述图像的所述编码和所述解码。 因此，所述编码和所述解码是同步的。

在根据上述第二方面或根据所述第二方面的任一前述实施形式的所 述方法的第三可能实施形式中，所述第一分辨率层图像包括H.264/SVC 视频编解码器的空间增强层，并且所述第二分辨率层图像包括 H.264/SVC视频编解码器的空间基本层。

因此，所述H.264/SVC视频编解码器的软件可以重新用于实施根据 所述第三实施形式的所述方法。现有软件的小的修改是容易实现的。

根据第三方面，本发明涉及一种用于在第一分辨率层图像的块与第 二分辨率层图像的块之间进行转码的空间可缩放视频编解码器，其中所 述第一分辨率层图像的分辨率高于所述第二分辨率层图像的分辨率，所 述视频编解码器包括：用于将所述第二分辨率层图像的每个块放大为放 大后第二分辨率层图像的相应块的放大单元；以及用于过滤所述放大后 第二分辨率层图像的每个块以获得所述第一分辨率层图像的预测块的锐 化过滤器。

所述空间可缩放视频编解码器可以简单且无缝地集成至现有的可缩 放视频编解码器架构和基础设施中。所述新预测模式利用上采样后较低 分辨率层图像的锐化增强增强了层间预测而不改变任何编码器模块或编 码器架构。

根据第四方面，本发明涉及一种用于在第一分辨率层图像的块与第 二分辨率层图像的块之间进行转码的空间可缩放视频编解码器，其中所 述第一分辨率层图像的分辨率高于所述第二分辨率层图像的分辨率，所 述视频编解码器包括：用于通过使用不同于所述第一分辨率层图像与所 述第二分辨率层图像的所述分辨率的比率的比例因子将所述第二分辨率 层图像的每个块放大为放大后第二分辨率层图像的相应块的放大单元； 以及用于选择所述放大后第二分辨率层图像的块作为所述第一分辨率层 图像的预测块的选择单元。

所述空间可缩放视频编解码器可以简单且无缝地集成至现有的可缩 放视频编解码器架构和基础设施中。所述新预测模式利用自定义比例因 子重新利用现有的图像上采样模块。

根据第四方面，本发明涉及一种用于在第一分辨率层图像的块与第 二分辨率层图像的块之间进行转码的空间可缩放视频编解码器，其中所 述第一分辨率层图像的分辨率高于所述第二分辨率层图像的分辨率，所 述视频编解码器包括：用于将所述第二分辨率层图像的每个块放大为表 示所述第一分辨率层图像的第一预测块的放大后第二分辨率层图像的相 应块的放大单元，其中所述放大使用对应于所述第一分辨率层图像与所 述第二分辨率层图像的所述分辨率的比率的比例因子；用于过滤表示所 述第一分辨率层图像的所述第一预测块的所述放大后第二分辨率层图像 的每个相应块以获得所述第一分辨率层图像的第二预测块的锐化过滤器； 以及用于从所述第一预测块、所述第二预测块和所述第三预测块选择用 于预测所述第一分辨率层图像的预测块的选择单元。

所述空间可缩放视频编解码器可以简单且无缝地集成至现有的可缩 放视频编解码器架构和基础设施中。所述新的第一预测模式利用上采样 后较低分辨率层图像的锐化增强增强了层间预测，并且所述新的第二预 测模式利用自定义比例因子重新利用现有的图像上采样模块。不需要对 编码器模块或编码器架构作出改变。

根据第五方面，本发明涉及一种用于空间可缩放视频编解码器的层 间空间预测方法，其中所述放大后重构后较低分辨率层图像在被用于较 高分辨率层图像的预测之前经参数锐化增强进行处理。

在所述第五方面的第一可能实施形式中，所述增强是以下中的一种： 基于高斯平滑化的锐化、基于拉普拉斯的锐化、自适应方向敏感锐化和 翘曲锐化。

在所述第五方面的第二可能实施形式中，所述可配置锐化增强参数 在所述编码器中被改变以实现最佳预测，并且所得参数值被写入至所述 比特流中。

在所述第五方面的第三可能实施形式中，所述可配置锐化增强参数 是以下中的一种：用于翘曲锐化的“深度”和“模糊通路”。

根据第六方面，本发明涉及一种用于空间可缩放视频编解码器的层 间空间预测方法，其中所述重构后较低分辨率层图像是使用不同于通过 空间层分辨率的所述比率确定的所述默认比例因子的自定义比例因子放 大的，以形成在其内用于所述较高分辨率层图像块的预测块在对应于所 述正在预测的块的所述块附近进行搜索的所述图像。

在所述第六方面的第一可能实施形式中，所述放大的所述自定义比 例因子以及所述预测块在所述放大后图像的所述位移矢量在所述编码器 中被改变以实现最佳预测，并且所得值被写入至所述比特流中。

本文描述的方法、系统和设备可以实施为数字信号处理器(DSP)、 微控制器或任何其它副处理器中的软件或者实施为专用集成电路(ASIC) 内的硬件电路。

本发明可以在数字电子电路中，或计算机硬件、固件、软件中，或 其组合中实施，例如在常规移动设备的可用硬件中或在专用于处理本文 描述的方法的新硬件中实施。

附图说明

本发明的具体实施方式将结合以下附图进行描述，其中：

图1a示出根据实施形式的用于从空间可缩放视频编解码器的第二 分辨率层图像的块确定第一分辨率层图像的预测块的方法的示意图；

图1b示出根据实施形式的用于从空间可缩放视频编解码器的第二 分辨率层图像的块确定第一分辨率层图像的预测块的方法的示意图；

图2示出根据实施形式的可缩放视频编码器的流程图；

图3示出根据实施形式的层间预测模式的示意图；

图4示出根据实施形式的基于平滑化的锐化过滤器的方框图；

图5示出根据实施形式的基于空间微分的锐化过滤器的方框图；

图6示出根据实施形式的自适应方向敏感锐化过滤器的方框图；

图7示出根据实施形式的空间可缩放视频编码器的方框图；

图8示出根据实施形式的空间可缩放视频编码器的方框图；

图9示出根据实施形式的空间可缩放视频编码器的方框图；

图10示出在常规的视频编解码器中执行的层间预测的示意图。

具体实施方式

图1a示出根据实施形式的用于从空间可缩放视频编解码器的第二 分辨率层图像的块确定第一分辨率层图像的预测块的方法100的示意图。 第一分辨率层图像是较高分辨率图像，第二分辨率层图像是较低分辨率 层图像，即，第一分辨率层图像的分辨率高于第二分辨率层图像的分辨 率。方法100包括将第二分辨率层图像的每个块放大101为放大后第二 分辨率层图像的相应块。方法100包括通过锐化过滤器过滤103放大后 第二分辨率层图像的每个块以获得第一分辨率层图像的预测块。

在实施形式中，放大101的比例因子对应于第一分辨率层图像与第 二分辨率层图像的分辨率的比率。在实施形式中，锐化过滤器包括参数 锐化过滤器。在实施形式中，锐化过滤器包括以下过滤器中的一种：基 于高斯平滑化的过滤器、基于拉普拉斯的过滤器、自适应方向敏感锐化 过滤器、翘曲锐化过滤器。在实施形式中，方法100包括根据使块预测 误差最小化的优化准则确定锐化过滤器的参数。在实施形式中，方法 100包括：相对于使块预测成本函数最小化确定锐化过滤器的参数；以 及将锐化过滤器的参数添加至视频编解码器的比特流。在实施形式中， 成本函数是基于在视频编解码器的编码过程中产生的失真(D)以及视 频编解码器的比特流的比特率(R)。在实施形式中，第一分辨率层图 像包括H.264/SVC视频编解码器的空间增强层，并且第二分辨率层图像 包括H.264/SVC视频编解码器的空间基本层。

图1b示出根据实施形式的用于从空间可缩放视频编解码器的第二 分辨率层图像的块确定第一分辨率层图像的预测块的方法100的示意图。 第一分辨率层图像是较高分辨率图像，第二分辨率层图像是较低分辨率 层图像，即，第一分辨率层图像的分辨率高于第二分辨率层图像的分辨 率。方法110包括通过使用不同于第一分辨率层图像与第二分辨率层图 像的分辨率的比率的比例因子将第二分辨率层图像的每个块放大111为 放大后第二分辨率层图像的相应块。方法110包括选择113放大后第二 分辨率层图像的块作为第一分辨率层图像的预测块。

在实施形式中，放大后第二分辨率层图像的块是从放大后第二分辨 率层图像的相应块周围的放大后第二分辨率层图像的块之中选择的。在 实施形式中，方法110包括确定比例因子以及表示放大后第二分辨率层 图像的所选块相对于放大后第二分辨率层图像的相应块的位移的位移矢 量以使块预测成本函数最小化；以及将比例因子和位移矢量添加至视频 编解码器的比特流。在实施形式中，第一分辨率层图像包括H.264/SVC 视频编解码器的空间增强层，并且第二分辨率层图像包括H.264/SVC视 频编解码器的空间基本层。

图2示出根据实施形式的可缩放视频编码器200的流程图。可缩放 视频编码器200包括两种新的用于空间可缩放视频编解码器的层间预测 模式。图2示出可缩放视频编码器的流程图以及新层间预测模式在可缩 放编解码器架构内的布置(块221和223)。

可缩放视频编码器200包括空间增强层208和空间基本层206。两 种新的层间预测模式布置在这些层208、206之间。空间增强层208包 括时间可缩放编码单元213、预测单元215、基本层编码单元219和 SNR可缩放编码单元217。时间可缩放编码单元213用于接收高分辨率 的第一分辨率层图像202，并向预测单元215提供该图像的时间缩放后 编码后版本。预测单元215基于第一分辨率层图像202的时间缩放后编 码后版本以及由交换机211提供的放大信号250向基本层编码单元219 提供预测信号。在基本层编码和SNR可缩放编码后，基本层编码单元 219和SNR可缩放编码单元217的输出信号被提供给复用器235以供输 出。空间基本层206包括时间可缩放编码单元229、预测单元231、基 本层编码单元233和SNR可缩放编码单元227。时间可缩放编码单元 229用于接收低分辨率的第二分辨率层图像204，并向预测单元231提 供该图像的时间缩放后编码后版本。预测单元231基于第二分辨率层图 像204的时间缩放后编码后版本向基本层编码单元233提供预测信号。 在基本层编码和SNR可缩放编码后，基本层编码单元233和SNR可缩 放编码单元227的输出信号被提供给复用器235以供输出。

第二分辨率层图像204是通过下采样过滤器229中的下采样从第一 分辨率层图像202导出的。

空间基本层206的SNR可缩放编码单元227的输出信号被提供给上 采样过滤器225从而提供第一缩放后模式信号242，提供给上采样过滤 器225和锐化过滤器223从而提供第二缩放后模式信号244，并提供给 利用自定义比例因子上采样单元221从而提供第三缩放后模式信号246。 三个缩放后模式信号242、244、246由交换机211进行切换以将放大信 号250提供给空间增强层208的预测单元215。第一缩放后模式信号 242表示在诸如H.263+Annex O或H.264SVC的常规视频编解码器中应 用的当前预测模式。第二缩放后模式信号244和第三缩放后模式信号 246表示根据本发明的各方面的两种新的预测模式。第二缩放后模式信 号244的处理可以通过使用如图1a中所描述的方法100来执行。第三缩 放后模式信号246的处理可以通过使用如图1b中所描述的方法110来执 行。

图3示出根据实施形式的层间预测模式的示意图300。低分辨率的 第二分辨率层图像304被放大为高分辨率的第一分辨率层图像302。描 绘了用于应用从第二分辨率层图像304预测第一分辨率层图像302的三 种不同的模式。第一模式(当前模式)311对应于上文结合图2描述的 表示在诸如H.263+Annex O或H.264SVC的常规视频编解码器中应用 的当前预测模式的第一缩放后模式信号242的处理。第二模式(新模式 1)313对应于上文结合图2描述的表示根据本发明的第一方面的第一新 预测模式的第二缩放后模式信号244的处理，该处理可以通过使用上文 结合图1a描述的方法110来执行。第三模式(新模式2)315对应于上 文结合图2描述的表示根据本发明的第二方面的第二新预测模式的第三 缩放后模式信号246的处理，该处理可以通过使用上文结合图1b描述 的方法110来执行。

当前模式通过放大317第二分辨率层图像304的块316进行处理以 获得作为第一分辨率层图像302的相应块306的预测块326。从图3可 以看出，预测块326具有模糊的边缘。

第一新预测模式通过以下操作进行处理：将第二分辨率层图像304 的块316放大317为放大后第二分辨率层图像的相应块326，以及通过 锐化过滤器过滤330放大后第二分辨率层图像的相应块326以获得作为 第一分辨率层图像302的相应块306的预测块336。从图3可以看出， 预测块336具有锐利的边缘。锐化过滤器可以对应于下文结合图4至图 6描述的过滤器中的一种。

第二新预测模式通过放大319经自定义比例缩放的缩放后块318进 行处理，以获得作为第一分辨率层图像302的相应块308的预测块328。 从图3可以看出，预测块328由于放大效果而具有锐利的边缘。

第一新模式313使用较低分辨率层编码器的上采样后重构后帧。对 于较高分辨率层图像302的每个块，它通过向上采样后较低分辨率层图 像304中的并置块326(见图3，新模式1)应用参数锐化过滤器而产生候 选预测块336。锐化过滤器参数(如果有的话)是选择以使得块预测成 本函数最小化的可变的模式特定参数。这种成本函数的一个示例是成本 ＝D+λR，其中D为在编码过程中产生的失真，R为发送残差数据和指定 锐化过滤器参数所需的比特率，λ为某一常量。其它有用的成本准则包 括SAD(绝对差之和)、SATD(绝对变换差之和)或SSD(平方差之 和)。

第二新模式使用较低分辨率层编码器的使用与通过空间层分辨率的 比率确定的默认比例因子不同的比例因子产生的上采样后重构后帧328。 候选预测块328是从对应于正在较高分辨率层图像308中进行编码的块的 放大后图像中的块的周围区域(见图3，新模式2)中具有适当大小的块 (图3中未示出)之中选择的。用于上采样319的自定义比例因子以及候 选预测块在上采样后图像中的位移矢量(相对于对应于正在预测的块的 上采样后图像块)是选择以使得块预测成本函数最小化的可变的模式特 定参数。这种成本函数的一个示例是如上所述的成本＝D+λR。其它有用 的成本准则包括SAD(绝对差之和)、SATD(绝对变换差之和)或 SSD(平方差之和)。

对于两种新预测模式，用于块的最终编码模式是基于这些模式的成 本在所有可用的编码模式之中选择的。针对最低成本模式搜索的性能优 化可以例如通过使用启发式搜索、抽签式参数集搜索等来实现。在实施 形式中，使用就质量-性能权衡而言灵活的搜索算法。在这样的搜索算法 的实施形式中，可用于搜索的参数值集合有所不同。更大的集合以更差 的性能为代价提供更好的质量，反之亦然。

在实施形式中，取决于将宏块划分成更小块的细分，新预测模式向 其施加的图像块的大小是4×4、8×8或16×16。具体细分是基于细分成 本，即所有构成块的总成本，来选择的，类似于H.264/AVC编解码器中 所使用的帧内和帧间预测宏块细分。

图4示出根据实施形式的基于平滑化的锐化过滤器400的方框图。 过滤器400包括高斯平滑化单元401、第一加法器403、扩大器 (amplifier)405和第二加法器407。输入信号402经过使输入信号402 平滑化以获得平滑化后输入信号的高斯平滑化单元401，平滑化后输入 信号在第一加法器403处被加和至输入信号402。第一加法器403的输 出在扩大器405中被扩大因子k并被提供至第二加法器407，在第二加 法器407处扩大器405的输出被加和至输入信号402以获得锐化后信号 404作为过滤器400的输出。

图5示出根据实施形式的基于空间微分的锐化过滤器500的方框图。 过滤器500包括拉普拉斯单元501、扩大器505和加法器507。输入信 号502经过根据拉普拉斯分布过滤输入信号402从而获得拉普拉斯过滤 后输入信号的拉普拉斯单元401，拉普拉斯过滤后输入信号在扩大器 505中被扩大因子k并被提供至加法器507，在加法器507处扩大器505 的输出被加和至输入信号502以获得锐化后信号504作为过滤器500的 输出。

图6示出根据实施形式的自适应方向敏感锐化过滤器600的方框图。 过滤器600包括多个方向性掩蔽单元611、612、613、614、615、616、 617、618，例如8个，相同数量的阈值单元631、相同数量的扩大器 633，第一加法器603，另一扩大器605和第二加法器607。输入信号 602经过每个掩蔽单元611、612、613、614、615、616、617、618，阈 值单元631和扩大器633，其中生成了输入信号的八种方向性掩蔽后扩 大后版本，这些版本的输入信号由第一加法器603进行加和。经另一扩 大器605扩大的第一加法器603的输出在第二加法器607中被加和至输 入信号602以获得锐化后信号604作为过滤器600的输出。

自适应方向敏感锐化过滤器600可以对应于在1999年8月的IEEE 图像处理会报第8期第8卷中N.Arad和C.Gotsman的“通过图像依赖翘 曲的增强(Enhancement by Image-Dependent Warping)”描述的“翘曲锐 化”。这种自适应方向敏感锐化过滤器600以最小的不希望的图像失真 提供了好得多的边缘增强，但是以更高的计算复杂性为代价的。

虽然上文结合图4描述的基于高斯平滑化的过滤器以及结合图5描 述的基于拉普拉斯的过滤器在计算上简单，但上文结合图6描述的自适 应方向敏感锐化过滤器由于以计算复杂性为代价带来的适应性和对角线 方向处理而提供了更好的质量。在图4、图5和图6中的过滤器中使用 的缩放系数k和阈值是可以改变以使预测残差信号最小化的模式特定参 数。

图7示出根据实施形式的空间可缩放视频编码器900的方框图。空 间可缩放视频编解码器900用于在第一分辨率层图像的块与第二分辨率 层图像的块之间进行转码。第一分辨率层图像是较高分辨率图像，第二 分辨率层图像是较低分辨率层图像，即，第一分辨率层图像的分辨率高 于第二分辨率层图像的分辨率。视频编解码器900包括用于将第二分辨 率层图像的每个块放大901为放大后第二分辨率层图像的相应块的放大 单元901。视频编解码器900包括用于过滤放大后第二分辨率层图像的 每个块以获得第一分辨率层图像的预测块的锐化过滤器903。

放大单元901的放大可以对应于上文结合图1a至图3和图7描述的 放大。锐化过滤器可以对应于结合图4至图6描述的锐化过滤器中的一 种。

图8示出根据实施形式的空间可缩放视频编码器的方框图。空间可 缩放视频编解码器1000用于在第一分辨率层图像的块与第二分辨率层 图像的块之间进行转码。第一分辨率层图像是较高分辨率图像，第二分 辨率层图像是较低分辨率层图像，即，第一分辨率层图像的分辨率高于 第二分辨率层图像的分辨率。视频编解码器1000包括用于通过使用不 同于第一分辨率层图像与第二分辨率层图像的分辨率的比率的比例因子 将第二分辨率层图像的每个块放大为放大后第二分辨率层图像的相应块 的放大单元1001。视频编解码器1000包括用于选择放大后第二分辨率 层图像的块作为第一分辨率层图像的预测块的选择单元1003。

放大单元1001的放大可以对应于上文结合图1a至图3和图7描述 的放大。选择单元1003的选择可以对应于上文结合图1a至图3和图7 描述的选择。

图9示出根据实施形式的空间可缩放视频编码器的方框图。空间可 缩放视频编解码器1100用于在第一分辨率层图像的块与第二分辨率层 图像的块之间进行转码。第一分辨率层图像是较高分辨率图像，第二分 辨率层图像是较低分辨率层图像，即，第一分辨率层图像的分辨率高于 第二分辨率层图像的分辨率。视频编解码器1100包括用于将第二分辨 率层图像的每个块放大为表示第一分辨率层图像的第一预测块的放大后 第二分辨率层图像的相应块的第一放大单元1101，其中放大使用对应于 第一分辨率层图像与第二分辨率层图像的分辨率的比率的第一比例因子。 视频编解码器1100包括用于过滤表示第一分辨率层图像的第一预测块 的放大后第二分辨率层图像的每个相应块以获得第一分辨率层图像的第 二预测块的锐化过滤器1103。视频编解码器1100包括用于将第二分辨 率层图像的每个块放大为表示第一分辨率层图像的第三预测块的放大后 第二分辨率层图像的相应块的第二放大单元1105，其中放大使用不同于 第一比例因子的第二比例因子。视频编解码器1100包括用于从第一预 测块、第二预测块和第三预测块选择用于预测第一分辨率层图像的预测 块的选择单元1107。

第一放大单元1101和第二放大单元1105的放大可以对应于上文结 合图1a至图3和图7描述的放大。锐化过滤器可以对应于结合图4至图 6描述的锐化过滤器中的一种。

选择单元1107的选择可以对应于上文结合图1a至图3和图7描述 的选择。

通过阅读以上内容，所属领域的技术人员将清楚地了解，可提供多 种方法、系统、记录媒体上的计算机程序及其类似者等等。

本发明还支持包含计算机可执行代码或计算机可执行指令的计算机 程序产品，这些计算机可执行代码或计算机可执行指令在执行时使得至 少一台计算机执行本文所述的执行及计算步骤。

通过以上启示，对于本领域技术人员来说，许多替代产品、修改及 变体是显而易见的。当然，所属领域的技术人员容易意识到除本文所述 的应用之外，还存在本发明的众多其它应用。虽然已参考一个或多个特 定实施例描述了本发明，但所属领域的技术人员将认识到在不偏离本发 明的范围的前提下，仍可对本发明作出许多改变。因此，应理解，只要 是在所附权利要求书及其等效文句的范围内，可以用不同于本文具体描 述的方式来实践本发明。