使用基于块的混合分辨率数据修剪的视频编码

摘要

一种用于编码视频序列中的画面的装置，包括用于识别画面的原始版本中一个或更多要修剪的原始块的待修剪块识别器（410）。所述装置还包括用于通过分别为一个或更多要修剪的原始块生成一个或更多替换块来生成画面的已修剪版本的块替换器（415）。所述装置还包括用于生成恢复画面的已修剪版本的元数据的元数据生成器（410）。所述元数据包括一个或更多替换块的位置信息。所述装置额外地包括用于编码画面的已修剪版本和元数据的编码器。

说明书

相关申请的交叉引用

本申请要求提交于2010年9月10日的标题为BLOCK-BASED  MIXED-RESOLUTION DATA PRUNING FOR IMPROVING VIDEO  COMPRESSION EFFICIENCY的美国临时申请序列号为第61/403087的权益 （Technicolor卷号PU100194）。

本申请涉及以下待审、共同拥有的专利申请：

（1）国际（PCT）专利申请序列号第PCT/US11/000107号，标题为A  SAMPLING-BASED SUPER-RESOLUTION APPROACH FOR  EFFIECENT VIDEO COMPRESSION，提交于2011年1月20日 （Technicolor卷号PU100004）；

（2）国际（PCT）专利申请序列号第PCT/US11/000117号，标题为DATA  PRUNING FOR VIDEO COMPRESSION USING  EXAMPLE-BASED SUPER-RESOLUTION，提交于2011年1月21 日（Technicolor卷号PU100014）；

（3）国际（PCT）专利申请序列号第XXXX号，标题为METHODS AND  APPRATUS FOR ENCODING VIDEO SIGNALS USING MOTION  COMPENSATED EXAMPLE-BASED SUPER-RESOLUTION FOR  VIDEO COMPRESSION，提交于2011年9月XX日（Technicolor卷 号PU100190）；

（4）国际（PCT）专利申请序列号第XXXX号，标题为METHODS AND  APPRATUS FOR DECODING VIDEO SIGNALS USING MOTION  COMPENSATED EXAMPLE-BASED SUPER-RESOLUTION FOR  VIDEO COMPRESSION，提交于2011年9月XX日（Technicolor卷 号PU100266）；

（5）国际（PCT）专利申请序列号第XXXX号，标题为METHODS AND  APPRATUS FOR ENCODING VIDEO SIGNALS USING  EXAMPLE-BASED DATA PRUNING FOR IMPROVED VIDEO  COMPRESSION EFFICIENCY，提交于2011年9月XX日 （Technicolor卷号PU100193）；

（6）国际（PCT）专利申请序列号第XXXX号，标题为METHODS AND  APPRATUS FOR DECODING VIDEO SIGNALS USING  EXAMPLE-BASED DATA PRUNING FOR IMPROVED VIDEO  COMPRESSION EFFICIENCY，提交于2011年9月XX日 （Technicolor卷号PU100267）；

（7）国际（PCT）专利申请序列号第XXXX号，标题为METHODS AND  APPRATUS FOR DEODING VIDEO SIGNALS FOR  BLOCK-BASED MIXED-RESOLUTION DATA PRUNING，提交于 2011年9月XX日（Technicolor卷号PU100268）；

（8）国际（PCT）专利申请序列号第XXXX号，标题为METHODS AND  APPRATUS FOR EFFICIENT REFERENCE DATA ENCODING  FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED  SEARCH AND RANKING，提交于2011年9月XX日（Technicolor 卷号PU100195）；

（9）国际（PCT）专利申请序列号第XXXX号，标题为METHODS AND  APPRATUS FOR EFFICIENT REFERENCE DATA DECODING  FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED  SEARCH AND RANKING，提交于2011年9月XX日（Technicolor 卷号PU100106）；

（10）国际（PCT）专利申请序列号第XXXX号，标题为METHODS  AND APPRATUS ENCODING VIDEO SIGNALS FOR  EXAMPLE-BASED DATA PRUNING USING INTRA-FRAME  PATCH SIMILARITY，提交于2011年9月XX日（Technicolor卷 号PU100196）；

（11）国际（PCT）专利申请序列号第XXXX号，标题为METHODS  AND APPRATUS DECODING VIDEO SIGNALS FOR  EXAMPLE-BASED DATA PRUNING USING INTRA-FRAME  PATCH SIMILARITY，提交于2011年9月XX日（Technicolor卷 号PU100269）；以及

（12）国际（PCT）专利申请序列号第XXXX号，标题为PRUNING  DECISION OPTIMIZATION IN EXAMPLE-BASED DATA  PRUNING COMPRESSION，提交于2011年9月XX日（Technicolor 卷号PU100197）。

技术领域

本发明原理一般地涉及视频编码和解码，并且尤其涉及用于提升视频压 缩效率的基于块的混合分辨率数据修剪（pruning）的方法和装置。

背景技术

已经存在用于数据修剪来提升视频编码效率的若干不同方法。例如，第 一种方法是垂直和水平线去除。第一种方法在编码之前去除视频帧中的垂直 和水平线，并且在解码之后以非线性内插来恢复这些线。去除了哪个线是通 过该线是否包括高频信号来确定的。第一种方法的问题在于第一种方法缺少 选择性地去除像素的灵活性。即，第一种方法可能去除包括不能轻易恢复的 重要像素的线，尽管整体上该线包括少量的具有高频的信号。

相对于以上提及的第一种方法的另一类别的方法是基于块去除的，其去 除并恢复块而不是线。但是，其它类别的方法使用环路（in-loop）方法，这 意味着必须修改编码器架构来适应块去除。因此，因为必须修改编码器，其 它类别的方法不严格地是基于预处理的方法。

发明内容

本发明解决了这些方法的这些和其它缺陷和缺点，本发明针对用于提升 视频压缩效率的基于块的混合分辨率数据修剪的方法和装置。

根据本发明的一个方面，提供了一种用于编码视频序列中的画面的装置。 所述装置包括：用于识别画面的原始版本中要修剪的一个或更多原始块的待 修剪块识别器。所述装置还包括：用于通过分别为一个或更多要被修剪的原 始块生成一个或更多替换块来生成画面的修剪版本的块替换器。所述装置还 包括：用于生成恢复画面的修剪版本的元数据的元数据生成器。所述元数据 包括一个或更多替换块的位置信息。所述装置额外地包括用于编码画面的修 剪版本和元数据的编码器。

根据本原理的另一个方面，提供了一种用于编码视频序列中的画面的方 法。所述方法包括：识别画面的原始版本中要修剪的一个或更多原始块。所 述方法还包括：通过分别为一个或更多要被修剪的原始块生成一个或更多替 换块来生成画面的修剪版本。所述方法还包括：生成恢复画面的修剪版本的 元数据。所述元数据包括一个或更多替换块的位置信息。所述方法额外地包 括使用至少一个编码器来编码画面的修剪版本和元数据。

根据本原理了另一个方面，提供了一种用于恢复视频序列中画面的修剪 版本的装置。所述装置包括：用于识别画面的修剪版本中一个或更多已修剪 块的已修剪块识别器。所述装置还包括：用于解码用来恢复画面的修剪版本 的元数据的元数据解码器。所述元数据包括一个或更多替换块的位置信息。 所述装置还包括：用于分别为一个或更多已修剪块生成一个或更多替换块的 块还原器。

根据本原理的另一个方面，提供了一种用于恢复视频序列中画面的修剪 版本的方法。所述方法包括：识别画面的修剪版本中一个或更多已修剪块。 所述方法还包括：使用解码器来解码用来恢复画面的修剪版本的元数据。所 述元数据包括一个或更多替换块的位置信息。所述方法还包括：分别为一个 或更多已修剪块生成一个或更多替换块。

根据本原理的另一个方面，提供了一种用于编码视频序列中的画面的装 置。所述装置包括用于识别画面的原始版本中要修剪的一个或更多原始块的 部件。所述装置还包括：用于通过分别为一个或更多要被修剪的原始块生成 一个或更多替换块来生成画面的修剪版本的部件。所述装置还包括：用于生 成恢复画面的修剪版本的元数据的部件。所述元数据包括一个或更多替换块 的位置信息。所述装置额外地包括用于编码画面的修剪版本和元数据的部件。

根据本原理的另一个方面，提供了一种用于恢复视频序列中画面的修剪 版本的装置。所述装置包括：用于识别画面的修剪版本中一个或更多已修剪 块的部件。所述装置还包括：用于解码用来恢复画面的修剪版本的元数据的 部件。所述元数据包括一个或更多替换块的位置信息。所述装置还包括：用 于分别为一个或更多已修剪块生成一个或更多替换块的部件。

附图说明

结合附图阅读以下示例性实施例的具体描述，本原理的这些和其它方面、 特征和优点将变得明显。

根据以下示例性附图，将更好地理解本原理，附图中：

图1是示出根据本原理的实施例的基于块的混合分辨率的数据修剪系统/ 方法的高级框图的框图；

图2是示出根据本原理的实施例的可以应用本原理的示例性视频编码器 的框图；

图3是示出根据本原理的实施例的可以应用本原理的示例性视频解码器 的框图；

图4是示出根据本原理的实施例的基于块的混合分辨率数据修剪的示例 性系统的框图；

图5是示出根据本原理的实施例的用于视频压缩的基于块的混合分辨率 数据修剪的示例性方法的流程图；

图6是示出根据本原理的实施例的用于基于块的混合分辨率数据修剪的 数据恢复的示例性系统的框图；

图7是示出根据本原理的实施例的用于视频压缩的基于块的混合分辨率 数据修剪的数据恢复的示例性方法的流程图；

图8是示出根据本原理的实施例的示例性混合分辨率帧的图；

图9是示出根据本原理的实施例的在空间频率空间中示出的基于块的混 合分辨率数据修剪处理的示例的图；

图10是示出根据本原理的实施例的用于元数据编码的示例性方法的流 程图；

图11是示出根据本原理的实施例的用于元数据解码的示例性方法的流 程图；以及

图12是示出根据本原理的实施例的示例性块ID的图。

具体实施方式

本原理针对用于提升视频压缩效率的基于块的混合分辨率数据修剪的方 法和装置。

本说明书对本发明原理进行示例性说明。因此，将认识到：本领域技术 人员将能够设计出实施本原理并被包括在本原理的精神和范围内的各种布 置，尽管在这里没有明确地描述或示出所述布置。

在此叙述的所有示例和条件性语言意欲用于教导的目的以便帮助读者理 解本原理以及由本发明人贡献以促进现有技术的构思，并且应该被解释为不 限制为这些具体叙述的示例和条件。

另外，在这里叙述本原理的原理、方面和实施例及其特定示例的所有陈 述意欲包括其结构和功能等效物。另外，意图是：这样的等效物包括当前已 知的等效物以及将来开发的等效物二者，即所开发的执行相同功能的任何元 件，而不论其结构如何。

因此，例如，本领域技术人员将认识到：在此呈现的框图表示实施本原 理的示例性电路的概念性视图。类似地，将认识到：任何流程图示(flow chart)、 流程图(flow diagram)、状态转换图、伪代码等表示实质上可以表示在计算机 可读介质中并因此由计算机或处理器执行的各种过程，而不管是否明确地示 出这样的计算机或处理器。

可以通过使用专用硬件以及与适当的软件相关联的能够执行软件的硬件 来提供图中示出的各种元件的功能。当利用处理器来提供所述功能时，可以 利用单个专用处理器、利用单个共享处理器、或者利用其中一些可被共享的 多个独立处理器来提供所述功能。另外，术语“处理器”或“控制器”的明 确使用不应该被解释为排他性地指代能够执行软件的硬件，而是可以隐含地 无限制地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器 (“ROM”)、随机存取存储器(“RAM”)、和非易失性存储器。

还可以包括其它传统的和/或定制的硬件。类似地，图中示出的任何开关 只是概念性的。它们的功能可以通过程序逻辑的运行、通过专用逻辑、通过 程序控制和专用逻辑的交互、或者甚至手动地来执行，实施者可以根据对上 下文更具体的理解选择特定的技术。

在其权利要求中，被表示为用于执行指定功能的部件的任何元件意欲包 含执行那个功能的任何方式，例如包括：a)执行那个功能的电路元件的组合 或者b)与用于执行该软件的适当电路相组合以执行所述功能的任何形式的软 件，所述软件因此包括固件或微代码等。由这种权利要求限定的本发明在于 如下事实，即，以权利要求所要求保护的方式将由各种所叙述的部件提供的 功能组合和集合到一起。因此认为可以提供那些功能的任何部件与在此示出 的那些部件等效。

在本说明书中提到的本原理的“一个实施例”或“实施例”以及其变型 是指结合所述实施例描述的特定特征、结构、特性等被包括在本原理的至少 一个实施例中。因此，在说明书各处出现的短语“在一个实施例中”和“在 实施例中”以及任何其他的变型不一定都指代相同的实施例。

应当认识到，对于术语“/”、“和/或”和“中的至少一个”的使用，例如 在“A/B”、“A和/或B”和“A和B中的至少一个”的情况中意欲包括只选 择第一个列出的选项(A)、只选择第二个列出的选项(B)或者同时选择两个选 项(A和B)。作为另一示例，在“A、B和/或C”和“A、B和C中的至少一 个”的情况中，这种措辞意欲包括只选择第一个列出的选项(A)、只选择第二 个列出的选项(B)、只选择第三个列出的选项(C)、只选择第一个和第二个列出 的选项(A和B)、只选择第一个和第三个列出的选项(A和C)、只选择第二个 和第三个列出的选项(B和C)或者同时选择三个选项(A和B和C)。如本领域 和相关领域普通技术人员容易认识到的，这可以被扩展为很多列出的项目。

此外，如在此使用的，词语“画面”和“图像”可互换地使用并且指代 视频序列中的静止图像或画面。如已知的，画面可以是帧或半帧（field）。

此外，应该认识到词语“恢复（recovery）”和“还原（restoration）”在 此可互换地使用。

如以上所提到的，本原理针对用于提升视频压缩效率的基于块的混合分 辨率数据修剪。数据修剪是通过在输入视频数据编码之前去除输入视频数据 的一部分来达到更好的视频编码效率的视频预处理技术。在解码器侧通过从 已解码数据推断来恢复所去除的视频数据。数据修剪的一个示例是图像线去 除，其去除输入视频中的一些水平和垂直扫描线。

根据本原理公开了一种用来修剪视频的混合分辨率数据修剪方案的框 架，其中通过低分辨率（low-res）块或平坦块（flat block）来替代视频中的 高分辨率（high-res）块。根据本原理还公开了一种编码已修剪块的位置的元 数据编码方案，其使用图像处理技术和熵编码的组合。

根据本发明的实施例，将视频帧划分成若干非重叠块，并且这些块中的 一些被低分辨率块或简单平坦块替代。然后将已修剪视频发送到视频编码器 来压缩。修建处理将导致更高效的视频编码，因为以具有更少高频信号的低 分辨率或平坦块替代了视频帧中的一些块。可以使用各种现有算法（诸如， 图像修复（inpainting）、纹理综合等）来恢复被替代的块。根据本原理，公开 了怎样编码和发送恢复处理所需的元数据。

与先前提及的用来改善视频压缩的数据修剪的其它类别的方法不同，本 原理提供了严格的环外（out-of-loop）方法，其中编码器和解码器保持完整并 且被对待为黑箱并且可以被任何编码（或解码）标准或实施方式替代。这种 环外方法的优点在于，用户不需要改变编码或解码工作流程，改变编码或解 码工作流程在某些环境下是不可行的。

转到图1，参考标号100整体表示基于块的混合分辨率数据修剪系统/方 法的高级框图。提供输入视频并且其在步骤110（通过编码器侧预处理器151） 经历编码器侧预处理以便获得预处理帧。在步骤115编码（通过编码器152） 预处理帧。在步骤120解码（通过解码器153）编码帧。已解码帧经历后处 理（通过解码器侧后处理器154）以便在步骤125提供输出视频。

在编码器侧预处理器151中进行数据修剪处理。将已修剪视频随后发送 到编码器152。然后将已编码视频连同恢复所需的元数据发送到解码器153。 解码器153解压缩已修剪视频，并且解码器侧后处理器154使用或不使用接 收到的元数据从已修剪视频恢复原始视频（因为在一些情况下，有可能恢复 不需要并且因此不使用元数据）。

转到图2，参考标号200整体表示可以应用本原理的示例性视频编码器。 视频编码器200可以被用作，例如图1中所示的视频编码器152。视频编码 器200包括具有输出端的帧排序缓冲器210，该输出端与组合器285的非反 相输入端信号通信。组合器285的输出端与变换器和量化器225的第一输入 端信号通信连接。变换器和量化器225的输出端与熵编码器245的第一输入 端和逆变换器和逆量化器250的第一输入端信号通信连接。熵编码器245的 输出端与组合器290的第一非反相输入端信号通信连接。组合器290的输出 端与输出缓冲器235的第一输入端信号通信连接。

编码器控制器205的第一输出端与帧排序缓冲器210的第二输入端、逆 变换器和逆量化器250的第二输入端、画面类型判定模块215的输入端、宏 块类型（MB类型）判定模块220的第一输入端、帧内预测模块260的第二 输入端、去块滤波器265的第二输入端、运动补偿器270的第一输入端、运 动估计器275的第一输入端以及参考画面缓冲器280的第二输入端信号通信 连接。

编码器控制器205的第二输出端与辅助增强信息（SEI）插入器230的第 一输入端、变换器和量化器225的第二输入端、熵编码器245的第二输入端、 输出缓冲器235的第二输入端以及序列参数集（SPS）和画面参数集（PPS） 插入器240的输入端信号通信连接。

SEI插入器230的输出端与组合器290的非反相输入端信号通信连接。

画面类型判定模块215的第一输出端与帧排序缓冲器210的第三输入端 信号通信连接。画面类型判定模块215的第二输出端与宏块类型判定模块220 的第二输入端信号通信连接。

序列参数集（SPS）和画面参数集（PPS）插入器240的输出端与组合器 290的第三非反相输入端信号通信连接。

逆量化器和逆变换器250的输出端与组合器219的第一非反相输入端信 号通信连接。组合器219的输出端与帧内预测模块260的第一输入端和去块 滤波器265的第一输入端信号通信连接。去块滤波器265的输出端与参考画 面缓冲器280的第一输入端信号通信连接。参考画面缓冲器280的输出端与 运动估计器275的第二输入端和运动补偿器270的第三输入端信号通信连接。 运动估计器275的第一输出端与运动补偿器270的第二输入端信号通信连接。 运动估计器275的第二输出端与熵编码器245的第三输入端信号通信连接。

运动补偿器270的输出端与开关297的第一输入端信号通信连接。帧内 预测模块260的输出端与开关297的第二输入端信号通信连接。宏块类型判 定模块220的输出端与开关297的第三输入端信号通信连接。开关297的第 三输入端确定开关的“数据”输入端（与控制输入端相比，即，第三输入） 是否由运动补偿器270提供还是由帧内预测模块260提供。开关297的输出 端与组合器219的第二非反相输入端和组合器285的反相输入端信号通信连 接。

帧排序缓冲器210的第一输入端和编码器控制器205的输入端可用作编 码器200的输入端，用于接收输入画面。此外，辅助增强信息（SEI）插入器 230的第二输入端可以用作编码器200的输入端，用于接收元数据。输出缓 冲器235的输出端可以用作编码器200的输出端，用于输出比特流。

转到图3，参考标号300整体表示可以应用本原理的示例性视频解码器。 视频解码器300可以被用作例如图1所示的视频解码器153。视频解码器300 包括具有输出端的输入缓冲器310，该输出端与熵解码器345的第一输入端 信号通信连接。熵解码器345的第一输出端与逆变换器和逆量化器350的第 一输入端信号通信连接。逆变换器和逆量化器350的输出端与组合器325的 第二非反相输入端信号通信连接。组合器325的输出端与去块滤波器365的 第二输入端和帧内预测模块360的第一输入端信号通信连接。去块滤波器365 的第二输出端与参考画面缓冲器380的第一输入端信号通信连接。参考画面 缓冲器380的输出端与运动补偿器370的第二输入端信号通信连接。

熵解码器345的第二输出端与运动补偿器370的第三输入端、去块滤波 器365的第一输入端、和帧内预测器360的第三输入端信号通信连接。熵解 码器345的第三输出端与解码器控制器305的输入端信号通信连接。解码器 控制器305的第一输出端与熵解码器345的第二输入端信号通信连接。解码 器控制器305的第二输出端与逆变换器和逆量化器350的第二输入端信号通 信连接。解码器控制器305的第三输出端与去块滤波器365的第三输入端信 号通信连接。解码器控制器305的第四输出端与帧内预测模块360的第二输 入端、运动补偿器370的第一输入端和参考画面缓冲器380的第二输入端信 号通信连接。

运动补偿器370的输出端与开关397的第一输入端信号通信连接。帧内 预测模块360的输出端与开关397的第二输入端信号通信连接。开关397的 输出端与组合器325的第一非反相输入端信号通信连接。

输入缓冲器310的输入端可用作解码器300的输入端，用于接收输入比 特流。去块滤波器365的第一输出端可以用作解码器300的输出端，用于输 出输出画面。

转到图4，参考标号400整体表示基于块的混合分辨率数据修剪的示例 性系统。系统400包括具有输出端的划分器405，该输出端与待修剪块识别 器410的输入端信号通信连接。待修剪块识别器410的第一输出端与块替换 器415的输入端信号通信连接。待修剪块识别器410的第二输出端与元数据 编码器420的输入端信号通信连接。划分器405的输入端可用作系统400的 输入端，用于接收要划分成若干非重叠块的原始视频。块替换器415的输出 端可用作系统400的输出端，用于输出混合分辨率视频。元数据编码器的输 出端可以用作系统400的输出端，用于输出已编码元数据。

转到图5，参考标号500整体表示用于视频压缩的基于块的混合分辨率 数据修剪的示例性方法。在步骤505，输入视频帧。在步骤510，将视频帧划 分成若干非重叠块。在步骤515，对每个块执行循环。在步骤520，确定是否 修剪当前块。如果是，则方法前进到步骤525。否则，方法返回步骤515。在 步骤525，将块修剪并且保存对应的元数据。在步骤530，确定是否完成了（正 在被处理的）所有块。如果是，则将控制传递到功能块535。否则，方法返 回到步骤515。在步骤530，输出已修剪帧和对应的元数据。

参照图4和图5，在修剪处理期间，首先将输入帧划分成若干非重叠块。 然后进行待修剪块识别处理以便识别可以修剪的可恢复块。将已修剪块的坐 标保存为元数据，将元数据编码并发送到解码器侧。使用低分辨率块或简单 平坦块来替代准备好修剪的块。结果是视频帧的一些块具有高分辨率，一些 块具有低分辨率（即，混合分辨率帧）。

转到图6，参考标号600整体表示用于基于块的混合分辨率数据修剪的 数据恢复的示例性系统。系统600包括具有输出端的划分器605，该输出端 与已修剪块识别器610的第一输入端信号通信连接。元数据解码器615的输 出端与已修剪块识别器610的第二输入端和块还原器620的第二输入端信号 通信连接。已修剪块识别器610的输出端与块还原器620的第一输入端信号 通信连接。划分器605的输入端可以用作系统600的输入端，用于接收要划 分成若干非重叠块的已修剪混合分辨率视频。元数据编码器615的输入端还 可以用作系统600的输入端，用于接收已编码元数据。块还原器620的输出 端可用作系统600的输出端，用于输出恢复的视频。

转到图7，参考标号700整体表示用于用于视频压缩的基于块的混合分 辨率数据修剪的数据恢复的示例性方法。在步骤705，输入已修剪混合分辨 率帧。在步骤710，将帧划分成若干非重叠块。在步骤715，对每个块执行循 环。在步骤720，确定当前块是否是已修剪块。如果是，则方法前进到步骤 725。否则，方法返回到步骤715。在步骤725，将块还原。在步骤730，确 定是否所有块都已经完成（正在被处理）。如果是，则方法前进到步骤735。 否则，方法返回到步骤715。在步骤715，输出恢复的帧。

参照图6和图7，在恢复处理期间，借助于元数据识别已修剪块。此外， 使用各种算法（诸如，修复）借助于或不借助于元数据使用块还原处理恢复 已修剪块。可以使用不是本原理所关注的不同的插入（plug-in）方法来替换 块还原或识别。即，本原理不基于任何特定的块还原和识别处理，并且因此， 在保持本原理的精神的同时，根据本原理的教导可以使用任何适当的块还原 和识别处理。

修剪处理

首先将输入视频帧划分成若干非重叠块。块大小可以变化，例如16乘 16像素或8乘8像素。但是，期望块划分与编码器所使用的相同，这样可以 达到最大压缩效率。例如，在根据国际标准化组织/国际电工委员会（ISO/IEC） 移动画面专家组4（MPEG-4）第10部分高级视频编码（AVC）标准/国际电 信联盟电信标准化部门（ITU-T）H.264建议书（下文中“MPEG-4AVC标准”） 的编码中，宏块是16乘16像素。因此，在涉及MPEG-4AVC标准的实施例 中，用于数据修剪的块大小优选地选择为16乘16像素。

对于每个块，块识别处理将确定该块是否应该修剪。虽然这可以基于各 种标准，但应该根据还原处理确定该准则。例如，如果使用修复方法来还原 块，那么准则应该为该块是否可以使用特定的修复处理来还原。如果可以通 过该修复处理恢复该块，那么将该块标记为待修剪块。

在识别待修剪块之后，将使用低分辨率块或平坦块来替代待修剪块，得 到混合分辨率帧。转到图8，参考标号800整体表示示例性混合分辨率帧。 从图8中可见，帧的一些部分具有高分辨率，而以平坦块替代了帧的一些部 分。在修剪过程中低分辨率或平坦块中的高频信号被除去。因此，可以更加 高效地编码低分辨率或平坦块。转到图9，参考标号900整体表示在空间频 率空间中示出的基于块的混合分辨率数据修剪处理的示例。平坦块基本上是 仅保留其DC分量的块，而低分辨率块是去除一些AC分量的块。实践中， 如果决定以平坦块替代已修剪块，则首先可能计算输入块的平均颜色，然后 将块内的所有像素的颜色设置成平均颜色。该处理等同于仅保留块的DC分 量。如果决定以低分辨率块替代已修剪块，将低通滤波器应用于输入块，并 且以低通滤波版本替代该块。无论使用平坦块还是低分辨率块，应该根据使 用什么类型的还原算法来确定低通滤波器的参数。

元数据编码和解码

为了正确还原已修剪块以便恢复处理，必须将如元数据所表示的块的位 置发送到解码器侧。一种简单方法是使用通用无损数据压缩算法来压缩位置 数据。但是，对于本系统，由于以下事实，有可能达到更好的压缩效率，即： 已修剪块为低分辨率或平坦块，并且低分辨率和平坦块可以通过检测该已修 剪块是否包括高频信号来识别。

假设已修剪块的最大频率是通过修剪和还原算法预定的Fm，那么有可能 计算大于最大频率Fm的信号分量的能量。如果能量小于阈值，那么该块是 潜在的已修剪块。这可以通过以下来达到，首先对块图像应用低通滤波器， 然后从输入块图像中减去已过滤的块图像，接着计算高频信号的能量。数学 上，存在以下：

E=|B-HB|    （1）

其中，E是高频信号的能量，B是输入块图像，H是具有带宽Fm的低通滤波 器，并且HB是B的低通滤波的版本。|.|是计算图像的能量的函数。

但是，以上描述的处理并不是百分之百可靠的，因为未修剪块也可能是 平坦或平滑的。因此，还有必要向解码器发送“残差”，即，假阳性（false  positive）块的坐标和被识别处理遗漏的块的坐标。

理论上，有可能向解码器侧发送那3个分量，即，阈值、假阳性块的坐 标以及遗漏块的坐标。但是，为了更加简化处理，在编码器侧，阈值可能变 化，以识别所有已修剪块。因此，没有遗漏的块。这个处理可能导致一些是 具有较低的高频能量的未修剪块的假阳性块。因此，如果假阳性块的数量大 于已修剪块的数量，那么仅发送所有已修剪块的坐标并且将信令标志设置为 0。否则，发送假阳性块的坐标并且将信令标志设置为1。

转到图10，参考标号1000整体表示用于元数据编码的示例性方法。在 步骤1005，输入已修剪帧。在步骤1010，进行低分辨率块识别。在步骤1015， 确定在低分辨率识别中是否存在任何遗漏。如果是，则方法前进到步骤1020。 否则，方法前进到步骤1050。在步骤1020，确定假阳性块是否比已修剪块多。 如果是，则方法前进到步骤1040。否则，方法前进到步骤1045。在步骤1040， 使用已修剪块序列，并且将标志设置为零。在步骤1025，进行差分。在步骤 1030，进行无损编码。在步骤1035，输出已编码元数据。在步骤1045，使用 假阳性序列，并且将标志设置为一。在步骤1050，调整阈值。

因此，提供了以下示例性元数据序列：

该“标志”分段是指示接下来的序列是假阳性块还是已修剪块的坐标的 二进制数。数值“阈值”用于使用公式（1）进行的低分辨率或平坦块识别。

转到图11，参考标号1100整体表示用于元数据解码的示例性方法。在步 骤1105，输入已编码元数据。在步骤1110，进行无损解码。在步骤1115，进 行逆差分。在步骤1120，确定是否标志=0。如果是，则方法前进到步骤1125。 否则，方法前进到步骤1130。在步骤1125，输出坐标序列。在步骤1130，进 行低分辨率块识别。在步骤1135，去除假阳性。在步骤1140，输出坐标序列。

继续参照图11，使用块坐标而不是像素坐标来发送块坐标到解码器侧。 如果帧中有M个块，则坐标序号范围应该从1到M。此外，如果块在还原处 理期间没有依赖关系，可以对块的坐标序号进行排序以使得它们成为序号递 增序列，使用差分编码方案来首先计算某个坐标序号与它前面一个序号之间 的差，并且编码该差序列。例如，假设坐标序列是3、4、5、8、13、14，差 分序列变成3、1、1、3、5、1。差分处理使数值接近1，因此导致数值分布 具有更小的熵。如果数据具有更小的熵，则根据信息论数据可以被编码成具 有更小的码长。得到的差分序列可以通过无损压缩方案（诸如，霍夫曼编码） 进一步编码。如果块在还原处理期间存在依赖关系，那么可以简单地跳过差 分处理。是否存在块的依赖关系实际是由还原算法的性质确定的。

在元数据解码处理期间，解码器侧处理器将首先使用接收到的阈值运行 低分辨率块识别处理。根据接收到的“标志”分段，元数据解码处理确定接 下来的序列是假阳性块序列还是已修剪块序列。如果块在还原处理期间没有 依赖关系，那么接下来的序列首先将被逆差分以生成坐标序列。如果，根据 “标志”，序列是已修剪块序列的坐标，则处理直接输出该序列作为结果。如 果是假阳性序列，则处理器侧处理将首先接收由低分辨率识别处理识别得到 的块序列，然后去除假阳性序列中包括的所有坐标。

应该理解的是，可以使用不同的元数据编码方案，诸如例如，直接发送 块ID到解码器侧。本领域一般技术人员在被给予本发明在此提供的教导的情 况下，可以轻易地构思出这些和其他变型。

还原处理

在解码已修剪视频之后进行还原处理。在还原之前，通过如在本说明书 中描述的解码元数据来获得已修剪块的位置。

对于每个块，进行还原处理以便恢复已修剪块中的内容。各种算法可用 于还原。还原的一个示例是图像修复，其通过从相邻像素内插来恢复缺失的 像素。在所提出的方法中，由于使用低分辨率块或平坦块替代了每个已修剪 块，并且可以将低分辨率块或平坦块传递的信息用作边信息来帮助恢复处理， 因此使得可以达到更高的恢复精度。块恢复模块可以被任何恢复方案取代， 诸如，基于传统修复和纹理综合的方法。转到图12，参考标号1200整体表 示示例性块ID。

基于这里的教导，相关领域的普通技术人员可以容易地确定本原理的这 些和其它特征及优点。应当理解，可以以硬件、软件、固件、专用处理器或 它们的组合的各种形式来实现本原理的教导。

最优选地，本原理的教导实施为硬件和软件的组合。此外，所述软件可 以实施为有形地实施在程序存储单元上的应用程序。所述应用程序可以被上 载到包括任何适当架构的机器并由其执行。优选地，在具有诸如一个或多个 中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”) 接口之类的硬件的计算机平台上实现所述机器。该计算机平台还可以包括操 作系统和微指令代码。在此描述的各种处理和功能可以是可由CPU执行的微 指令代码的一部分或应用程序一部分或者它们的任何组合。此外，诸如附加 的数据存储单元和打印单元之类的各种其它外围单元可以连接到该计算机平 台。

还应当理解，因为优选地用软件来实现在附图中示出的一些组成系统组 件和方法，所以这些系统组件或处理功能块之间的实际连接可以根据本原理 被编程的方式的不同而有所不同。给出这里的教导，相关领域的普通技术人 员将能够想到本原理的这些和类似的实现或配置。

尽管在这里参照附图描述了说明性实施例，但是应当理解，本原理不限 于那些精确的实施例，并且相关领域的普通技术人员可以在其中进行各种改 变和修改，而不背离本原理的范围或精神。所有这样的改变和修改都意欲被 包括在如所附权利要求阐述的本原理的范围内。