在灵活分块时利用图片边界填补的代码化和解码

摘要

存在包括基于源图片制备代码化单元的代码化。代码化单元与作为源图片的多边形的最大代码化树单元（LCTU）相关。在将LCTU处理为代码化单元时，利用树格式。该制备包括：基于将坐标系和源图片相互拟合，计算与坐标系中的源图片位置相关的效率测量。该制备包括：基于代码化效率目标确定源图片位置。该制备包括：确定填补区域。源图片和填补区域基于坐标系和所确定的源图片位置被划分为LCTU。LCTU基于树格式和均匀性规则被分块为代码化单元。还存在包括处理基于代码化单元生成的视频压缩数据的解码。

说明书

优先权

本申请还要求由Krit Panusopone等人于2010年10月1日提交的 名为“Flexible Picture Partitioning”的美国临时专利申请序列号 No.61/388,741、以及由Krit Panusopone等人也于2010年10月1日提 交的也名为“Flexible Picture Partitioning”的美国临时专利申请序列号 No.61/388,895的优先权的权益，其公开全部结合于此作为参考。

本申请要求由Krit Panusopone等人于2010年10月8日提交的名 为“Arbitrarily Padding”的美国临时专利申请序列号No.61/391,350的 优先权的权益，其公开全部结合于此作为参考。

相关申请的交叉参考

本申请涉及由Krit Panusopone等人于2011年9月28日提交的名 为“Coding and Decoding Utilizing Picture Boundary Variability in  Flexible Partitioning”的美国专利申请序列号No.13/247190，其要求由 Krit Panusopone等人于2010年10月1日提交的名为“Flexible Picture  Partitioning”的美国临时专利申请序列号No.61/388,741和由Krit  Panusopone等人也于2010年10月1日提交的也名为“Flexible Picture  Partitioning”的美国临时专利申请序列号No.61/388,895的优先权，其 公开全部结合于此作为参考。

背景技术

视频压缩利用块处理用于多个操作。在块处理中，相邻像素的块 被分组为代码化单元，并且压缩操作将该组像素处理为一个单元，以 利用在代码化单元内的相邻像素之间的相关性。理论上，较大代码化 单元通常是优选的，以减少与处理多个较小代码化单元而不是用于图 片的相同部分的一个较大代码化单元相关的开销。因为与同处理单个 较大代码化单元相关的发送信息相关的带宽通常较低，较大代码化单 元也是优选的。

在较早视频压缩标准中利用8×8和16×16个像素的块大小的代码 化单元；例如，MPEG-1、MPEG-2以及MPEG-4AVC。在这些较早标 准中，代码化系统利用固定块大小用于块处理。基于固定块大小分块 图片相对简单。如果处理顺序被预先确定，诸如光栅扫描图案扫描顺 序，较早代码化系统仅依赖块索引来指定图片区域内的代码化单元的 位置。

高效视频代码化（HEVC）是被提出作为MPEG-4AVC的后继者 的新视频压缩标准。开发HEVC的一个目标在于标准化与MPEG-4 AVC的“高规格”相比的改进代码化效率。MPEG-4AVC的高规格与 高清晰度电视（HDTV）相关。开发HEVC的另一个目标在于减少发送 HDTV压缩的视频数据的位速率要求，同时还保持与MPEG-4AVC高 规格的可比较图像质量。

为HEVC做出的提议是包括与灵活块大小分块或简单灵活分块相 关的概念的那些。灵活分块通过利用与被分块图片的代码化单元相关 的大小的范围，增加超过固定块大小分块的灵活性。在灵活分块中， 图片最初被划分为等大小正方形块，被称为最大代码化树单元 （LCTU）。适于分块图片的LCTU的大小可以基本高于在较早标准中 使用的固定块大小。在图片被划分为一组LCTU之后，组中的各个 LCTU通常被分块为代码化单元，其通常包括大小的范围。然而，在一 些情况下，LCTU可以不被分块。在这些情况下，LCTU与具有等于 LCTU的尺寸的单个代码化单元相关。

LCTU的分块通常利用四叉树格式执行。四叉树格式是遵循具有 多层的树结构的递归分块处理。在顶层，完整LCTU是四叉树的双亲。 如果不存在分块，则完整LCTU也是代码化单元。在根据四叉树格式 的灵活分块中，双亲通常被划分为四个叶子。每个叶子表示双亲的等 尺寸象限并且是正方形块。四叉树中的叶子还可以形成代码化单元或 进一步被分块。被进一步分块的叶子是四叉树的下一层中的叶子的双 亲。

双亲LCTU的四叉树通常继续通过在不同层的一个或多个叶子被 递归地划分。在每层的未被分块的叶子通常形成不同尺寸的代码化单 元，所有都基于双亲LCTU。在每层的未被分块的叶子表示具有预定条 件的代码化单元，诸如，与代码化单元中的像素相关的均匀性的测量。 四叉树格式通常在视频处理应用中被利用，这是因为其表示图片的效 率。四叉树的递归性质通常几乎不要求开销来表示双亲LCTU的多种 尺寸代码化单元。

在被考虑的HEVC模型中，图片通常利用诸如笛卡尔（Cartesian） 坐标系的坐标系而被划分为LCTU。完整图片仅占用坐标系的单个象限 的最接近原点的部分。坐标系在与由图片边界描绘轮廓的图片相关的 一组LCTU中标记所有LCTU的位置。该组中的LCTU关于图片由坐 标系标记。而且，在单个象限的边界上，更接近坐标系的原点的轴的 长度接触图片的边界中的两个。根据这些HEVC模型的块处理具有特 定无效率（inefficiency）。

无效率的一个原因是因为图片边界问题。图片边界问题通常当图 片在落入远离坐标系轴定位的不完整LCTU中的区域中具有像素时产 生。因为固定图片的图片边界不延伸以填充这些边界问题LCTU，导致 这些LCTU不规则。这是通常当图片的高度或长度不是用于块处理该 图片的LCTU大小的尺寸的一些完整倍数时发生的边界问题。

无效率的另一个原因是因为LCTU关于图片的位置是固定的，四 叉树格式通常必须将LCTU递归地划分为非常小的代码化单元，以获 得与LCTU的所有被分块代码化单元中的像素相关的均匀性的测量。 较大数量的小代码化单元通常要求更高开销，以生成并且处理与图片 相关的所有代码化单元。而且，当被封装在压缩视频比特流中时，通 常要求更多带宽以发送与更大数量的小代码化单元相关的压缩数据。 然而，当坐标系内的图片的位置改变时，这通常增加与边界问题相关 的无效率，该边界问题通常偏移在通过坐标系内重新定位图片获得的 效率。

在被考虑的HEVC模型中，解决边界问题的尝试通常包括将边界 问题LCTU（即，这些LCTU包含图片的至少一些区域，以形成代码化 单元）的四叉树格式叶子迭代地分块，同时忽略不包含图片的区域的 边界问题LCTU中的叶子。利用包含图片的一部分的叶子重复分块， 直到这些被分块的叶子变为正方形为止。尝试解决边界问题的该方法 通常导致代码化效率的下降。其通常要求边界问题LCTU中的代码化 单元被分块为比最佳更小的块。当更大LCTU尺寸被利用时和/或当正 被分块的图片涉及较低视频分辨率时，这些情况下的代码化效率的降 低更普遍。

发明内容

根据本发明的原理，存在利用图片边界填补提供代码化和解码的 系统、方法和计算机可读介质（CRM）。通过利用图片边界填补，减 少灵活分块中的边界问题无效率。这些包括基于与LCTU和/或图片被 关于彼此自由地定位相关的边界问题的那些无效率，使得较大代码化 单元可以被分块。图片边界填补增加与生成和/或发送与利用图片边界 填补制备的代码化单元相关的视频压缩数据所要求的处理开销和/或带 宽相关的代码化效率。

根据本发明的第一原理，存在用于代码化的系统。该系统可以包 括：处理器，其被配置成基于源图片制备代码化单元。该制备可以包 括：基于将坐标系和一个或多个源图片相互拟合（fit），计算与坐标系 中的一个或多个潜在源图片位置相关的效率测量。该坐标系包括在平 面中的两个垂直轴，其在坐标系的原点处交叉的并且将平面划分为在 原点处会合的四个象限。该制备还可以包括：基于所计算的效率测量、 潜在源图片位置和代码化效率目标，确定在坐标系中用于源图片的源 图片位置。该制备还可以包括基于（一个或多个）所确定的源图片位 置确定一个或多个填补区域。该制备还可以包括基于所确定的源图片 位置，将源图片和（一个或多个）所确定的填补区域划分为多个LCTU。

根据本发明的第二原理，存在用于代码化的方法。该方法可以包 括：利用处理器基于源图片制备代码化单元。该制备可以包括：基于 将坐标系和一个或多个源图片相互拟合，计算与坐标系中的一个或多 个潜在源图片位置相关的效率测量。该坐标系包括在平面中的两个垂 直轴，其在坐标系的原点处交叉并且将平面划分为在原点处会合的四 个象限。该制备还可以包括：基于所计算的效率测量、潜在源图片位 置和代码化效率目标，确定在坐标系中用于源图片的源图片位置。该 制备还可以包括：基于（一个或多个）所确定的源图片位置，确定一 个或多个填补区域。该制备还可以包括：基于所确定的源图片位置， 将源图片和（一个或多个）所确定的填补区域划分为多个LCTU。

根据本发明的第三原理，存在存储计算机可读指令的非暂时 CRM，当由计算机系统执行时，该计算机可读指令执行用于代码化的 方法。该方法可以包括：利用处理器基于源图片制备代码化单元。该 制备可以包括：基于将坐标系和一个或多个源图片相互拟合，计算与 坐标系中的一个或多个潜在源图片位置相关的效率测量。该坐标系包 括在平面中的两个垂直轴，其在坐标系的原点处交叉并且将平面划分 为在原点处会合的四个象限。该制备还可以包括：基于所计算的效率 测量、潜在源图片位置和代码化效率目标，确定在坐标系中用于源图 片的源图片位置。该制备还可以包括：基于（一个或多个）所确定的 源图片位置，确定一个或多个填补区域。该制备还可以包括：基于所 确定的源图片位置，将源图片和（一个或多个）所确定的填补区域划 分为多个LCTU。

根据本发明的第四原理，存在用于解码的系统。系统可以包括： 接口，其被配置成接收视频压缩数据。该系统还可以包括：处理器， 其被配置成处理所接收的视频压缩数据。所接收的视频压缩数据可以 基于代码化单元、基于源图片。代码化单元可以通过以下步骤制备， 该步骤包括：基于将坐标系和至少一个源图片相互拟合，计算与坐标 系中的至少一个潜在源图片位置相关的效率测量。该坐标系可以包括 在平面中的两个垂直轴，其在坐标系的原点处交叉并且将平面划分为 在原点处会合的四个象限。该步骤还可以包括：基于所计算的效率测 量、潜在源图片位置和代码化效率目标，确定在坐标系中用于源图片 的源图片位置。该步骤还可以包括：基于所确定的源图片位置，确定 一个或多个填补区域。该步骤还可以包括：基于所确定的源图片位置， 将源图片和（一个或多个）所确定的填补区域划分为多个LCTU。该步 骤还可以包括：分块多个LCTU的LCTU，以形成所制备的代码化单元。

根据本发明的第五原理，存在用于解码的方法。该方法可以包括 接收视频压缩数据。该方法还可以包括：利用处理器处理所接收的视 频压缩数据。所接收的视频压缩数据可以基于代码化单元、基于源图 片。代码化单元可以由以下步骤制备，该步骤包括：基于将坐标系和 至少一个源图片相互拟合，计算与坐标系中的至少一个源图片位置相 关的效率测量。该坐标系可以包括在平面中的两个垂直轴，其在坐标 系的原点处交叉并且将平面划分为在原点处会合的四个象限。该步骤 还可以包括：基于所计算的效率测量、潜在源图片位置和代码化效率 目标，确定在坐标系中用于源图片的源图片位置。该步骤还可以包括： 基于所确定的源图片位置，确定一个或多个填补区域。该步骤还可以 包括：基于所确定的源图片位置，将源图片和（一个或多个）所确定 的填补区域划分为多个LCTU。该步骤还可以包括：分块多个LCTU的 LCTU，以形成所制备的代码化单元。

根据本发明的第六原理，存在存储计算机可读指令的CRM，当由 计算机系统执行时，该计算机可读指令执行用于解码的方法。该方法 可以包括：接收视频压缩数据。该方法还可以包括：利用处理器处理 所接收的视频压缩数据。所接收的视频压缩数据可以基于代码化单元、 基于源图片。代码化单元可以由以下步骤制备，该步骤包括：基于将 坐标系和至少一个源图片相互拟合，计算与坐标系中的至少一个潜在 源图片位置相关的效率测量。该坐标系包括在平面中的两个垂直轴， 其在坐标系的原点处交叉并且将平面划分为在原点处会合的四个象 限。该步骤还可以包括：基于所计算的效率测量、潜在源图片位置和 代码化效率目标，确定在坐标系中用于源图片的源图片位置。该步骤 还可以包括：基于所确定的源图片位置，确定一个或多个填补区域。 该步骤还可以包括：基于所确定的源图片位置，将源图片和（一个或 多个）所确定的填补区域划分为多个LCTU。该步骤还可以包括：分块 多个LCTU的LCTU，以形成所制备的代码化单元。

这些和其他目标根据提供利用图片边界填补代码化和解码的系 统、方法和CRM的发明的原理实现。进一步特征、它们的性质和各种 优点将从附图和优选实施例的以下详细说明变得更明显。

附图说明

参考附图，根据以下说明，示例和公开的特征对于本领域技术人 员来说是明显的，其中：

图1是示出根据示例的利用图片边界可变性的代码化系统和解码 系统的框图；

图2是示出根据示例的在坐标系中具有图片边界填补的固定图片 边界的图形；

图3是根据示例的在坐标系中具有图片边界填补的部分偏移图片 边界；

图4是根据示例的在坐标系中具有图片边界填补的完全偏移图片 边界；

图5是示出根据示例的用于利用图片边界填补制备代码化单元的 方法的流程图；

图6是示出根据示例的用于利用图片边界填补代码化的方法的流 程图；

图7是示出根据示例的用于利用图片边界填补解码的方法的流程 图；以及

图8是示出根据示例的提供用于利用图片边界填补用于代码化的 系统和/或用于解码的系统的平台的计算机系统的框图。

具体实施方式

为了简单和说明的目的，本发明通过主要参考其实施例、原理和 示例描述。在以下说明中，大量特定细节被阐述，以提供示例的彻底 理解。然而，显而易见的是，可以在不限于这些特定细节的情况下实 现实施例。在其他情况中，一些方法和结构不被详细地描述，以便不 非必要地模糊说明书。而且，以下描述不同实施例。实施例可以以不 同组合被一起使用或执行。

如在此使用的，术语“包括”是指“包括至少一个”，但是不限 于术语“仅包括”。术语“基于”是指“至少部分地基于”。术语“图 片（picture）”是指等效于帧或等效于与帧相关的字段的图片，诸如， 作为交错视频帧的两组交错线中的一个的字段。术语“代码化”可以 指未压缩视频比特流的编码。术语“代码化”还可以指将压缩视频比 特流从一种压缩格式转码为另一种。

如以下示例和实施例中描述的，存在用于利用图片边界填补代码 化和解码的系统、方法、以及存储在计算机可读介质（例如，CRM） 上的机器可读指令。参考图1，公开了一种内容分发系统100，包括利 用与从视频帧或图片制备代码化单元相关的图片边界填补的代码化系 统110和解码系统140。根据示例，在生成视频压缩数据时利用所制备 的代码化单元。在图片边界填补的以下详细说明之后，以下更详细地 描述代码化系统110和解码系统140。

图2是可以根据默认模式基于最大代码化树单元（LCTU）被分块 的图片的示例。在默认模式下，作为坐标系位所（locus）的叠加坐标 系的原点一直定位在作为源图片位所的固定图片边界的角处，其可以 拟合至平面中的坐标系。在图2中，与图片的左上角相关的源图片位 所与在叠加坐标系的原点（0,0）处出现的坐标系位所重合。这出现在 默认模式下，使得与同源图片相关的多个最大代码化树单元中的源图 片角最大代码化树单元（即，在源图片的角处发生的LCTU）的角重合。 默认模式可以基于效率测量来选择，该效率测量基于诸如均匀性目标 和/或边界问题的这样的因素确定图片位置是最有效的。

参考图2，公开了图片的固定图片边界200（即，粗线矩形）。诸 如视频序列中的图片的图片的外围可以通过固定图片边界200描述。 坐标系可以具有原点（0,0）、水平“x-轴”和垂直“y-轴”。固定图 片边界200可以由坐标系的单个象限叠加。象限可以通过坐标系的两 个轴描述。

每个轴都可以通过由沿着每个数线分离标记点的等同线长度的数 线描述。垂直于每个标记点的线的交叉点可以描述诸如正方形、矩形 等的多边形的角。每个多边形可以表示与固定图片边界200内的图片 的区域相关的LCTU。多边形的每侧可以表示LCTU侧长度。描述每个 轴的数线的标记点可以是LCTU侧长度的值的倍数的绝对值。例如， 视频序列中的所有图片可以通过首先被划分为具有诸如64×64像素、 128×128像素等的LCTU尺寸的正方形LCTU而被分块。

在图2的示例中，固定图片边界200和坐标系相在关于彼此的位 置处被固定。描述LCTU的位置的坐标系被叠加在固定图片边界200 之上，使得坐标系的单个象限的x-轴和y-轴一直与图片的图片边界的 一侧重合。在该情况下，坐标系的原点（0,0）还与图片边界200的角 重合。接近原点的LCTU通过与固定图片边界200相关的图片的相应 正方形区域填充，离原点最远的列和行中的LCTU仅通过图片的区域 被部分填充。这些部分填充的LCTU是边界问题LCTU。

在确定LCTU的位置时使用的坐标系可以关于源图片一直以此方 式叠加。如果对坐标系关于源图片的图片边界的布置没有其他考虑， 则在边界问题LCTU中的四叉树格式叶子被迭代地分块以形成被填充 的正方形叶子之前和/或在关于在这些LCTU的代码化单元内的像素达 到均匀性规则之前，通过该布置确定的边界问题LCTU可能生成更大 数量的代码化单元。

如果LCTU的布置未能考虑视频序列的图片中的对象的位置，则 可能要求更大数量的较小代码化单元以达到均匀性规则。或者在另一 个示例中，如果LCTU的布置未能考虑视频序列的图片内的运动的位 置，这也可能发生。在一种情况下，LCTU的分块可能导致更大数量的 较小代码化单元，这要求更多开销以生成并且处理与图片相关的所有 代码化单元。而且，当被封装在压缩视频比特流中时，可以要求更多 带宽来发送与更大数量的较小代码化单元相关的压缩数据。

图2示出根据示出固定图片边界200的示例的默认模式。在图2 中描述的默认模式下，更接近叠加在固定图片边界200上的坐标系的 轴的所有LCTU与完全填充这些LCTU的正方形区域的图片的区域相 关。然而，在沿着x-轴的第11个LCTU处出现的LCTU是边界问题 LCTU。在沿着y-轴的第7个LCTU处出现的LCTU也是边界问题 LCTU。边界问题LCTU是不完整或部分填充的LCTU，并且可能具有 小于其与图片相关的LCTU区域的100%的任何部分。根据图2中例示 的示例，边界问题LCTU具有与其在视频序列中的图片的任何部分相 关的LCTU区域的50%或更少。注意，位于在（10.5LCTU x，6.5LCTU y）处出现的固定图片边界200的外角处的边界问题LCTU仅具有与图 片的任何部分相关的其LCTU区域的25%。默认模式可以基于确定与 所制备的代码化单元中的像素相关的均匀性目标来选择。然而，如果 在不考虑分块这些LCTU时的边界问题的情况下布置固定图片边界 200，这还可能导致生成更大数量的较小代码化单元。

然而，用于图2中描述的默认模式源图片定位的潜在边界问题通 过图片边界填补解决。根据示例，图2中的图片边界填补包括右填补 区域201和底部填补区域202。右下角LCTU可以被填补，如图2中所 示，或者填补区域可以重叠等。填补区域操作，以通过在每个边界问 题LCTU的不完整LCTU区域中，对于否则不存在像素的填补区域的 像素区域添加像素值来解决边界问题。所添加的像素值可以简单地重 复用于边界问题LCTU的最后记录像素值，和/或可以利用虚设像素值。 然后，边界问题LCTU在不进行初步迭代分块的情况下被分块，以形 成被填充的正方形叶子。注意，在图2中所示的填补区域中，右填补 区域201包括在（11LCTU x，7LCTU y）处的位所，其与离距原点源 图片角LCTU的最远处的原点角（origin corner）的最远处重合。在默 认模式下，与离距原点源图片角LCTU的最远处的原点角的最远处重 合的位所是填补区域的一部分。

参考图3，示出部分偏移图片边界300作为可以根据角模式被灵 活分块的图片的示例。在角模式下，LCTU可以基于确定与所制备的代 码化单元中的像素相关的均匀性目标而关于图片定位。该确定包括： 坐标系关于其被叠加在的图片的位置的一些考虑。均匀性目标的确定 可以包括多种因素的考虑，包括目标的位置或视频序列的图片中的运 动。在角模式下，源图片位置的第一位所出现在到最接近原点定位的 第一源图片角最大代码化树单元的距原点角的最近处。第一位所可以 与坐标系的原点分离偏移距离。在图3中，第一位所出现在（0.5LCTU x，0.5LCTU y）处。根据示例，角模式可以与默认模式重合。在该情 况下，第一位所与原点重合。在角模式下，第二位所与还与第二源图 片角LCTU的离原点角的最远处重合的第二源图片角LCTU的角重合。 在图3中，一个第二位所出现在（11LCTU x，7LCTU y）处。其他第 二位所可以出现在另外两个源图片角LCTU处。在图3中，这些出现 在（11LCTU x，1LCTU y）和（0.5LCTU x，7LCTU y）处。所有这 两个位所都与在源图片角处形成LCTU的角的交汇点重合。

根据示例，图3中的潜在边界问题通过包括左填补区域301和顶 部填补区域302的图片边界填补解决。作为边界问题LCTU的左上源 图片角LCTU可以如图3中所示被填补，或者填补区域可以重叠等。 然后，边界问题LCTU在不进行初步迭代分块的情况下被分块，以形 成被填充的正方形叶子。与图片边界相关的图片和坐标系和填补区域 其他如以上参考图2描述。注意，在图3中描述的填补区域中，左填 补区域301包括在与原点重合的（0,0）处的位所。在角模式下，与原 点重合的位所是填补区域的一部分。

在角模式下，基于确定远离原点的图片边界布置的移位将增加代 码化效率，离坐标系的原点最远定位的图片边界的外角可以被拟合至 坐标系中的LCTU的外角。在部分偏移图片边界300中，坐标系位所 和图片边界位所在坐标对（11LCTU x，7LCTU y）处重合。角模式增 加代码化效率，同时利用非常少的开销。根据示例，角模式可以仅要 求2比特开销，以指示与坐标系中的部分偏移图片边界300相关的水 平移位和/或垂直移位的方向。

参考图4，示出完全偏移图片边界400（即，粗线矩形）作为可以 根据显式模式被灵活分块的图片的示例。坐标系中的图片的外围可以 通过完全偏移图片边界400描述。根据示例，图4中的潜在边界问题 通过包括左填补区域401、顶部填补区域402、右填补区域403和底部 填补区域404的图片边界填补来解决。源图片角边界问题LCTU可以 如图4中所示地被填补，或者填补区域可以重叠等。然后，边界问题 LCTU在不进行初步迭代分块的情况下被分块，以形成被填充的正方形 形状叶子。坐标系和图片、以及填补区域其他如以上参考图2和图3 描述。注意，在图4中示出的填补区域中，左填补区域401包括在与 原点重合的（0,0）处的位所，并且右填补区域403包括在（12LCTU x， 8LCTU y）处的位所。这些位所与坐标系的原点和与离距原点源图片 角LCTU的最远处的原点角的最远处重合的点中的一个重合。在显式 模式下，这两个位所中的至少一个可以在填补区域中找到。

在图4中所示的示例中，与坐标系相关的图片关于彼此自由地定 位。基于均匀性确定，完全偏移图片边界400可以远离原点（0,0）和/ 或LCTU侧移位，如图4中所示。显式模式包括完全偏移图片边界400 的高度准确布置，并且可以以任何期望准确度设置，诸如，1个像素间 隔、4个像素间隔、8个像素间隔、16个像素间隔等。可以利用图片分 析来确定用于显示模式下的灵活分块的偏移矢量。偏移矢量可以包括 通过图片边界的一侧关于两个轴中的一个轴的角定向而在象限内定位 图片，诸如，在象限内在坐标系的平面中旋转图片，以基于诸如与诸 如图片中的对象或背景的图片的特征相关的纹理或运动的一些方面来 增加代码化效率。

因为在不增加边界问题无效率的情况下，所制备的代码化单元更 可能被拟合至源图片中的图片内容，利用图片边界填补的灵活分块可 以提高代码化效率。例如，源图片可以包含在底部的简单背景区域和 到顶部的更详细区域。在该情况下，利用图片边界填补的灵活分块可 以制备与源图片的底部中的背景相关的更大代码化单元，并且从而在 不增加边界问题无效率的情况下，提供更高代码化效率。代码化系统 或设备可以分析图片内容，以确定图片边界偏移和边界填补区域代码 化标准，以改进源图片的灵活分块。

再次参考图1，代码化系统110包括输入接口130、控制器111、 计数器112、帧存储器113、编码单元114、发送器缓存器115和输出 接口135。解码系统140包括接收器缓存器150、解码单元151、帧存 储器152和控制器153。代码化系统110和解码系统140经由包括压缩 比特流105的发送路径相互耦合。代码化系统110的控制器111基于 接收器缓存器150的容量控制将被发送的数据量，并且可以包括诸如 每单位时间的数据量的其他参数。控制器111控制编码单元114，以防 止发生解码系统140的所接收信号解码操作的故障。控制器111可以 是处理器，或者包括例如具有处理器、随机存取存储器和只读存储器 的微型计算机。

从例如内容提供商提供的源比特流120可以包括帧的视频序列， 其包括视频序列中的源图片。源比特流120可以被解压缩或压缩。如 果源比特流120被解压缩，则代码化系统110可以与代码化功能相关。 如果源比特流120被压缩，则代码化系统110可以与转码功能相关。 编码单元可以利用控制器111从源图片得到。帧存储器113可以具有 第一区域和第二区域，第一区域可以用于存储来自源比特流120的输 入源图片，并且第二区域可以用于读出源图片并且将它们输出到编码 单元114。控制器111可以将区域切换控制信号123输出到帧存储器 113。区域切换控制信号123可以指示将利用第一区域还是第二区域。

控制器111将编码控制信号124输出到编码单元114。编码控制 信号124使编码单元114开始编码操作，诸如，基于源图片制备代码 化单元。响应于来自控制器111的编码控制信号124，编码单元114开 始将所制备的代码化单元读出到高效率编码处理，诸如，预测代码化 处理或变换代码化处理，其处理所制备代码化单元，生成基于与代码 化单元相关的源图片的视频压缩数据。

编码单元114可以将所生成的视频压缩数据封装在包括视频包的 被封装基本流（PES）中。编码单元114可以使用控制信息和程序时间 戳（PTS）将视频包映射至编码视频信号122，并且编码视频信号122 可以被信号发送至发送器缓存器115。

包括所生成的视频压缩数据的编码视频信号122可以被存储在发 送器缓存器114中。信息量计数器112递增，以指示发送缓存器115 中的总数据量。当从缓存器检索并且移除数据时，计数器112可以递 减，以反映发送器缓存器114中的数据量。被占用区域信息信号126 可以被发送至计数器112，以指示来自编码单元114的数据是否已被添 加或从发送缓存器115移除，使得计数器112可以递增或递减。控制 器111可以基于可以被通信的被占用区域信息126来控制由编码单元 114产生的视频包的产生，以防止在发送器缓存器115中发生上溢或下 溢。

信息量计数器112可以响应于由控制器111生成并且输出的重置 信号128而被重置。在信息计数器112被重置之后，可以对通过编码 单元114输出的数据计数，并且获得已被生成的视频压缩数据和/或视 频包的量。然后，信息量计数器112可以为控制器111提供表示所获 得的信息量的信息量信号129。控制器111可以控制编码单元114，使 得在发送器缓存器115处不存在溢出。

解码系统140包括输入接口170、接收器缓存器150、控制器153、 帧存储器152、解码单元151、以及输出接口175。解码系统140的接 收器缓存器150可以基于来自源比特流120的源图片，暂时存储包括 所接收的视频压缩数据和视频包的压缩比特流105。解码系统140可以 在所接收数据中读取与视频包相关的出现时间戳信息和控制信息，并 且输出被应用至控制器的帧数信号163。例如，每次解码单元151完成 解码操作时，控制器153可以以预定间隔管理帧的计数。

当帧数信号163指示接收器缓存器150处于预定容量时，控制器 153可以将解码开始信号164输出到解码单元151。当帧数信号163指 示接收器缓存器150小于预定容量时，控制器153可以等待帧的计数 变为等于预定量的情况的发生。当帧数信号163指示接收器缓存器150 处于预定容量时，控制器153可以输出解码开始信号164。编码视频包 和视频压缩数据可以基于与编码视频包相关的出现时间戳，按照单调 顺序（即，增加或减小）被解码。

响应于解码开始信号164，解码单元151可以将总计与帧相关的 一个图片的数据和与同来自接收器缓存器150的视频包相关的图片相 关的压缩视频数据解码。解码单元151可以将解码视频信号162写入 帧存储器152。帧存储器152可以具有写入经解码的视频信号的第一区 域、以及被用于将解码比特流160读出到输出接口175的第二区域。

以上描述的与图片边界填补相关的不同模式（例如，默认模式、 角模式、显式模式）可以在考虑通过对压缩比特流105中的视频包的 头部的语法改变的情况下，通过HEVC模型实现。语法改变可以在视 频序列的不同层实现，诸如，在序列、图片和/或片段层（slice layer）。

表1以粗体突出显示示出可以在序列层处在HEVC头部中实现的 语法改变。

表1-在序列层处的语法改变。

表II以粗体突出显示示出可以在图片层处的HEVC头部中实现的 语法改变。

表II-在图片层处的语法改变。

表III以粗体突出显示示出可以在片段层处的HEVC头部中实现的 语法改变。

表III-在片段层处的语法改变。

可以通过表I-III中的语法改变利用的语义包括： Arbitrarily_padding_enable_flag指定在序列、图片和/或片段中是否使用 任意填补。当任意填补被无效（arbitrarily_padding_enable_flag等于0） 时，所有填补参数都被设置为零。它们还包括Arbitrarily_padding_mode， 其指定序列、图片和/或片段的填补模式。当使用角模式（模式0）时， 填补参数被设置为由corner_padding_flag确定的固定距离。

如果corner_padding_flag等于0，则图片被填补为使得其原始左上 角LCTU与输入图片的左上角对准。这可能暗示top_padding_size和 left_padding_size被设置为0。

如果corner_padding_flag等于1，则图片被填补为使得其原始右上 角LCTU与输入图片的右上角对准。这可能暗示top_padding_size被设 置为零，并且left_padding_size被设置为pic_height_in_luma_samples- MaxCodingUnitSize     * [pic_height_in_luma_samples/MaxCodingUnitSize]。

如果corner_padding_flag等于2，则图片被填补为使得其原始左下 角LCTU与输入图片的左下角对准。这可能暗示left_padding_size被设 置为零，并且top_padding_size被设置为pic_width_in_luma_samples- MaxCodingUnitSize     * [pic_width_in_luma_samples/MaxCodingUnitSize]。

如果corner_padding_flag被设置为3，则图片被填补为使得其原始 右下角LCTU与输入图片的右下角对准。这可能意味着 top_padding_size被设置为pic_height_in_luma_samples- MaxCodingUnitSize*[pic_height_in_luma _samples/MaxCodingUnitSize]，并且left_padding_size被设置为 pic_width_in_luma_samples-MaxCodingUnitSize* [pic_width_in_luma_samples/MaxCodingUnitSize]。

当使用显式模式（模式1）时，输入图片可以通过水平地由 right_padding_size和left_padding_size并且垂直地由top_padding_size 和bottom_padding_size指示的量填补。

根据不同示例，代码化系统110可以与头端处的转码器或编码装 置结合或者否则与其相关，并且译码系统140可以与诸如移动设备、 机顶盒或转码器的下游设备结合或者否则与其相关。这些在制备代码 化单元中利用图片边界填补代码化和/或解码的方法中可以被单独或一 起利用。可以实现代码化系统110和解码系统140的各种方式以下关 于图5、图6和图7更详细地描述，其示出方法500、600和700的流 程图。

方法500是用于利用图片边界填补制备代码化单元的方法。方法 600是用于利用使用图片边界填补制备的代码化单元进行代码化的方 法。方法700是用于利用使用图片边界填补生成的压缩数据进行解码 的方法。方法500、600和700描述概括说明，并且可以添加其他步骤 并且可以去除、修改或重新布置现有步骤，而不脱离方法500、600和 700的范围，这对于本领域普通技术人员来说是显而易见的。方法500、 600和700的描述特别参考图1中描述的代码化系统110和解码系统 140。然而，将理解，在不脱离方法500、600和700的范围的情况下， 方法500、600和700可以在不同于代码化系统110和解码系统140的 系统和/或设备中实现。

参考图5中的方法500，在步骤501，与代码化系统110相关的控 制器111基于将坐标系和源图片相互拟合，计算与坐标系中的潜在源 图片位置相关的效率测量。

在步骤502，控制器111确定所计算的效率测量是否满足与代码 化效率目标相关的最小效率测量。

在步骤503，如果所计算的效率测量满足最小效率测量，则控制 器111基于所计算的效率测量、源图片和坐标系，确定坐标系中的潜 在源图片位置。

在步骤504，控制器111基于所确定的潜在源图片位置和代码化 效率目标中的一个或多个，确定实际源图片位置。

在步骤505，控制器111和编码单元114基于所确定的源图片位 置确定（一个或多个）填补区域。

在步骤506，控制器111基于所确定的实际源图片位置，将源图 片和（一个或多个）所确定的填补区域划分为多个LCTU。

在步骤507，控制器111基于与代码化单元中的像素相关的树格 式和均匀性规则，将多个LCTU的最大代码化树单元分块为至少一个 代码化单元。

参考图6中的方法600，在步骤601，代码化系统110的接口130 和帧存储器113接收包括源图片的源比特流120。

在步骤602，控制器111基于所接收的源图片制备代码化单元。 制备可以如以上关于方法500描述地执行。

在步骤603，控制器111和编码单元114处理所制备代码化单元， 生成基于经处理的代码化单元的视频压缩数据。

在步骤604，控制器111和编码单元114封装所生成的视频压缩 数据。

在步骤605，控制器111和发送器缓存器115经由接口135在压 缩比特流105中发送经封装的视频压缩数据。

参考图7中的方法700，在步骤701，解码系统140经由接口170 和接收器缓存器150接收包括视频压缩数据的压缩比特流105。

在步骤702，解码系统140经由接口170和接收器缓存器150接 收与视频压缩数据相关的剩余图片（residual picture）。

在步骤703，解码单元151和控制器153处理所接收的视频压缩 数据。

在步骤704，解码单元151和控制器153基于经处理的视频压缩 数据和所接收的剩余图片生成重构图片。

在步骤705，解码单元151和控制器153封装所生成的重构图片 并且将它们信号发送至帧存储器152。

在步骤706，控制器153经由接口175在经解码的信号180中信 号发送所生成的重构图片。

上述方法和操作中的一些或所有可以被提供为存储在计算机可读 存储介质上的诸如应用、计算机程序等的机器可读指令，计算机可读 存储介质可以是非暂时性的，诸如，硬件存储设备，或者是其他类型 的存储设备。例如，它们可以作为由以源代码、目标代码、可执行代 码或其他格式的程序指令构成的（一个或多个）程序存在。

计算机可读存储介质的示例包括传统计算机系统RAM、ROM、 EPROM、EEPROM、以及磁或光的盘或带。以上的具体示例包括程序 在CD ROM上的分布。从而，将理解，能够执行上述功能的任何电子 设备都可以执行以上列举的那些功能。

参考图8，示出可以在用于利用图片边界填补代码化或解码的系 统、诸如代码化系统100和/或解码系统200中被用作计算设备的平台 800。平台800还可以被用于上游编码装置、转码器、或诸如机顶盒、 手机、移动电话或其他移动设备的下游设备、可以利用图片边界填补 和基于图片边界填补制备的相关代码化单元的转码器以及其他设备和 装置。将理解，平台800的示图是概括示图，并且平台800可以包括 额外组件，并且所描述的一些组件可以被去除和/或修改，而不脱离平 台800的范围。

平台800包括：（一个或多个）处理器801，诸如，中央处理单 元；显示器802，诸如，监视器；接口803，诸如，单输入接口和/或到 局域网（LAN）、无线802.11x LAN、3G或4G移动WAN或WiMax WAN 的网络接口；以及计算机可读介质804。这些组件中的每一个都可操作 地耦合至总线808。例如，总线808可以是EISA、PCI、USB、FireWire、 NuBus、或PDS。

诸如CRM804的计算机可读介质（CRM）可以是参与将指令提供 给（一个或多个）处理器801用于执行的任何合适介质。例如，CRM804 可以是非易失性介质，诸如，光或磁盘；易失性介质，诸如存储器； 以及传输介质，诸如，同轴电缆、铜线、以及光纤。传输介质还可以 采用声、光、或射频波的形式。CRM804还可以存储其他指令或指令 集合，包括文字处理器、浏览器、电子邮件、即时消息、媒体播放器、 以及电话号码。

CRM804还可以存储操作系统805，诸如，MAC OS、MS WINDOWS、UNIX、或LINUX；应用程序806，网络应用程序、文字 处理器、电子表格应用程序、浏览器、电子邮件、即时消息、诸如游 戏或移动应用程序（例如，“apps”）的媒体播放器；以及数据结构管 理应用程序807。操作系统805可以是多用户的、多处理的、多任务的、 多线程的、实时的等。操作系统805还可以执行基本任务，诸如识别 来自接口803的输入、包括来自诸如键盘或小键盘的输入；将输出发 送至显示器802并且将文件和目录记录在CRM804上；控制外围设备， 诸如，盘驱动器、打印机、图像捕捉设备；以及管理总线808上的业 务。应用806可以包括用于建立和保持网络连接的多种组件，诸如， 用于实现包括TCP/IP、HTTP、以太网、USB、和FireWire的通信协议 的代码或指令。

诸如数据结构管理应用807的数据结构管理应用提供用于为非易 失性存储器建立/更新计算机可读系统（CRS）架构的各种代码组件， 如上所述。在特定示例中，由数据结构管理应用807执行的一些或所 有处理可以被集成到操作系统805中。在特定示例中，处理可以至少 部分地实现在数字电子电路、计算机硬件、固件、代码、指令集合、 或其任何组合中。

根据本发明的原理，存在提供用于在制备代码化单元中利用图片 边界可变性代码化和解码的系统、方法和计算机可读介质（CRM）。 通过利用图片边界可变性，LCTU可以关于图片自由地定位，使得它们 的相关代码化单元可以被分块，以增加与由用于利用图片边界可变性 代码化和解码的系统、方法和CRM要求的处理开销和/或带宽相关的 代码化效率。

虽然贯穿本公开的整体特别描述，但是典型示例在广泛范围的应 用都具有实用性，并且以上论述不用于并且不应该被解释为限制。在 此使用的术语、说明和附图仅通过示图阐述并且不意味着限制。本领 域技术人员将认识到，多种改变可以在示例的精神和范围内。虽然参 考示例描述了示例，但是本领域技术人员能够对所描述的示例做出多 种修改，而不脱离在以下权利要求及其等价物中描述的示例的范围。