使能够进行平滑质量转换的自适应流感知节点、编码器以及客户端

摘要

对于自适应流，视频项目在多个质量版本中可用。在所述不同质量版本中对应的视频切片(411，421；412，422)被预处理以包含用于相等图像部分的比特串。所述客户端(303)可请求所述视频项目的视频段借以在其请求中指定任何任意的被请求质量/比特率。随即自适应流感知节点(301)以匹配所述任意的被请求质量的比率为所述被请求的视频段从多个质量版本中成比例地选择视频切片/NAL单元(431，442)。所述自适应流感知节点(301)将包括所述成比例地选择的视频切片/NAL单元(431，442)的视频段流传输至所述客户端(303)。

说明书

技术领域

本发明一般地涉及视频段的自适应流，即，典型地具有数秒钟长度的 视频项目的固定大小或可变大小的片段，其可依据可用的网络及客户端资 源以不同版本或质量等级传送。本发明特别地旨在当网络或客户端资源变 化以致视频项目被请求的质量需要被改变时，平滑视频质量、比特率和播 出缓存器填充水平的波动。

背景技术

越来越多地使用自适应流(AS)技术来传送视频，像例如超文本传输 协议(HTTP)自适应流(HAS)。HAS的优势在于易于部署，因为其比 其他协议更容易穿过防火墙，具有从TCP继承来的内在的拥塞控制，以及 可使用可用的HTTP基础设施，例如HTTP缓存节点和内容分发网络 (CDN)节点。

使用自适应流，视频项目——例如视频文件或流——可被编码并且使 得在不同版本中可用。所述不同版本表示不同的质量等级和不同的比特率。 在特定的时间点，视频客户端基于其自身的测量估计最高可支撑的质量等 级，并且以此最高的可支撑质量等级请求视频项目。两个连续的转换时间 之间的间隔被称为视频段。与所述间隔对应的比特串——注意有多少质量 版本就有多少比特串——被称为组块(chunk)。换句话说，视频客户端 监测可用网络吞吐量，尤其是由传输控制协议(TCP)提供的吞吐量，并 且通过请求传送具有特定质量的视频段来设法针对可用的网络吞吐量为下 一视频段匹配视频比特率。因为被请求的比特率不能精确地匹配可用的比 特率，所述视频客户端需要维护播出缓存器以避免播出停顿或中断。

在传统HTTP自适应流情况中，每个段通过连同清单文件的HTTP服 务器而可用，所述清单文件在用于播出的可用质量等级和所需的段方面描 述了视频项目。所述视频客户端通过从所述HTTP服务器请求清单文件来 发起播出。所述视频客户端随后通过为每个段发送HTTP-GET请求，开 始下载所述视频段。在HTTP-GET请求中指定对每个视频段期望的质量。 另外，所述视频客户端合并了自动地确定每个被请求的视频段的质量等级 的客户端启发方法。由所述客户端启发方法进行的质量选择是基于上述被 监控的可用网络吞吐量，但还可考虑其他参数，如客户端终端规格，例如， 显示器尺寸、支持的解码器和客户端设备的处理能力，以及涉及正在继续 的会话的附加信息，例如客户端缓冲器的填充水平等等。

通常，所述视频项目的两个质量版本之间的转换导致对观看者来说非 常明显的质量跳变、非常显著的比特率跳变、以及非常大的播出缓冲区填 充水平波动，因此引起视频客户端启发方法再次转换。即使对于两个邻近 的质量版本，较高的质量/比特率版本可在很大程度上超过可用的网络吞吐 量，而较低的质量/比特率版本可能小于所述可利用的网络吞吐量。因此， 所述视频客户端算法将在所述两个邻近的质量版本之间经常转换，导致恼 人的质量跳变和观看体验。

用于上面明确的问题的直截了当的方案包括预测视频项目更多的质量 版本，并且相应地增加视频客户端的智能以改善转换之间的比特率的粒度。 然而此方案的缺点在于更多的每个视频项目的质量版本需要更多的视频服 务器中的存储能力及视频点播(VoD)环境中的中间节点，或者需要增加 至在实时流媒体环境中为视频客户端服务的节点的网络传输能力。

在多种的解决方案中避免了对需求的存储以及传输能力的增加，可在 视频服务器或中间CDN节点实施转码。当客户端请求时，通过解码和编 码，这样的转码功能可从现有的质量版本构建出新的质量版本。然而具有 转码器的多种解决方案需要视频服务器和中间CDN节点的处理能力的显 著增长以使得能够进行所述解码和编码。

本发明的目的在于公开自适应流感知网络节点、自适应流感知客户端、 以及视频编码器，其能够在没有显著影响视频服务器及CDN节点所需要 的存储能力或处理能力，并且没有影响所需要的网络传输能力的情况下， 解决上述确定的在传统自适应流中的比特率、缓存器填充水平以及质量方 面的高波动的技术问题。

发明内容

依据本发明，上述确定的目的通过由权利要求1限定的自适应流感知 网络节点实现，能够流传输视频项目的视频段至客户端，所述视频项目在 多个质量版本中可用，所述多个质量版本具有相同的图像纵横比，并且在 所述多个质量版本中对应的视频切片(video slice)被预处理以包含用于相 等图像部分的比特串，所述自适应流感知网络节点包括：

-请求接收装置，用于接收和解释来自客户端对视频项目的视频段的 请求，所述请求指定任意的被请求的质量；

-切片选择装置，用于按照与所述任意的被请求的质量匹配的比率从 所述多个质量版本中为视频段成比例地选择视频切片；

-流传输装置，用于将包括所述适当地选择出的视频切片的视频段流 传输至所述客户端。

因此，本发明预见以在视频服务器或中间节点中的机制来预测，为被 请求的视频段构建由客户端请求的任意质量的比特串或组块(chunk)。 所述比特串是通过在数量或比例方面挑选能够匹配所述请求的任意质量/ 比特率的现有的质量版本的视频切片来构建。这样的视频切片为能够被独 立地解码的宏块集合。宏块集合为如16x 16像素的基本块。与视频切片对 应的比特串被称为网络适配层(NAL)单元。本发明因此聪明地从例如所 述视频项目的两个邻近的质量版本中选择NAL单元以便为所述被请求的 视频段构建组块，并且匹配或接近所期望的任意质量等级，典型地为NAL 单元被选中并被适当地结合的质量版本之间的质量等级。

由于依照本发明的节点使用可用质量版本的视频切片，在NAL单元 选择处理中不需要进行解码和编码，并且因此视频服务器和/或CDN节点 中所需的处理能力没有受到消极地影响。由于不需预测和存储视频项目的 附加质量版本，在视频服务器和CDN中需要的整体存储能力以及整体网 络传输能力同样没有被影响。

为避免质量劣化，所述视频切片或NAL单元优选地可被独立地解码， 即，不依赖先前被解码的视频段的NAL单元，所述视频段已从所述视频 项目的质量/比特率版本中被选择出，其不同于当前被解码的视频切片或 NAL单元。为了获得能够被独立解码的NAL单元，有必要预先处理所述 视频项目的不同质量版本的视频切片以包含用于相同图像部分的比特串， 即，表示图像中相同区域的比特串。换句话说，虽然视频段与视频段之间 的所述切片不同，但视频切片必须跨不同的质量版本被排列(aligned)。 进一步优选地，编码与不同质量版本的视频帧对应的相同的运动矢量，以 及在不同质量版本中的帧模式转换是同步的，对此在文章后续中将阐释更 多的细节。对于本发明的进一步的先决条件为所述不同的质量版本拥有相 同的图像纵横比，即相同的宽/高比例，例如，4:3或16:9。

在依据本发明所述的自适应流感知网络节点的第一实施例中，由权利 要求2限定，所述切片选择装置适于从所述视频项目的第一质量版本或第 二质量版本中以相应地的概率随机地或伪随机地选择视频切片，所述相应 地的概率被确定以匹配所述任意的被请求的质量/比特率。

因此，在第一实施例中，所述视频切片被随机地或伪随机地以概率P 从所述视频项目的第一质量版本并且以概率(1-P)从第二质量版本中挑选。 所述第一质量版本和第二质量版本典型的地应为连续的质量版本，所述第 一质量版本具有比所述任意被请求的质量更低的质量/比特率，并且所述第 二质量版本具有比所述任意被请求的质量更高的质量/比特率。P应被这样 确定：使第一质量/第一比特率切片和第二质量/第二比特率切片的比例能 够匹配或接近所述任意被请求的质量。

在依照本发明所述的自适应流感知网络节点的第二实施例中，由权利 要求3限定，所述切片选择装置适于从第一质量版本选择所述视频项目的 第一数量的视频切片，并从第二质量版本选择所述视频项目的第二数量的 视频切片，所述第一数量和所述第二数量被确定以匹配所述任意被请求的 质量。

因此，在所述第二实施例中，所述视频切片以确定的方式从所述视频 项目的第一质量版本和第二质量版本被选出。再一次地，所述第一质量版 本和第二质量版本典型地应为连续的质量版本，所述第一质量版本具有比 所述任意被请求的质量更低的质量/比特率，并且所述第二质量版本具有比 所述任意被请求的质量更高的质量/比特率。所述第一质量/第一比特率切 片和所述第二质量/第二比特率切片的比例被确定以匹配或接近所述任意 被请求的质量。

在依照本发明所述的自适应流感知网络节点的第三实施例中，由权利 要求4限定，所述切片选择装置适于从所述视频项目的第一质量版本中选 择具有第一语义的第一数量视频切片，并从所述视频项目的第二质量版本 中选择具有第二语义的第二数量视频切片，所述第一数量和所述第二数量 被确定以匹配所述任意被请求的质量。

因此，在所述第三实施例中，所述视频切片同样是以确定的方式从所 述视频项目的第一质量版本和第二质量版本中选出。再一次的，所述第一 质量版本和第二质量版本典型地应为连续的质量版本，所述第一质量版本 具有比所述任意被请求的质量更低的质量/比特率，并且所述第二质量版本 具有比所述任意被请求的质量更高的质量/比特率。在所述第三实施例中， 对主观的质量体验影响较大的切片，例如前景的切片，应从所述较高质量/ 比特率的第二版本中挑选，相反，对主观的质量体验影响较小的切片，例 如背景的切片，应从所述较低质量/比特率的第一版本中挑选。换句话说， 在确定哪些切片应从所述第一版本中挑选和哪些切片应从所述第二版本中 挑选时，要考虑所述切片的语义(semantic meaning)。第一质量/第一比 特率的切片和第二质量/第二比特率的切片的比例被确定以匹配或接近所 述任意被请求的质量。

在依据本发明所述的自适应流感知网络节点的第四实施例中，所述视 频项目的第一质量版本和第二质量版本相差有理数(rational number)N'/N 的分辨率；并且实质上，对所述第一质量版本中的N×N宏块的方形和对 应的在所述第二质量版本中的N’×N’宏块的方形采取相等的编码决策。在 本发明的背景下，第一图像中的宏块集合(相应的切片)被称为与第二幅 图像的宏块集合(相应的切片)对应，如果两个集合覆盖所述图像的表面 区域的相同部分，则两个宏块集合被认为是相应的。所述第四实施例中的 切片选择可同样在所述第一、第二或第三实施例中实施。

因此，在所述第四实施例中，假设所述两个质量版本具有相差有理数 的分辨率。在这两种分辨率中的切片结构仍被选择以使得所述不同分辨率 的切片相对应，在某种意义上这些切片覆盖了两种不同的分辨率的图像的 表面区域的相同部分。此外，第四实施例中的编码处理被限制以使得对于 在第一质量版本中形成N²宏块的方形部分的宏块与相应的在第二质量版 本中形成N²宏块的方形部分的宏块，实质上采取相等的编码决定，例如， 选择尽可能相似的运动矢量，并且对于所有这些宏块选择相同的模式选择。 这样会导致较如第一实施例中的NAL单元挑选过程——即随机地以概率 P、如第二实施例——即以局部确定的方式、或如第三实施例——即考虑 切片的语义，为少的失真。

除了由权利要求1限定的自适应流感知网络节点之外，本发明涉及相 应的由权利要求6限定的用于将视频项目的视频段流传输至客户端的方法， 所述视频项目在多个质量版本中可用，所述多个质量版本拥有相同的图像 纵横比，并且在所述多个质量版本中的相应的视频切片被预处理以包含对 相等图像部分的比特流，所述方法包括：

-接收并解释来自客户端的对所述视频项目的视频段的请求，所述请 求指定任意被请求的质量；

-以匹配所述任意被请求的质量的比率，从所述多个质量版本中为所 述视频段成比例地选择视频切片；并且

-将包括所述成比例选择的视频切片的视频段流传输至客户端。

如权利要求7所限定的，本发明进一步涉及自适应流视频编码器，能 够以多个质量版本编码视频项目的视频段，所述多个质量版本具有相同的 图像纵横比，并且所述自适应流视频编码器适于编码对相等图像部分的多 个质量版本中相应的视频切片的比特串。

的确，由于本发明组合了视频项目的多个版本的视频切片以接近所述 任意的被请求的质量，所述不同版本中的对应的视频切片必须表示所述视 频项目中图像的相同区域。由视频切片表示的区域可为任何形状并且从帧 到帧之间是可变的，但是所述编码器必须以这样的方式预先处理所述不同 的版本，即视频项目的所有版本中的对应切片包含用于相同图像部分或表 面区域的比特串或组块。换句话说，所述视频项目的不同质量版本的切片 之间必须存在一对一的映射。否则，从所述视频项目的多种版本中挑选的 切片的任意选择将不能表示完整的图像或帧。

依照由权利要求8限定的可选的方面，依照本发明所述的自适应流视 频编码器可进一步适于在所述多种视频版本的对应视频帧中使用相等的运 动矢量。

所述不同的版本应包含I帧或能够被独立地解码的帧，即不需利用先 前已接收到的帧。由于所述视频切片在不同的版本间被对齐(aligned)， 所述I帧也被对齐(aligned)。其他类型的帧，即P帧或B帧，使用来自 先前已接收到的帧的信息以便被解码。所需的先前接收到的帧被运动矢量 所参考，其伴随着该帧并指出先前接收到的帧中的像素值。当实施本发明 时，即从多个质量版本中选择视频切片时，编码约束优选地为使得在与所 述不同版本的对应P和B切片中，运动矢量是相同的(考虑两个被考虑的 质量版本的分辨率之间的比例因子)。由于参考先前接收到的帧中的像素 需要依赖所述切片的选择，与来自所述视频项目的不同质量版本的相应切 片包含不同运动矢量的情况相比，这将降低噪音。

依照由权利要求9限定的另一可选方面，依照本发明所述的自适应流 视频编码器可进一步适于同步在所述多个质量版本中的帧模式转换。

的确，如果找不到可接收的用于P帧的运动矢量，例如在场景变化的 情况下无法使用来自先前已接收到的帧的信息生成/解码新帧，被编码为I 帧的帧可被独立地解码。当应用本发明时，这样的帧模式变化或帧模式转 换优选地同样跨所述不同的质量版本对齐以降低噪声。

除了由权利要求7限定的自适应流视频编码器之外，本发明还涉及对 应的用于以多个质量版本编码视频项目的视频段的方法，所述多个质量版 本具有相同的图像图像纵横比，并且所述方法包括编码用于相同图像部分 的多个质量版本中的对应视频切片的比特串。该方法由权利要求10限定。

本发明还进一步涉及如权利要求11限定的自适应流感知客户端，能够 请求、接收和解码视频项目的视频段，所述视频项目在多个质量版本中可 用，所述多个质量版本具有相同的图像内容比例，并且所述多个质量版本 中的对应的视频切片被预处理以包含对相等图像部分的比特串，所述自适 应流感知客户端包括：

-请求生成装置，用于生成所述视频项目的视频段的请求，所述请求 指定与任一所述多个质量版本都不一致的任意被请求的质量。

因此，依照本发明所述的自适应流感知客户端被允许请求任意质量的 视频段。不再限制为列于清单文件上的质量版本，而是可请求以任意中间 质量传送视频段。中间版本应随后由依照本发明的服务器以相对比例通过 从不同的现有质量版本选出切片来构建，以接近被请求的任意质量等级。 所述客户端应依据监测到的吞吐量、播出缓存器填充水平，以及可能的其 他参数来确定所述请求的质量等级，并且不再需要将被计算出的期望质量 等级/比特率映射至清单文件中列出的最接近的可用质量等级。

在依据本发明所述的自适应流感知客户端的进一步的实施例中，由权 利要求12所限定，所述客户端进一步包括：

-清单文件接收装置，用于接收和解释描述多个质量版本的视频项目 的视频切片的可用性的清单文件；

-逐切片质量选择装置，用于为视频段中的每个视频切片选择被请求 的质量版本，所述被请求的质量版本被以与所述任意被请求的质量匹配的 比率从所述多个质量版本中成比例地选择；

-请求生成装置，适于生成为每个视频切片指定被请求质量的请求。

因此，可设想(contemplated)本发明的实施例，其中用于从不同质 量版本按比例选择视频切片以接近任意的中间质量等级的智能被集成至客 户端而不是服务器。这样的客户端必须为每个视频切片发送指定质量等级 的请求。为了能够做到这样，所述客户端必须知晓所述多个质量等级，在 其中每个视频切片均可用。这样的信息可在清单文件中说明。为了为每个 视频切片选择质量版本，客户端可应用与上述用于本发明的服务器实现类 似的算法：可使用概率按比例地从不同质量版本选择切片、以确定的样式 按比例从不同质量版本选择切片、或者对他们的语义进行考虑，从不同质 量版本中将他们选出。

除了由权利要求11限定的自适应流感知客户端之外，本发明还涉及对 应的由权利要求13限定的用于请求、接收和解码视频项目的视频段的方法， 所述视频项目在多个质量版本中可用，所述多个质量版本具有相同的图像 图像纵横比，并且在所述多个质量版本中的对应视频切片被预处理以包含 对相等图像部分的比特串，所述方法包括：

-生成用于所述视频项目的视频段的请求，所述请求指定任意被请求 的质量，所述任意被请求的质量不与所述多个质量版本中的任意一个一致。

附图说明

图1示出了根据现有技术的位于HAS服务器和HAS客户端之间的自 适应视频流；

图2示出了根据本发明的通过HAS解码器进行的预处理；

图3示出了根据本发明的位于HAS服务器和HAS客户端之间的自适 应视频流；并且

图4示出了基于视频切片选择的语义，所述视频切片选择在依照本发 明的HAS感知服务器的实施例中进行。

具体实施方式

图1示出了依照现有技术的自适应流的技术问题。图1D展示了两个 邻近的质量等级116和117，其中视频项目被提供。HAS服务器101经由 所谓的清单文件，通知HAS客户端103存在质量等级116和117。图1A 中描绘了在多个连续的视频段期间与这些质量等级116和117中的每一个 相关联的比特率，并被分别标记为111和112。所述HAS客户端估计网络 102中可用的带宽或比特率。所述估计的可用带宽在图1B中被标记为113。 然后，所述HAS客户端103尝试根据所述估计的可用带宽113，通过请求 相应的质量等级中的连续视频段来匹配比特率114至可用比特率113。该 被请求的质量等级118由图1E示出。

在现有技术中，像116和117这样的两个邻近质量版本之间的转换常 常太过粗糙。这导致了在118中过于醒目的质量跳变和114中过于显著的 比特率跳变。两者中较高的比特率版本116大大超过了可用网络吞吐量， 而两者中较低的比特率版本117小于可用网络吞吐量。这导致大的视频播 放缓存器的波动，会引起HAS客户端130过于频繁地转换被请求的质量 等级。

本发明约束视频项目的编码过程，所述视频项目对于自适应流在多个 质量版本中可用，使得对视频项目的不同质量版本中对应的宏块集合或对 应的视频切片做出特定决策是相似的。这在图2中示出并在下述段落中进 一步的解释。

如果两个切片包含对应宏块的相同集合，在一个质量版本中的视频切 片对应在另一质量版本中的视频切片。当视频切片在两个质量版本中都覆 盖相同的相对表面区域时就是这种情况。除了在所述不同质量版本中的对 应的切片需包含对应的宏块之外，没有附加的约束。视频切片可为任意形 状并且从帧到帧是可变化的。例如在图2中，视频项目的第i个质量版本 中的帧201包含第一切片211和第二切片212，所述两个切片分别覆盖图 像表面区域的上半部分和下半部分。在第一切片211中绘制出宏块的集合 213和214。相同视频项目的第(i+1)个质量版本中的对应的帧202包含 第一切片221和第二切片222，所述两切片分别对应于帧201中的切片211 和212。视频切片221和222同样分别覆盖所述图像表面区域的上半部分 和下半部分。在视频切片221中绘制出宏块集合223和224，其分别对应 帧201中的宏块集合213和214。在另一例子中，第一切片可例如覆盖前 景(代替帧的上半部分)，并且另一切片可例如覆盖背景(代替帧的下半 部分)。前景和背景可从帧到帧发展(evolve)，并且因此由所述切片覆 盖的表面区域同样可从帧到帧发展(evolve)。

不同质量版本的纵横比，即不同质量版本中图像或帧的高/宽比例，被 假设为相同的。进一步假设(k，l)和(k’，l’)分别为视频项目的第i个和第(i+1) 个质量版本中的特定宏块的坐标。这样的宏块为像素的基本块并且包括例 如，在4:2:0的图像序列中的由16x16的方形亮度采样和两个对应的8x8 色度采样。如果第i个质量版本中的像素坐标(k，l)与第(i+1)个质量版本中 的像素坐标(k’,l’)服从关系：k/N＝k’/N’＝k”和l/N＝l’/N’＝l”，其中对(k”,l”) 与对应指定区域相关，其覆盖两个版本中的图像或帧的全部表面区域的相 同部分，那么第i个质量版本中的N²宏块集合对应第(i+1)个质量版本中的 N’²宏块集合。此处，N/N’表示视频项目的第i和第(i+1)个质量版本的分辨 率的比例，N和N’互质，即N和N’为没有公因数的整数值。进一步假设 RS_i<RS_i+1，其中RS_i为第i个质量版本的分辨率且RS_i+1为第(i+1)个质量版 本的分辨率。

对应宏块和切片的上述定义在图2中以N＝2和N’＝3示出。例如，第 i个质量版本的帧201中具有坐标(0，0)、(0，1)、(1，0)和(1，1)的宏块集 合213对应第(i+1)个质量版本的帧202中具有坐标(0，0)、(0，1)、(1，0)、 (1，1)、(1，2)、(2，0)、(2，1)和(2，2)的宏块集合223。如果不同的 质量版本有相同的分辨率，即，如果N＝N’，则对应的宏块为具有相同坐 标的宏块。

总之，本发明需要切片结构被选择，以使得视频项目的不同质量版本 之间对应的切片存在一对一的映射。特别地，不同质量版本中的切片必须 对应。

进一步注意到在HAS中，优选地每组块的第一帧为IDR或瞬间解码 刷新帧。这样的帧需要由I切片组成，因为在转换点，即在切片边缘，所 述帧需要在不参考前一帧的情况想可被解码。这是因为不确定所述帧的哪 一版本在客户端可用。

图3示出了本发明的实施。在图3D中，服务器301选出各自质量为 316和317的两个邻近质量版本的NAL单元或切片。对于访问单元k的每 个切片m_k(m_k＝1…M_k)——访问单元表示解码一幅图像所需的比特 串——需确定在所述邻近的质量版本316和317中的两个对应的NAL单 元中的哪一个将被选择。该选择过程可为随机的或可参考下面不同的实施 例所描述的特定规则来驱动。从第一质量版本316选择的NAL单元/切片 和从第二质量版本317中选择的NAL单元/切片的比率由客户端303参考 在网络302中监测的吞吐量请求的质量来确定。该被监测到的吞吐量或带 宽在图3B中记为313，而在连续的视频段期间与质量版本316和317对应 的比特率则在图3A中被记为311和312。因此，假设在清单文件中，声明 具有比特率R_i和R_i+1(有R_i<R_i+1)的两个质量/比特率版本。这些质量版本 具有分别对应的质量Q_i或317和Q_i+1或316。由服务器301对中间组块的 构建包括为每个切片从具有名义比特率R_i+1的版本选出NAL单元或从具 有名义比特率R_i的版本选出对应的NAL单元。如果NAL单元的部分P 从所述第一质量版本316选出，并且部分(1-p)从所述第二质量版本317 选出，则构建出名义比特率P.R_i+1+(1-P).R_i的组块，并且对应的质量将接 近P.Q_i+1+(1-P).Q_i。服务器301确定参数P以使得可获得所述两个邻近比 特率R_i和R_i+1之间的任意名义比特率R。这通过图3C和图3E示出。客 户端303参考被监测的吞吐量313请求任何的任意质量/比特率。服务器 301确定参数P以便发送具有质量/比特率接近被请求的任意质量/比特率 的被请求的视频段。某个视频段将以在所述第一质量版本的比特率311与 所述第二质量版本的比特率312之间的比特率320传送。该视频段同样将 以在所述第一质量版本316和所述第二质量版本317之间的质量321传送。 因此，没有发生质量等级间的粗糙转换，同时在比特率上没有发生跳变。

在本发明的第一实施例中，视频项目的所述两个质量版本被假设具有 相同的分辨率并且切片/组块的选择过程为随机的。在该实施例中，N＝N’＝1 并且对应的切片包含相同的宏块。所述编码约束条件是这样的：使在对应 的P和B切片，运动矢量被重复使用，并且在所有的相应的宏块中的模式 决策，即无论宏块为类型I、P或B或者如何将宏块分裂为较小的块，尽 可能地一致地进行选择。事实上，只有数字转换器(quantiser)的决策在 两个对应的切片中不同。对于每个对应的切片(k＝1…K且m_k＝1…M_k)， 所述两个版本之一以概率P从所述第(i+1)个质量版本中被随机挑选出。因 为与P或B切片关联的NAL单元可能从一个质量版本中选择，而经由其 运动矢量指向的帧却是基于从另一质量版本选择的NAL单元而解码，可 能存在轻微的质量劣化。因为该特殊的切片的残留信号与所述解码器中的 残留信号不同，将会存在附加的失真。但是如果遵循上述规则，该失真将 会很小。对于对应的宏块需要选择相同的模式的需求可被放宽，但这将在 新构建的组块中引入附加的失真。

在本发明的第二实施例中，所述两个质量版本再一次被假设具有相同 的分辨率，并且选择过程以质量的逐渐增加或降低为目的。在该第二实施 例中，所述编码约束条件同所述第一实施例中的相同，但是NAL单元的 选择过程不同。所述比特率的增加或降低类似地被实施。在下文中，仅对 降低进行了详细描述。每个访问单元(access unit)k(k＝1…K)在NAL 单元选择过程中，以显示的顺序被逐一访问。所述第K个访问单元(m_k＝ 1…M_k)的每个NAL单元以概率P＝1-(k-1)/(K-1)从第(i+1)个质量版本中选 出。该随机选择过程可由部分确定性选择来替代。如果假设在组块中有11 个访问单元，每个包含10个切片，那么第一访问单元中的所有NAL单元 可从所述第(i+1)个质量版本中选出。在下一访问单元中，10个NAL单元 中的9个可从第(i+1)个质量版本中选出，在下一访问单元，10个NAL单 元中的8个可从第(i+1)'个质量版本中挑选，等等。

在本发明的第三实施例中，所述两个质量版本再次被假设为具有相同 的分辨率并且选择过程依赖于切片的重要性。在该第三实施例中，编码器 约束条件再次与所述第一实施例中编码器的限制条件相等，但是NAL单 元的选择过程将不同。在图像中，切片被假设具有能用于选择质量版本的 语义。例如，如在图4中示出的可能的前景和背景切片。在第i个质量版 本中，图像401可具有背景像素的第一切片411和前景像素的第二切片412。 在第(i+1)个质量版本中，对应的图像402具有背景像素的对应第一切片421 和前景像素的对应第二切片422。在第i个质量版本中对应的组块包含NAL 单元431和432。类似地，在第(i+1)个质量版本中对应的组块包含NAL单 元441和442。在新构建的切片/组块中，为每个前景像素选出最高质量NAL 单元442，而对于背景切片，选择最低质量NAL单元431至第一质量等级 /第二质量等级切片的比例的范围，所述范围被考虑以匹配被请求的中间质 量需求的质量。因此，基于从视频项目的多个质量版本的切片的选择，显 然所述语义可与上述技术结合以如上述相关的所述第二实施例2描述的那 样逐渐增加或降低质量。

在第四实施例中，假设两个质量版本具有相差有理数的分辨率。两种 分辨率中的切片结构被选择以使得不同分辨率的切片相对应。此外，编码 过程被约束以使得对于形成第i个质量版本中的方形N²宏块的部分的宏块 (比特率为R_i)和对应的形成第(i+1)个质量版本中的方形N’²宏块的部分 的宏块(比特率为R_i+1)，尽可能地采取类似的编码决定，例如选择尽可 能类似的运动矢量并且为所有这些宏块选择相同的模式选择。越多地采取 共同决策，由依照本发明的NAL单元挑选过程造成的失真就越少，但是 会有越多的编解码器偏离最优率失真曲线。所述NAL单元挑选过程可以 如同第一实施例——即以概率P随机地、第二实施例——即以确定性的方 式、或所述第三实施例——即考虑切片的语义。

虽然本发明参考特定的实施例进行了阐述，对于本领域技术人员来说 显而易见的是本发明不仅限于上述示出的实施例的细节，并且本发明可具 现化出多种的变化或修改，同时不离开本发明的范围。因此本实施例被认 为在各个方面是说明性的而非限制性的，本发明的范围通过所附的权利要 求而不是通过上述描述指出，并且因此落入与所有权利要求的相等物的意 思或范围之内的所有改变都被认为被包含在其中。也就是说，已考虑覆盖 落入本专利申请中所要求的基础的基本原则及其本质属性的任意和所有的 修改、变动或相等物。此外，本专利申请的读者应理解词语“包括”或“包 含”不排除其他元素或步骤，词语“个”或“某个”不排除多个，并且单 独的元素，例如一个计算机系统、一台处理器，或其他完整的单位可实现 权利要求列举的多个装置的功能。权利要求中的任何参考符号不应被解释 为对各自有关的权利要求进行限制。除非被明确地表述，术语“第一”、 “第二”、“第三”、“a”、“b”、“c”及类似物在说明书或权利要求 书中使用时被用来区分相似的元素或步骤而不是对顺序或时间顺序进行描 述。相似地，术语“顶部”、“底部”、“之上”、“之下”，及其类似 物被引入用来描述性的目的而不是指示相对的位置。应理解这样使用的术 语在是适当的环境下是可交换的，并且在不同于上述描述或阐释的其他序 列或方向上，依照本发明的本发明的实施例具有运行的能力。