空间不均等流媒体化

摘要

本申请涉及一种具有编码至其中的视频的视频比特流、和解码所述视频比特流的方法。描述针对媒体内容流媒体化的各种概念。一些概念允许以空间不均等方式流媒体化空间场景内容，以使得用户的可见质量增加，或流媒体化提取位点处的处理复杂度或必需带宽减小。其他概念允许以增大对其他应用情境的适用性的方式流媒体化空间场景内容。

说明书

本申请是申请人为弗朗霍夫应用科学研究促进协会、申请日为2017年10月11日、申请号为201780076761.7、发明名称为“空间不均等流媒体化”的分案申请。

技术领域

本申请关于诸如在虚拟现实(VR)流媒体化中发生的空间不均等流媒体化。

背景技术

VR流媒体化通常涉及极高分辨率视频的传输。人类中央凹的解析能力为每度约60个像素。若考虑360°×180°的完整球的传输，则传输可通过发送约22k×11k个像素的分辨率而结束。由于发送此高分辨率将产生极高的带宽需求，因此另一解决方案为仅发送头戴式显示器(HMD)处所展示的视口，其具有90°×90°的视场，从而产生约6k×6k个像素的视频。以最高分辨率发送完整视频与仅发送视口之间的折衷为以高分辨率发送视口且以较低分辨率或较低质量发送一些相邻数据(或球体视频的其余部分)。

在DASH情境中，全向视频(亦称为球体视频)可以以之前所描述的混合分辨率或混合质量视频由DASH客户端控制的方式提供。DASH客户端仅需要知道描述内容如何提供的信息。

一个示例可以为提供具有不同投影的不同表示，其具有不对称特性，诸如针对视频的不同部分的不同质量及失真。每个表示将对应于给定视口且将使所述视口以比内容的其余部分高的质量/分辨率进行编码。知道定向信息(内容已经以较高质量/分辨率编码的视口的方向)，DASH客户端可动态地选择一个或另一表示以在任何时间匹配用户的观察方向。

DASH客户端为全向视频选择此不对称特性的更灵活选项可为当将视频分裂成若干空间区时，其中每一区可以不同分辨率或质量获得。一个选项可为基于栅格而将视频分裂成矩形区(亦称为图块)，但可预见其他选项。在此情况下，DASH客户端将需要关于以其提供不同区的不同质量的一些信令，且DASH客户端可以不同质量下载不同区，使得向用户展示的视口的质量优于其他未展示内容。

在先前情况中的任一个中，当用户交互发生且视口已改变时，DASH客户端需要一些时间对用户移动做出反应且以匹配新视口的方式下载内容。在用户移动与DASH客户端调适其请求以匹配新视口之间的时间期间，用户将在视口中同时看见高质量及低质量的一些区。虽然可接受质量/分辨率差异为内容相依的，但用户看见的质量在任何状况下都降低。

因此，即将具有缓解或更有效地显现或甚至增大关于通过自适应流媒体化而流媒体化的空间场景内容的部分呈现的用户的可见质量的概念可为有利的。

发明内容

因此，本发明的目的为提供用于以空间不均等方式流媒体化空间场景内容，以使得用户的可见质量增加，或流媒体化提取位点处的处理复杂度或必需带宽减小的概念，或提供用于以增大对其他应用情境的适用性的方式流媒体化空间场景内容的概念。

此目标通过申请中的独立权利要求的主题来达成。

本申请的第一方面基于如下发现：如果选择及提取的媒体片段和/或从服务器获得的信号作用为提取装置提供关于将时间变化的空间场景的不同部分编码至所选择和提取的媒体片段中所用的质量遵守的预定关系的提示，以空间不均等方式流媒体化关于时间变化的空间场景的媒体内容(诸如视频)可在可比较带宽消耗下的可见质量和/或流媒体化接收位点处的计算复杂度方面得到改进。否则，提取设备可能不会预先知道以不同质量编码至所选择及所提取的媒体片段中的部分的并列对用户所体验的总体可见质量有何负面影响。包含于媒体片段中的信息和/或从服务器获得的信号作用(诸如，清单文件(媒体呈现描述)或从服务器至客户端的额外流媒体化相关控制消息(诸如SAND消息)内)使得提取装置能够于在服务器处提供的媒体片段当中进行适当选择。以此方式，视频内容的虚拟现实流媒体化或部分流媒体化可变得相对于质量降级更稳固，质量降级是因为至向用户呈现的时间变化的空间场景的此空间区段上的可用带宽的分布不足的缘故而发生。

本发明的另一方面基于如下发现：通过取决于包含于媒体片段中的信息和/或从服务器获得的信号作用而确定第一部分的大小和/或位置，以空间不均等方式(诸如在第一部分使用第一质量及在第二部分使用较低的第二质量或保留第二部分不流媒体化)流媒体化关于时间变化的空间场景的媒体内容(诸如视频)可在可见质量上得到改进，和/或关于流媒体化提取侧处的带宽消耗和/或计算复杂度变得较不复杂。举例而言，对于基于图块的流媒体化，设想时间变化的空间场景可以基于图块的方式在服务器处提供，亦即媒体片段可表示时间变化的空间场景的光谱时间部分，所述部分中的每一个可为在空间场景经细分成的图块的分布的对应图块内的空间场景的时间片段。在此情况下，由提取装置(客户端)关于如何在空间场景中(即，以图块粒度)分布可用带宽和/或计算能力作出决定。提取装置可执行对媒体片段的选择，以至空间场景的第一部分(其分别地跟随追踪空间场景的时间变化的观察区段)以预定质量编码至所选择及所提取的媒体片段中，所述预定质量可(例如)为在当前带宽和/或计算能力条件下可实行的最高质量。举例而言，空间上邻近的空间场景的第二部分可不编码至所选择及所提取的媒体片段中，或可以相对于所述预定质量降低的另一质量编码至所述媒体片段中。在此情形中，计算邻近图块的数目/计数在计算上复杂或甚至不可实行，所述图块的聚集完全覆盖时间变化的观察区段，与观察区段的定向无关。取决于被选择以便将空间场景映射至个别图块上的投影，每个图块的角形场景覆盖范围可在此场景中变化，且个别图块可相互重迭的事实甚至使得对就空间而言(与观察区段的定向无关)足以覆盖观察区段的邻近图块的计数的计算更困难。因此，在此情形中，前述信息可将第一部分的大小分别地指示为图块的计数N或图块的数目。通过此措施，装置将能够通过选择具有以预定质量经编码的N个图块的共置聚集的那些媒体片段来追踪时间变化的观察区段。这些N个图块的聚集充分地覆盖观察区段的事实可通过指示N的信息来保证。另一示例可为包含于媒体片段中的信息和/或从服务器获得的信号作用，其指示相对于观察区段自身的大小的第一部分的大小。举例而言，此信息可在某种程度上设置实际观察区段周围的“安全区带”或预取区带，以便考虑时间变化的观察区段的移动。时间变化的观察区段移跨空间场景移动时的速度越大，安全区带应越大。因此，前述信息可以相对于时间变化的观察区段的大小的方式(诸如以增量或缩放方式)来指示第一部分的大小。根据此信息设置第一部分的大小的提取装置将能够避免质量降级，质量降级可因空间场景的未提取或低质量部分在观察区段中可见的缘故而另外发生。此处，此场景以基于图块的方式提供或以一些其他方式提供是不相关的。

与本申请的刚才提及方面相关，可使得编码有视频的视频比特流可以增加的质量解码，条件为视频比特流具备关于所述视频内的聚焦区域的大小的信号作用，用于解码视频的解码能力应集中至所述聚焦区域。通过此措施，解码来自比特流的视频的解码器可将其解码视频的解码能力集中至或甚至限于具有在所述视频比特流中用信号通知的聚焦区域的大小的部分上，从此知道(例如)如此解码的部分是通过可用解码能力可解码的，且在空间上覆盖视频的所要区段。举例而言，如此信号通知的聚焦区域的大小可被选择为足够大，以便覆盖观察区段的大小及此观察区段的移动，从而考虑解码视频时的解码延时。或者，换言之，包含于视频比特流中的视频的推荐优选观察区段区域的信号通知可允许解码器以较佳方式来处理此区域，从而允许解码器相应地集中其解码能力。无论是否执行区域特定解码能力集中，区域信号作用可被转发至平台，在所述平台上选择哪些媒体片段要下载，亦即将质量增加的部分置放于何处及如何对质量增加的部分设置尺寸。

本申请的第一及第二方面本与申请的第三方面密切相关，根据第三方面，利用大量提取装置流媒体化来自服务器的媒体内容的事实，以便获得信息，可随后使用所述信息以便适当地设置前述类型的信息，从而允许设置第一部分的大小或大小和/或位置，和/或适当地设置第一质量与第二质量之间的预定关系。因此，根据本申请的此方面，提取装置(客户端)发出日志消息，所述日志消息记录以下中的一个：测量第一部分的空间位置和/或移动的瞬时测量结果或统计值；测量直到编码至所选择的媒体片段中且直到观察区段中可见的所述时间变化的空间场景的质量的瞬时测量结果或统计值；以及测量第一部分的质量或直到编码至所选择的媒体片段中且直到观察区段中可见的所述时间变化的空间场景的质量的瞬时测量结果或统计值。瞬时测量结果和/或统计值可被提供有与已获得相应瞬时测量结果或统计值时的时间有关的时间信息。所述日志消息可被发送至提供媒体片段所在的服务器，或发送至评估流入日志消息的一些其他装置，以便基于所述日志消息而更新用以设置第一部分的大小或大小和/或位置的前述信息的当前设置，和/或基于所述日志消息而得出预定关系。

根据本申请的另一方面，特别地，通过提供包括媒体呈现描述，以基于图块的方式流媒体化关于时间变化的空间场景的媒体内容(诸如视频)在避免无用流媒体化试验方面更有效，所述媒体呈现描述包含：至少一个版本，对于基于图块的流媒体化，时间变化的空间场景被以所述至少一个版本提供；及对于所述至少一个版本中的每一个，用于从所述基于图块的流媒体化获益所述时间变化的空间场景的相应版本的有益要求的指示。通过此措施，提取装置能够使所述至少一个版本的所述有益要求与提取装置本身或与提取装置交互作用的另一装置的关于基于图块的流媒体化的装置能力匹配。举例而言，所述利益需求可与解码能力要求有关。亦即，若用于解码经流媒体化/经提取的媒体内容的解码能力将不足以解码覆盖时间变化的空间场景的观察区段所需的所有媒体片段，则尝试流媒体化及呈现媒体内容将浪费时间、带宽及计算能力，且因此，在任何情况下都不尝试流媒体化及呈现媒体内容可更有效。举例而言，若(例如)与特定图块有关的媒体片段形成与关于另一图块的媒体片段分离的媒体流(诸如视频流)，则解码能力要求可例如指示相应版本所需的解码器示例的数目。举例而言，解码能力要求亦可关于其他信息，诸如适合预定解码配置文件和/或层级所必需的解码器示例的特定部分，或可指示用户输入设备以足够快的方式移动供用户观看场景用的视口/区段的特定最小能力。取决于场景内容，低移动能力可能不够用户用于观看场景的受关注部分。

本发明的另一方面关于流媒体化关于时间变化的空间场景的媒体内容的扩展。特别地，根据此方面的想法为：空间场景实际上不仅可在时间上变化，并且关于至少一个其他参数暗示(例如，视图及位置、观察深度或一些其他物理参数)变化。提取装置可通过如下操作而在此上下文中使用自适应流媒体化：取决于视口方向及至少一个其他参数而计算媒体片段的地址，所述媒体片段描述在时间上及在所述至少一个参数中变化的空间场景；以及使用计算出的位置从服务器提取媒体片段。

本申请的上文所概述的方面及作为附属权利要求的主题的有利实施可个别地组合或组合在一起。

附图说明

下文中关于附图阐述了本申请的较佳实施例，其中：

图1展示示意图，其将用于虚拟现实应用的客户端及服务器的系统说明为关于可有利地使用以下附图中所阐述的实施例的情况的示例；

图2展示客户端装置的框图以及根据本申请的实施例的用以描述客户端装置的可能操作模式的媒体片段选择程序的示意性说明，其中服务器10为装置提供关于向用户呈现的媒体内容内的可接受或可忍受质量变化的信息；

图3展示图2的修改，质量增加的部分并不关心追踪视口的观察区段的部分，而是关心从服务器用信号通知至客户端的媒体场景内容的感兴趣区；

图4展示客户端装置的框图以及根据实施例的媒体片段选择程序的示意性说明，其中服务器提供关于如何设置质量增加的部分的大小或大小和/或位置，或媒体场景的实际所提取区段的大小或大小和/或位置的信息；

图5展示图5的变型，其中由服务器发送的信息直接指示部分64的大小，而非取决于视口的预期移动而缩放所述部分；

图6展示图4的变型，根据所述变型，所提取区段具有预定质量且其大小通过源于服务器的信息被确定；

图7a至图7c展示说明根据图4及图6的信息74经由视口的大小的对应放大而使以预定质量提取的部分的大小增加所用的方式的示意图；

图8a展示说明实施例的示意图，在所述实施例中，客户端装置将日志消息发送至服务器或用于评估这些日志消息的特定评估器，以便(例如)针对关于图2至图7c所论述的信息的类型得出适当设置；

图8b展示360场景至图块上的基于图块的立方体投影的示意图，及图块中的一些如何通过视口的例示性位置被覆盖的示例。小圆圈指示等角分布的视口中的位置，且阴影图块被以比不具阴影的图块高的分辨率在所下载片段中经编码；

图8c及图8d展示了展示沿着时间轴线(水平的)，客户端的不同缓冲器的缓冲器充满度(垂直轴线)可如何发展的图式的示意图，其中图8c假设缓冲器将用以缓冲编码特定图块的表示，而图8d假设缓冲器将用以缓冲具有以不均匀质量(即朝着相应缓冲器特定的某一方向增加)编码至其中的场景的全向表示；

图8e及图8f展示视口28内的不同像素密度测量结果的三维图，不同之处在于球体或观察平面意义上的均匀性；

图9展示客户端装置的框图，及当装置检测源于服务器的信息以便评估由服务器提供基于图块的流媒体化所在的特定版本对于客户端装置是否可接受时，媒体片段选择程序的示意性说明；

图10展示根据实施例的说明由服务器提供的多个媒体片段的示意图，从而允许媒体场景不仅取决于时间，而且取决于另一非时间参数(即，此处例示性为场景中心位置)；

图11展示示意图，其说明包含操纵或控制经编码至比特流中的视频内的聚焦区域的大小的信息的视频比特流，以及能够利用此信息的视频解码器的示例。

具体实施方式

为了容易理解对本申请的实施例关于本申请的各种方面的描述，图1展示本申请的随后描述的实施例可应用且有利地使用的环境的示例。特别地，图1展示由经由自适应流媒体化而交互作用的客户端10及服务器20组成的系统。举例而言，HTTP动态自适应流媒体化(dynamic adaptive streaming over HTTP，DASH)可用于客户端10与服务器20之间的通信22。然而，随后概述的实施例不应被解释为限于DASH的使用，且同样地，诸如媒体呈现描述(media presentation description，MPD)的术语应宽泛地理解，以便也涵盖定义与DASH中不同的清单文件。

图1说明被配置为实施虚拟现实应用的系统。亦即，所述系统被配置为向穿戴抬头显示器24的用户(即经由抬头显示器24的内部显示器26)呈现出自时间变化的空间场景30的观察区段28，所述区段28对应于由内部定向传感器32(诸如抬头显示器24的惯性传感器)例示性地测量的抬头显示器24的定向。亦即，向用户呈现的区段28形成空间场景30的区段，所述区段的空间位置对应于抬头显示器24的定向。在图1的情况下，时间变化的空间场景30被描绘为全向视频或球体视频，但图1的描述及随后解释的实施例亦可容易地转移至其他示例，诸如呈现视频中的区段，其中区段28的空间位置由面部访问或眼部访问与虚拟或真实投影墙或其类似物的相交确定。此外，传感器32及显示器26可分别(例如)由不同装置(诸如，遥控器及对应电视)包含，或传感器及显示器可为手持型装置(诸如移动装置，诸如平板计算机或移动电话)的部分。最后，应注意，稍后所描述的实施例中的一些亦可应用于如下情境：向用户呈现的区域28一直覆盖整个时间变化的空间场景30，其中呈现时间变化的空间场景时的不均匀性与(例如)质量在空间场景中的不均等分布有关。

关于服务器20、客户端10及在服务器20处提供空间内容30的方式的另外细节在图1中说明且在下文中描述。然而，这些细节亦不应被视为限制随后解释的实施例，而实际上应充当如何实施随后解释的实施例中的任一个的示例。

特别地，如图1中所示，服务器20可包含存储器34及控制器36，诸如经适当编程的计算机、专用集成电路等。存储器34具有存储于其上的媒体片段，所述媒体片段表示时间变化的空间场景30。将在下文关于图1的说明更详细地概述特定示例。控制器36通过将所请求的媒体片段重新发送至客户端10来回答由客户端10发送的请求，且媒体呈现描述可将关于其自身的信息发送至客户端10。关于此的详情亦在下文陈述。控制器36可从存储器34提取所请求的媒体片段。其他信息亦可储存于此存储器内，诸如媒体呈现描述或其部分，其在其他信号中从服务器20发送至客户端10。

如图1中所示，服务器20可以可选地另外包含流修改器38，所述流修改器响应于来自客户端10的请求而修改从服务器20发送至客户端10的媒体片段，以便在客户端10处产生媒体数据流，所述媒体数据流形成由一个相关联解码器可解码的一个单一媒体流，但(例如)由客户端10以此方式提取的媒体片段实际上是从若干媒体流聚集的。然而，此流修改器38的存在是可选的。

图1的客户端10被例示性描绘为包含客户端装置或控制器40或多个解码器42及再投影器44。客户端装置40可为经适当编程的计算机、微处理器、经编程的硬件装置(诸如FPGA或专用集成电路)等。客户端装置40承担从于服务器20处所提供的多个46媒体片段中选择待从服务器20提取的片段的职责。为此目的，客户端装置40首先从服务器20提取清单或媒体呈现描述。从清单或媒体呈现描述，客户端装置40获得用于计算多个46媒体片段中的对应于空间场景30的特定所需空间部分的媒体片段的地址的计算规则。通过将相应请求发送至服务器20而由客户端装置40从服务器20提取如此选择的媒体片段。这些请求含有计算出的地址。

由客户端装置40如此提取的媒体片段将由客户端装置40转发至一个或多个解码器42用于解码。在图1的示例中，如此提取及解码的媒体片段针对每一个时间时间单元仅表示时间变化的空间场景30中的空间区段48，但如上文已指示，根据(例如)待呈现的观察区段28一直覆盖整个场景的其他方面，这可不同。再投影器44可以可选地再投影待向用户显示的观察区段28，且从所选择、所提取且经解码的媒体片段的所提取且经解码的场景内容中切除所述观察区段。为此目的，如图1中所示，客户端装置40可(例如)连续地追踪观察区段28的空间位置且响应于来自传感器32的用户定向数据而更新所述空间位置，且通知再投影器44(例如)场景区段28的此当前空间位置以及将应用于所提取且经解码的媒体内容的再投影映射，以便被映射至形成观察区段28的面积。再投影器44可相应地将映射及内插应用于(例如)待显示于显示器26上的像素的规则网格。

图1说明已使用立方体映射将空间场景30映射至图块50上的情况。所述图块因此被描绘为具有球体形式的场景30已投影至的立方体的矩形子区。再投影器44逆转此投影。然而，亦可应用其他示例。举例而言，替代立方体投影，可使用至截短锥形或无截断的锥形上的投影。此外，尽管图1的图块关于覆盖空间场景30被描绘为不重叠，但细分成图块可涉及相互的图块重叠。且如在下文将更详细地概述，场景30在空间上细分成图块50(如下文将进一步解释，每个图块形成一个表示)亦非强制性的。

因此，如图1中所描绘，整个空间场景30在空间上被细分为图块50。在图1的示例中，立方体的六个面中的每一个被细分为4个图块。出于说明目的，列举所述图块。针对每个图块50，服务器20提供视频52，如图1中所描绘。为了更精确，服务器20甚至每个图块50提供多于一个视频52，这些视频的质量Q#不同。甚至进一步，视频52在时间上被细分为时间片段54。所有图块T#的所有视频52的时间片段54分别地形成或被编码至存储于服务器20的存储器34中的多个46媒体片段的媒体片段中的一个。

甚至再次强调，图1中所说明的基于图块的流媒体化的示例仅形成可能与其有许多偏差的示例。举例而言，虽然图1似乎表明质量较高的关于场景30的表示的媒体片段关于与媒体片段所属的图块一致的图块，所述图块将场景30以质量Q1编码至其中，但此一致性并非必需的且不同质量的图块甚至可与场景30的不同投影的图块对应。此外，尽管迄今为止未论述，但有可能，图1中所描绘的对应于不同质量水平的媒体片段的不同之处在于空间分辨率和/或信号噪声比和/或时间分辨率等。

最后，不同于基于图块的流媒体化概念(根据所述概念，可由装置40个别地从服务器20提取的媒体片段关于场景30被空间细分成的图块50)，服务器20处所提供的媒体片段可替代地(例如)各自以空间完整方式以空间变化的取样分辨率将场景30编码至其中，然而，取样分辨率在场景30中的不同空间位置处达到最大。举例而言，所述情况可通过在服务器20处提供与场景30至截短锥体上的投影相关的片段54的序列来达成，截短锥体的截头可定向至互相不同的方向，从导致定向不同的分辨率峰值。

此外，关于可选地存在的流修改器38，应注意，所述流修改器可替代地作为客户端10的部分，或所述流修改器甚至可定位在客户端10与服务器20之间、在网络装置内，客户端10与服务器20经由网络装置交换本文中所描述的信号。

在已较整体地解释服务器20及客户端10的系统之后，将关于根据本申请的第一方面的实施例更详细地描述客户端装置40的功能性。为此目的，参看图2，其更详细地展示装置40。如上文已解释，装置40用于流媒体化关于时间变化的空间场景30的媒体内容。如关于图1所解释，装置40可被配置为使得经流媒体化的媒体内容就空间而言连续地关于整个场景，或仅关于所述场景的区段28。在任何情况下，装置40包含：选择器56，其用于从服务器20上可用的多个46媒体片段中选择适当媒体片段58；及提取器60，其用于通过相应请求(诸如HTTP请求)而从服务器20提取所选择的媒体片段。如上所述，选择器56可使用媒体呈现描述以便计算所选择的媒体片段的地址，提取器60在提取所选择的媒体片段58时使用这些地址。举例而言，媒体呈现描述中所指示的用以计算地址的计算规则可取决于质量参数Q、图块T及某一时间片段t。举例而言，地址可为URL。

如上文亦已论述，选择器56被配置为执行所述选择，使得所选择的媒体片段至少具有编码至其中的时间变化的空间场景的空间区段。空间区段可在空间上连续地覆盖整个场景。图2在61处说明装置40调适场景30的空间区段62以重叠及围绕观察区段28的例示性情况。然而，如上文已提及，情况未必如此，且空间区段可连续地覆盖整个场景30。

此外，选择器56执行所述选择以使得所选择的媒体片段具有以空间不均等质量的方式编码至其中的区段62。更精确地，空间区段62的第一部分64(在图2中由阴影线指示)被以预定质量编码至所选择的媒体区段中。此质量可(例如)为服务器20所提供的最高质量或可为“良好”质量。举例而言，装置42以在空间上跟随时间变化的观察区段28的方式移动或调适第一部分64。举例而言，选择器56选择继承观察区段28的当前位置的那些图块的当前时间片段54。如此选择后，如在下文中关于其他实施例所解释，选择器56可以可选地保持组成第一部分64的图块的数目恒定。在任何情况下，区段62的第二部分66被以另一质量(诸如较低质量)编码至所选择的媒体片段58中。举例而言，选择器56选择与在空间上邻近部分64的图块且属于较低质量的图块的当前时间片段对应的媒体片段。举例而言，为了寻址观察区段28移动过快以致于在对应于当前时间片段的时间间隔结束之前离开部分64且与部分66重叠且选择器56将能够在空间上重新配置部分64的可能时刻，选择器56主要选择与部分66对应的媒体片段。在此情形下，突出至部分66中的区段28的部分可仍然(即以降低的质量)向用户呈现。

装置40不可能向用户评估哪种负质量降级可由预先向用户呈现降低质量的场景内容以及具有较高质量的部分64内的场景内容所引起。特别地，产生可由用户清楚可见的这两个质量之间的转变。至少，这种转变取决于区段28内的当前场景内容可以是可见的。此转变在用户的视场内的负面影响的严重性是由服务器20提供的场景内容的特性且可能不由装置40预报。

因此，根据图2的实施例，装置40包含推导器66，所述推导器66得出部分64的质量与部分66的质量之间将满足的预定关系。推导器66从信息得出此预定关系，所述信息可包含于媒体片段中(诸如，在媒体片段58内的输送块内)和/或包含于从服务器20获得的信号作用中(诸如，在媒体呈现描述或从服务器20发送的专属信号(诸如SAND消息内)等)。在下文呈现关于信息68看上去如何的示例。由推导器66基于信息68得出的预定关系70由选择器56使用，以便适当地执行选择。举例而言，与对部分64及66的质量的完全独立选择相比，选择部分64及66的质量时的限制影响用于提取关于区段62的媒体内容的可用带宽至部分64及66上的分布。在任何情况下，选择器56选择媒体片段，以使得将部分64及66编码至最后所提取的媒体片段中所用的质量满足所述预定关系。关于预定关系可看起来如何的示例亦在下文陈述。

所选择且最后由提取器60提取的媒体片段最后被转发至一个或多个解码器42以进行解码。

举例而言，根据第一示例，由信息68体现的信令机制涉及信息68，所述信息向装置40(其可为DASH客户端)指示哪些质量组合是所提供的视频内容可接受的。举例而言，信息68可为向用户或装置40指示不同区64及66可以最大质量(或分辨率)差异混合的质量对的列表。装置40可被配置为不可避免地将特定质量水平(诸如，服务器10处所提供的最高质量水平)用于部分64，且从信息68得出将部分66编码至所选择的媒体片段中所用的质量水平，其中所述信息以(例如)用于部分68的质量水平的列表的形式被包含。

信息68可指示用于部分68的质量与部分64的质量之间的差异的度量的可忍受值。可使用媒体片段58的质量索引作为质量差异的“度量”，媒体片段可通过质量索引在媒体呈现描述中区分，且媒体片段的地址通过质量索引使用媒体呈现描述中所描述的计算规则而计算。在MPEG-DASH中，指示质量的对应属性可为(例如)@qualityRanking。装置40在执行所述选择时可考虑可将部分64及66编码至所选择的媒体片段中所用的可选择质量水平对中的限制。

然而，替代此差异度量，质量差异可替代地(例如)以比特率差异(亦即，将部分64及66分别编码至对应媒体片段中所用的比特率的可忍受差异)来测量，假定比特率通常随质量增加而单调增加。信息68可指示将部分64及66编码至所选择的媒体片段中所用的质量的选项的允许配对。替代地，信息68简单地指示用于编码部分66的允许质量，从而间接地指示允许或可忍受的质量差异，假定主要部分64使用某一默认质量(诸如，可能或可获得的最高质量)进行编码。举例而言，信息68可为可接受表示ID的列表或可指示关于与部分66有关的媒体片段的最小比特率水平。

然而，替代地，可能需要更渐进的质量差异，其中，替代质量对，可指示质量群组(多于两个质量)，其中，取决于与区段28(视口)的距离，质量差异可增加。亦即，以取决于与观察区段28的距离的方式，信息68可指示用于部分64及66的质量之间的差异的度量的可忍受值。这可通过与观察区段的相应距离与用于超过相应距离的质量差异的度量的对应可忍受值的对的列表进行。低于相应距离，质量差异必须较低。亦即，每个对可针对对应距离指示：部分66内离开区段28比所述对应距离远的一部分与部分64的质量可具有质量差异，所述质量差异超过此列表输入项的对应可忍受值。

可忍受值可随与观察区段28的距离增加而增加。对刚刚所论述的质量差异的接受性常常取决于向用户展示这些不同质量的时间。举例而言，具有高质量差异的内容在所述内容仅展示持续200微秒的情况下可为可接受的，而具有较低质量差异的内容在所述内容展示持续500微秒的情况下可为可接受的。因此，根据另一示例，除例如前述质量组合之外，或除允许的质量差异之外，信息68亦可包括时间间隔，在所述时间间隔中，组合/质量差异可为可接受的。换言之，信息68可指示部分66及64的质量之间的可忍受或最大允许差异，以及最大允许时间间隔的指示，在最大允许时间间隔中，部分66可与部分64同时展示于观察区段28内。

如先前已提及，质量差异的接受性取决于内容本身。举例而言，不同图块50的空间位置对接受性有影响。预期具低频信号的均匀背景区中的质量差异比前景物体中的质量差异更可接受。此外，因改变内容所致，时间位置对接受性亦有影响。因此，根据另一示例，形成信息68的信号被间歇地(诸如，在DASH中每表示或周期)发送至装置40。亦即，由信息68指示的预定关系可间歇地被更新。另外和/或替代地，由信息68实现的信令机制在空间中可变化。亦即，可使信息68具有空间相依性，诸如，通过DASH中的SRD参数。亦即，针对场景30的不同空间区，不同预定关系可由信息68指示。

如关于图2所描述，装置40的实施例关于如下事实：装置40希望在能够改变区段62及部分64的位置以便使所述区段及所述部分适应区段28造成的位置改变之前，保持短暂在区段28中可见的视频内容30的所提取区段62内的因预取的部分66所致的质量降级尽可能低。亦即，在图2中，部分64及66为区段62的不同部分，所述部分的质量被限制直至其可能组合被信息68关注，而两个部分64与66之间的转变连续地经移位或经调适以便追踪或超过移动的观察区段28。根据图3中所示的替代实施例，装置40使用信息68以便控制部分64及66的质量的可能组合，然而，根据图3的实施例，部分64及66被以例如媒体呈现描述中所定义的方式(亦即，以独立于观察区段28的位置的方式)限定为彼此不同或有区别的部分。部分64及66的位置及其之间的转变可为恒定的或在时间上变化。若在时间上变化，则所述等变化归因于场景30的内容的改变。举例而言，部分64可与值得消耗较高质量的感兴趣区对应，而部分66为在考虑部分64的质量降低之前，应考虑(例如)由于低带宽条件的质量降低的部分。

在下文中，描述了装置40的有利实施的另一实施例。特别地，图4展示装置40，其在结构上与图2及3对应，但操作模式被改变以便与本申请的第二方面对应。

亦即，装置40包含选择器56、提取器60及推导器66。选择器56从由服务器20提供的多个46媒体片段58做出选择，且提取器60从服务器提取所选择的媒体片段。图4假定装置40如关于图2及图3所描绘及所说明地操作，即，选择器56执行选择而使得所选择的媒体片段58以此空间区段跟随空间位置在时间上变化的观察区段28的方式将场景30的空间区段62编码至其中。然而，随后将关于图5描述与本申请的同一方面对应的变型，其中，针对每一个时间瞬间t，所选择且经提取的媒体片段58将整个场景或恒定空间区段62编码至其中。

在任何情况下，类似于关于图2及3的描述，选择器56选择媒体片段58，以使得区段62内的第一部分64被以预定质量编码至所选择且经提取的媒体片段中，而区段62的第二部分66(其在空间上邻近第一部分64)被以相对于部分64的预定质量减小的质量编码至所选择的媒体片段中。在图6中描述变型，其中选择器56将对关于移动模板的媒体片段的选择及提取限制为追踪视口28的位置，且其中媒体片段具有以预定质量完全编码至其中的区段62，使得第一部分64完全覆盖区段62，同时由未编码部分72包围。在任何情况下，选择器56执行选择而使得第一部分64跟随空间位置在时间上变化的观察区段28。

在此情形中，亦不容易由客户端40对区段62或部分64应多大进行预报。取决于场景内容，大部分用户可在跨场景30移动观察区段28时做出类似动作，且因此，相同动作适用于观察区段28的间隔，观察区段28大概可能以此速度跨场景30移动。因此，根据图4至图6的实施例，信息74由服务器20提供至装置40，以便帮助装置40取决于信息74而分别设置第一部分64的大小或大小和/或位置，或区段62的大小或大小和/或位置。关于将信息74从服务器20传输至装置40的可能性，如上文关于图2及图3所描述的情况适用。亦即，所述信息可被包含于媒体片段58内，诸如在媒体片段的事件块内，或为此目的，可使用媒体呈现描述或从服务器发送至装置40的专属消息(诸如SAND消息)内的传输。

亦即，根据图4至图6的实施例，选择器56被配置为取决于源于服务器20的信息74而设置第一部分64的大小。在图4至图6中所说明的实施例中，大小被以图块50为单位设置，但如上文关于图1已描述的，情形可与使用在服务器20处提供质量在空间上变化的场景30的另一概念时略微不同。

根据示例，信息70可(例如)包括观察区段28的视口的给定移动速度的概率。如上文已表示，信息74可导致媒体呈现描述可供客户端装置40(其可为例如DASH客户端)使用，或一些带内机制可用以输送信息74，诸如事件块，亦即，在DASH情况下的EMSG或SAND消息。信息74亦可以被包括在任何容器格式中，诸如ISO文件格式或超过MPEG-DASH的传输格式(诸如MPEG-2TS)。所述信息亦可在视频比特流中(诸如，在如稍后所描述的SEI消息中)输送。换言之，信息74可指示针对观察区段28的空间速度的度量的预定值。以此方式，信息74指示部分64的大小，以相对于观察区段28的大小的缩放(scaling)的形式或以相对于观察区段28的大小的增量的形式。亦即，信息74从覆盖区段28的大小必需的部分64的“基本大小”开始，且使此“基本大小”适当地(诸如递增地或按比例)增大。举例而言，观察区段28的前述移动速度可用以相应地定标观察区段28的当前位置的周界，以便确定(例如)沿着在此时间间隔之后可行的任何空间方向的观察区段28的周界的最远位置，例如，确定调整部分64的空间位置时的延时，诸如，与媒体片段58的时间长度对应的时间片段54的持续时间。速度乘以此持续时间加上全向的视口28的当前位置的周界，可因此导致此最坏情况周界且可用以确定部分64相对于假定非移动视口28的部分64的某一最小扩展的放大。

信息74可甚至关于对用户行为的统计数据的评估。随后，描述适合于馈给这样的评估程序的实施例。举例而言，信息74可指示关于一定百分比用户的最大速度。举例而言，信息74可指示90％的用户以低于0.2弧度/秒的速度移动且98％在用户以低于0.5弧度/秒的速度移动。信息74或携载所述信息的消息可被定义而使得概率-速度对被定义或消息可被定义而用信号通知固定百分比的用户(例如，始终99％的用户)的最大速度。移动速度信令74可另外包含方向信息，亦即，2D中的角度，或2D加3D中的深度(亦被称作光场应用)。信息74可针对不同移动方向指示不同的概率-速度对。

换言之，信息74可应用于给定时间跨度，诸如，媒体区段的时间长度。所述信息可由路径、速度、距离或优选面积的基于轨迹(x百分比，平均用户路径)或基于速度的配对(x百分比，速度)或基于距离的配对(x百分比，孔隙/直径/较佳)或基于面积的配对(x百分比，推荐优选面积)或单一最大边界值组成。替代使所述信息与百分比关联，简单的频率分级可根据大部分用户以特定速度移动，第二大部分用户以另一速度移动等而进行。另外或替代地，信息74不限于指示观察区段28的速度，而是同样可指示待分别观察的优选区域，以引导设法追踪观察区段28的部分62和/或64，具有或不具有关于指示的统计显著性的指示(诸如已遵守那个指示的用户的百分比或指示是否与已最常记录的用户观察速度/观察区段一致的指示)，及具有或不具有指示的时间持续。信息74可指示观察区段28的速度的另一度量，诸如针对在特定时间段内(诸如，在媒体片段的时间长度内，或更详细地在时间片段54的时间长度内)的观察区段28的行进距离的度量。替代地，信息74可以以在观察区段28可行进所在的特定移动方向之间有区别的方式被通知。此情况关于指示观察区段28在特定方向上的速率或速度以及指示观察区段28关于特定移动方向的行进距离两者。此外，部分64的扩展可通过信息74全向地或以区分不同移动方向的方式被直接传信。此外，所有刚才概述的示例可被修改，其中信息74指示这些值以及用户的百分比，这些值对于用户而言足以解释在移动观察区段28时的统计行为。就此而言，应注意，观察速度(亦即，观察区段28的速度)可相当大且不限于(例如)用户头部的速度值。实际上，观察区段28可取决于(例如)用户的眼睛移动而移动，在此情况下，观察速度可显著较大。观察区段28亦可根据另一输入设备移动(诸如，根据平板计算机等的移动)而移动。由于使得用户能够移动区段28的所有这些“输入可能性”引起观察区段28的不同预期速度，因此信息74可甚至被设计以使得所述信息区别用于控制观察区段28的移动的不同概念。亦即，信息74可以以指示用于控制观察区段28的移动的不同方法的不同大小的方式来指示部分64的大小，且装置40可将由信息74指示的大小用于正确的观察区段控制。亦即，装置40获得关于观察区段28由用户控制的方式的知识，亦即，检查观察区段28是否由头部移动、眼睛移动或平板计算机移动或类似移动来控制，且根据与此种观察区段控制对应的信息74的部分来设置大小。

通常，移动速度可根据内容、时段、表示、片段、根据SRD位置、根据像素、根据图块(例如，以任何时间或空间粒度等)来传信。移动速度亦可区分头部移动和/或眼睛移动，如刚才所概述。此外，关于用户移动概率的信息74可作为关于高分辨率预取(亦即，用户视口外的视频区域，或球体覆盖范围)的推荐而输送。

图7a至图7c简要地概述关于信息74在其由装置40使用以分别修正部分64或部分62的大小和/或所述部分的位置的方面所解释的选项中的一些。根据图7a中所示的选项，装置40将区段28的周界放大与用信号通知的速度v和持续时间Δt的乘积对应的距离，所述持续时间可对应于与编码于个别媒体片段50a中的时间片段54的时间长度对应的时间段。另外和/或替代地，速度愈大，部分62和/或64的位置可离开区段28的当前位置愈远地置放，或使部分62和/或64的当前位置处于用信号通知的速度或移动的方向中，如信息74所传信。速度及方向可从测量或外插信息74所指示的推荐优选区域的新近发展或改变得出。替代全向地应用v×Δt，速度可针对不同空间方向而由信息74不同地传信。图7d中所描绘的替代例展示，信息74可直接指示放大观察区段28的周界的距离，此距离由图7b中的参数s指示。再次，可应用区段的方向变化的放大。图7c展示，区段28的周界的放大可通过面积增加由信息74指示，诸如，以经放大区段的面积与区段28的原始面积相比的比率的形式。在任何情况下，区域28在放大后的周界(在图7a至图7c中由76指示)可由选择器56使用，以尺寸设置或设置部分64的大小，以使得部分64至少以预定量覆盖经放大区段76内的整个区域。显然，区段76愈大，例如，部分64内的图块的数目愈大。根据另一替代例，区段74可直接指示部分64的大小，诸如以构成部分64的图块的数目的形式。

在图5中描绘了用信号通知部分64的大小的后一可能性。图5的实施例可加以修改，其方式与图4的实施例由图6的实施例修改相同，亦即，区段62的整个区域可以以部分64的质量通过片段58从服务器20提取。

在任何情况下，在图5结束时，信息74区分观察区段28的不同大小，亦即，由观察区段28看到的不同视场。信息74简单地指示取决于装置40目前瞄准的观察区段28的大小而定的部分64的大小。此使得服务器20的服务能够由具有观察区段28的不同视场或不同大小的装置使用，而无需诸如装置40的装置必须应对计算或另外猜测部分64的大小，使得部分64足以覆盖观察区段28而不顾及区段28的任何移动(如关于图4、图6及图7所论述)的问题。如自图1的描述可变得清楚，很容易评估(例如)哪个恒定数目的图块可足以完全覆盖观察区段28的特定大小(亦即，特定视场)，而不顾及用于空间定位30的观察区段28的方向。此处，信息74缓解此情形，且装置40能够在信息74内简单地查找部分64的大小的值以用于应用于装置40的观察区段28的大小。亦即，根据图5的实施例，可供DASH客户端或一些意欲机构使用的媒体呈现描述(诸如事件块或SAND消息)可包括分别关于表示集合或图块集合的球体覆盖范围或视场的信息74。一个示例可为提供M个表示的图块，如图1中所描绘。信息74可指示下载建议数目n

关于图8a，描述了关于本申请的另一方面的实施例。此处，图8a展示客户端装置10及服务器20，所述两者根据上文关于图1至图7所描述的可能性中的任一个而彼此通信。亦即，装置10可根据关于图2至图7所描述的实施例中的任一个而具体化，或可无需这些细节而以上文关于图1所描述的方式简单地动作。然而，有利地，装置10根据上文关于图2至图7所描述的实施例中的任一个或其任何组合而具体化，且另外继承现在关于图8a所描述的操作模式。特别地，装置10在内部被理解为如上文关于图2至图8所描述，亦即，装置40包含选择器56、提取器60且可选地包括推导器66。选择器56执行选择以用于瞄准不均等流媒体化，亦即，以一方式选择媒体片段而使得媒体内容以质量在空间上变化的方式和/或存在未编码部分的方式编码至所选择及提取的媒体片段中。然而，除此之外，装置40还包含将记录在(例如)以下各者中的日志消息发出至服务器20或评估装置82的日志消息发送器80：

测量第一部分64的空间位置和/或移动的瞬时测量结果或统计值，

测量直到编码至所选择的媒体片段中且直到观察区段28中可见的所述时间变化的空间场景的质量的瞬时测量结果或统计值，和/或

测量所述第一部分的质量或直到编码至所选择的媒体片段中且直到观察区段28中可见的时间变化的空间场景30的质量的瞬时测量结果或统计值。

动机如下。

为了能够得出统计数据，诸如最感兴趣的区或速度-概率对，如先前所描述，需要来自用户的报告机制。对ISO/IEC23009-1的附录D中所定义的统计数据的额外DASH度量为必需的。

一个度量可为作为DASH度量的客户端的视场，其中DASH客户端将关于视场的终端装置的特性发送回至度量服务器(其可与DASH服务器或另一服务器相同)。

一个度量可为ViewportList，其中DASH客户端将由每一个客户端看到的视口及时地发送回至度量服务器(其可与DASH服务器或另一服务器相同)。此消息的实例化可如下。

对于视口(感兴趣区)消息，可要求DASH客户端在视口改变发生时进行报告，可能具有给定粒度(避免或无需避免报告极小移动)或给定周期性。此消息可作为属性@reportViewPortPeriodicity或元素或描述符而包括于MPD中。此消息亦可在带外指示，诸如利用SAND消息或任何其他手段。

视口亦可关于图块粒度被传信通知。

另外或替代地，日志消息可关于响应于用户输入改变的其他当前场景相关参数做出报告，诸如下文关于图10所论述的参数中的任一个，诸如与场景中心的当前用户距离和/或当前观察深度。

另一度量可为ViewportSpeedList，其中DASH客户端指示在移动发生时给定视口的移动速度。

此消息可仅在客户端执行视口移动时发送。然而，如同针对先前情况，服务器可指示消息应仅在移动明显时别发送。此配置可有些类似@minViewportDifferenceForReporting，用于传信以像素或角度或需要针对所发送的消息改变的任何其他量值计的大小。

VR-DASH服务(其中提供如上所述的不对称质量)的另一重要事项为评估用户从视口的不对称表示或不均等质量/分辨率表示集合切换至另一视口的更充分的另一表示或表示集合有多快。利用此度量，服务器可得出帮助其理解影响QoE的相关因素的统计数据。此度量可看起来如下。

替代地，之前所描述的持续时间可作为平均值被给出。

对于其他DASH度量，所有这样度量可另外具有测量已执行的时间。

在一些情况下，可能发生：若不均等质量内容被下载且不良质量(或良好与不良质量的混合)被展示足够长时间(其可能仅为几秒)，则用户会不高兴且离开会话。在离开会话的条件下，用户可发送具有展示于最近x时间间隔中的质量的消息。

替代地，可报告最大质量差异或报告视口的最大质量及最小质量。

如从关于图8a的以上描述变得清楚，为了使基于图块的DASH流媒体化服务操作员以有意义的方式(例如，关于分辨率比、比特率及片段持续时间)设置及优化其服务，服务操作员能够得出需要示例在上文描述的客户端报告机制的统计数据是有利的。在下文中陈述除上文所定义度量外及除[A1]的附录D外的额外DASH度量。

设想基于图块的流媒体化服务使用具有如图1中所描绘的立方体投影的视频。客户端侧的重建在图8b中说明，其中小圆圈198指示等角地水平及垂直分布在客户端的视口28内的观察方向至由个别图块50覆盖的图像区域上的二维分布的投影。用阴影线标记的图块指示高分辨率图块，因此形成高分辨率部分64，而非阴影线展示的图块50表示低分辨率图块，因此形成低分辨率部分66。可看到，由于视口28改变，用户被部分地呈现低分辨率图块，这是因为对片段选择及下载的最近更新确定立方体上的每一个图块的分辨率，被编码至可下载片段58中的图块50的投影平面或像素阵列落在所述立方体上。

尽管以上描述实际上通常(尤其)指示反馈或日志消息，其指示视频在视口中向用户呈现的质量，但在下文中，将概述就此而言可适用的更特定且有利的度量。现在所描述的度量可从客户端侧报告返回且被称作有效视口分辨率。推测所述度量向服务操作员指示客户端的视口中的有效分辨率。在所报告的有效视口分辨率指示用户仅被呈现朝向低分辨率图块的分辨率的分辨率的情况下，服务操作员可相应地改变平铺配置、分辨率比或片段长度，以达成更高的有效视口分辨率。

一个实施例可为在投影平面中测量的视口28中的平均像素计数，被编码至片段58中的图块50的像素阵列落在所述投影平面中。所述测量可相对于视口28的覆盖视场(FoV)区分或特定于水平方向204与垂直方向206。下表展示可含于日志消息中以便用信号通知概述的视口质量度量的合适语法及语义的可能示例。

水平及垂直方向中的分解可通过替代地使用平均像素计数的标量值而停止。与视口28的孔隙或大小的指示一起，还可向日志消息的接收方(即评估器82)报告的是平均计数，所述平均计数指示视口内的像素密度。

将针对度量所考虑的视场减小至小于实际上向用户呈现的视口的视场可为有利的，从而排除朝向视口的边界的仅用于周边视觉且因此对主观质量感知不具有影响的区域。此替代例由虚线202说明，所述虚线包围处于视口28的此中心区段中的像素。针对关于视口28的总视场的经报告度量的所考虑视场202的报告亦可被传信至日志消息接收方82。下表展示先前示例的对应扩展。

根据另一实施例，不通过在投影平面中以空间均匀方式对质量平均化(如实际上迄今为止关于含有EffectiveFoVResolutionH/V的示例所描述的示例中的情况)来测量平均像素密度，而是以对像素(亦即，投影平面)以非平均方式对此平均化加权的方式测量。平均化可以球体均匀的方式执行。作为示例，平均化可关于如圆圈198分布的样本点均匀地执行。换言之，可通过以权重对区域密度加权来执行平均化，所述权重以二次式方式随局部投影平面距离增加而减小且根据投影相对于与视口连接的线的局部倾斜的正弦而增加。消息可包括可选的(标志控制式)步长以针对可用投影(诸如等矩形投影)中的一些的固有过取样进行调整，例如通过使用均匀的球体取样网格。一些投影并不具有大的过取样问题，且强迫计算移除过取样可产生不必要的复杂度问题。这必须不限于等矩形投影。报告并不需要区分水平分辨率与垂直分辨率，而是可组合它们。以下给出一个实施例。

在图8e中说明了在平均化中应用等角均匀性，通过展示以视口306为中心的球体304上的等角地水平及垂直分布的点302(就在视口28内而言)如何投影至图块的投影平面308(此处为立方体)上，以便执行按阵列(按行及列)布置于投影区域中的像素的像素密度308的平均化，以便根据点302至投影平面上的投影198的局部密度来设置用于像素密度的局部权重。图8f中描绘了非常类似的方法。此处，点302在垂直于观察方向312的视口平面中等距离地分布，亦即在行及列中水平且垂直均匀地分布，且至投影平面308上的投影限定点198，点的局部密度控制权重，由于视口28内的高及低分辨率图块而变化的局部密度像素密度308以所述权重有助于平均化。在诸如最新表的以上示例中，图8f的替代例可替代图8e中所描绘的示例而被使用。

在下文中，描述了另一分类的日志消息的实施例，其与具有多个媒体缓冲器300的DASH客户端10有关，如图8a中所例示性描绘，亦即DASH客户端10将下载的片段58转发至由一个或多个解码器42进行的后续解码(比较图1)。片段58至缓冲器上的分布可以以不同方式进行。举例而言，可作出分布而使得360视频的特定区被彼此分开地下载，或在下载至单独缓冲器中之后被缓存。以下示例通过关于以下各者做出指示而说明不同分布：哪些如图1中所示的索引为#1至#24的图块T(对映体具有合计25个)被以质量#1至#M(1为最佳且M为最差)中的何种质量Q编码至哪些个别可下载的表示R#1至#P中，及这些P个表示R可如何分组成MPD中索引为#1至#S的自适应集A(可选)，及P个表示R的片段58可如何分布至索引为#1至#N的缓冲器B的缓冲器上。

此处，表示可在服务器处提供且在MPD中通告以供下载，这些表示中的每一个关于一个图块50，亦即场景的一个区段。与一个图块50相关，但以不同质量编码此图块50的表示可在分组为可选的自适应集中概述，但精确地，此分组用于关联至缓冲器。因此，根据此示例，每个图块50，或换言之，每个视口(观察区段)编码，将存在一个缓冲器。

另一表示集合及分布可为：

根据此示例，每一个表示可覆盖整个区，但高质量区将聚焦在一个半球上，而较低质量用于另一半球。仅在以此方式使用的精确质量上有差异(亦即在较高质量半球的位置中均等)的表示可收集在一个自适应集中，且根据此特性而分布至缓冲器(此处例示性地，六个)上。

因此，以下描述假设应用了根据与自适应集或其类似物相关联的不同视口编码(视频子区，诸如图块)的至缓冲器的此分布。图8c说明基于图块的流媒体化情形中的两个单独缓冲器(例如，图块1及图块2)随时间的缓冲器充满度水平，此情境已在最后但并非不重要的表中说明。使客户端能够报告其所有缓冲器的充满度水平允许服务操作员可将数据与其他流媒体化参数关联，以理解其服务设置的体验质量(QoE)影响。

其优点在于，客户端侧上的多个媒体缓冲器的缓冲器充满度可用度量报告，且被识别且关联至缓冲器类型。举例而言，关联类型如下：

●图块

●视口

●区

●自适应集

●表示

●完整内容的低质量版本

本发明的一个实施例在表1中给出，所述表定义用于报告经识别且关联的每一个缓冲器的缓冲器水平状态事件的度量。

表1：缓冲器水平的列表

使用视口相依编码的另一实施例如下。

在视口相依流媒体化情境中，DASH客户端下载且预先缓冲与特定观察定向(视口)相关的若干媒体片段。若预先缓冲的内容的量过高，且客户端改变其观察定向，则不呈现将在视口改变之后播放的经预先缓冲的内容的部分且清除相应的媒体缓冲器。此情境描绘于图8d中。

另一实施例可关于具有同一内容的多个表示(质量/比特率)且编码视频内容所用的质量可在空间上均匀的传统视频流媒体化情境。

分布因而可看上去如下：

亦即，此处，每一个表示可以以不同质量(即空间上均匀的质量)覆盖例如可能并非全景360场景的完整场景，且这些表示可个别地分布至缓冲器上。最后三个表中所陈述的所有示例应被视为不限制将在服务器处提供的表示的片段58分布至缓冲器上所用的方式。存在不同方法，且规则可基于片段58至表示的隶属、片段58至自适应集的隶属、将场景的空间不均等地编码至相应片段所属的表示中的局部增加的质量的方向、将场景编码至所属相应片段中所用的质量等。

客户端可维持每个表示的缓冲器，且在经历可用吞吐量的升高后，决定在播放之前清除剩余低质量/比特率媒体缓冲器且将具有持续时间的高质量媒体片段下载于现有低质量/比特率缓冲器内。可针对基于图块的流媒体化及视口相依编码建构类似实施例。

服务操作员可能对理解何量及何种数据被下载而不呈现有兴趣，这是因为这在服务器侧引入无增益的成本且使客户端侧的质量降低。因此，本发明应提供使两个事件“媒体下载”及“媒体呈现”相关以容易解译的报告度量。本发明避免冗长地报告的关于每一个媒体片段下载及播放状态的信息被分析，且仅允许高效地报告清除事件。本发明亦包括如上所述的缓冲器的识别及至类型的关联。本发明的实施例在表2中给出。

表2：清除事件的列表

图9展示如何有利地实施装置40的另一实施例，图9的装置40可对应于上文关于图1至图8所陈述的示例中的任一个。亦即，装置可能包含如上文关于图8a所论述的日志送信器，但未必包含，且可使用如上文关于图2及图3所论述的信息68或如上文关于图5至图7c所论述的信息74，但未必使用。然而，不同于图2至图8的描述，关于图9，假定真实地应用基于图块的流媒体化方法。亦即，场景内容30在服务器20处以基于图块的方式提供，基于图块的方式被论述为上文关于图2至图8的选项。

虽然装置40的内部结构可不同于图9中所描绘的内部结构，但装置40被例示性展示为包含上文关于图2至图8已论述的选择器56及提取器60，且可选地包括推导器66。然而，另外，装置40包含媒体呈现描述分析器90及匹配器92。MPD分析器90用于从自服务器20获得的媒体呈现描述得出：至少一个版本，对于基于图块的流媒体化，时间变化的空间场景30被以所述至少一个版本提供；及对于所述至少一个版本中的每一个，用于从所述基于图块的流媒体化获益所述时间变化的空间场景的相应版本的有益要求的指示。“版本”的含义将从以下描述变得清楚。特别地，匹配器92使如此获得的有益要求与装置40或与装置40交互作用的另一装置的装置能力(诸如，一个或多个解码器42的解码能力、解码器42的数目或其类似者)匹配。图9的概念所隐含的背景或思想如下。设想，假定观察区段28的特定大小，基于图块的方法需要特定数目个图块由区段62包含。此外，可假定属于特定图块的媒体片段形成一个媒体流或视频流，所述流应通过单独的解码实例来解码，与解码属于另一图块的媒体片段分开。因此，对应媒体片段由选择器56选择的区段62内的特定数目个图块的移动聚集需要特定解码能力，诸如存在以例如对应数目个解码实例(亦即对应数目个解码器42)的形式的相应解码资源。若不存在此数目个解码器，则由服务器20提供的服务不可用于客户端。因此，由服务器20提供的MPD可指示“有益要求”，即，使用所提供的服务所需的解码器的数目。然而，服务器20可针对不同版本提供MPD。亦即，用于不同版本的不同MPD可由服务器20获得，或由服务器20提供的MPD可在内部经结构化，以便区分可服务可使用的不同版本。举例而言，版本可在视场(亦即，观察区段28的大小)上不同。视场的不同大小以区段62内的不同数目个图块来表现自身，且因此可在有益要求上不同，这是因为(例如)这些版本可需要不同数目个解码器。同样可想象其他示例。举例而言，虽然视场不同的版本可涉及同样的多个媒体片段46，但根据另一示例，针对服务器20处的图块流媒体化所提供的场景30的不同版本的不同之处甚至可在于根据对应版本所涉及的多个46媒体片段。举例而言，根据一个版本的图块分割与根据另一版本的场景的图块-连字符分割相比较粗糙，从而需要(例如)较少数目个解码器。

匹配器92匹配有益要求，且因此选择对应版本或完全拒绝所有版本。

然而，有益要求可另外关注一个或多个解码器42必须能够解决的配置文件/层级。举例而言，DASH MPD包括允许指示配置文件的多个位置。典型配置文件描述可在MPD处存在的属性、元素，以及针对每一个表示所提供的媒体流的视频或音频配置文件。

有益要求的其他示例关注(例如)客户端侧的使视口28跨场景移动的能力。有益要求可指示必要视口速度，其应可供用户使用以使视口移动，从而能够真正享受所提供的场景内容。匹配器可检查(例如)此要求是否得到满足，例如，插入于诸如HMD 26的用户输入设备中。替代地，假定用于使视口移动的不同类型的输入设备与定向意义上的典型移动速度相关联，“足够类型的输入设备”的集合可通过有益要求来指示。

在球体视频的图块流媒体化服务中，存在可被动态地设置的过多配置参数，例如质量的数目、图块的数目。在图块为需要由单独解码器解码的独立比特流的情况下，若图块的数目过高，则具有几个解码器的硬件装置将不能同时解码所有比特流。可能性为保留此作为自由度，且DASH装置解析所有可能表示且对解码所有表示需要多少个解码器或覆盖装置的视场的给定数目计数，且因此得出DASH客户端是否可能消费内容。然而，针对互操作性及能力协商的更聪明解决方案为使用映射至一种配置文件的MPD中的信令，所述配置文件被用作对客户端的承诺：若支持配置文件，则可消费所提供的VR内容。此传信应以可在MPD层级或在自适应集处封装的URN(诸如urn::dash-mpeg::vr::2016)的形式进行。此解析将意味着X配置文件处的N个解码器足够用于消费内容。取决于配置文件，DASH客户端可忽略或接受MPD或MPD的部分(自适应集)。另外，存在不包括所有信息的若干机制，诸如Xlink或MPD链接，其中用于选择的很少信令是可用的。在此情况下，DASH客户端将不能够得出其是否可消费内容。需要通过此urn(或类似事物)关于解码器的数目及每个解码器的配置文件/层级来暴露解码能力，以使得DASH客户端现在可对于是否执行Xlink或MPD链接或类似机制有意义。信令亦可意味不同操作点，诸如具有X配置文件/层级的N个解码器或具有Y配置文件/层级的Z个解码器。

图10进一步说明，客户端、装置40、服务器等的关于图1至图9所呈现的上述实施例及描述中的任一个可扩展至如下范围：所提供服务被扩展至时间变化的空间场景不仅在时间上变化，而且还取决于另一参数而变化的范围。举例而言，图10说明图1的变型，其中在服务器上得到多个可用媒体片段针对观察中心100的不同位置描述场景内容30。在图10中所示的示意图中，场景中心被描绘为仅沿着一个方向X变化，但明显的，观察中心可沿着多于一个空间方向(诸如二维地或三维地)变化。举例而言，这对应于用户的用户位置在特定虚拟环境中的改变。取决于虚拟环境中的用户位置，可获得的视图改变，且相应地，场景30改变。因此，除了描述场景30经细分为图块及时间片段以及不同质量的媒体片段外，其他媒体片段针对场景中心100的不同位置描述场景30的不同内容。装置40或选择器56分别取决于观察区段位置及至少一个参数(诸如参数X)而计算多个46媒体片段中的将在选择程序内提取的媒体片段的地址，且可接着使用计算出的地址从服务器提取这些媒体片段。为此目的，媒体呈现描述可描述取决于图块索引、质量索引、场景中心位置以及时间t的功能，且产生相应媒体片段的对应地址。因此，根据图10的实施例，媒体呈现描述可包含此计算规则，除了上文关于图1至图9所阐述的参数以外，所述计算规则还取决于一个或多个额外参数。参数X可被量化至层级中的任一个上，针对所述层级，相应场景表示通过服务器20中的多个46媒体片段内的对应媒体片段而被编码。

作为替代方案，X可为定义观察深度(亦即在径向上与场景中心100的距离)的参数。尽管在观察中心部分X不同的不同版本中提供场景允许用户“走”过场景，但在观察深度不同的不同版本中提供场景可允许用户在场景中来回地“径向变焦”。

针对多个非同心视口，MPD因此可使用当前视口的位置的另一信号通知。信号通知可在片段、表示或时段层级或其类似物上进行。

非同心球体：为了使用户移动，不同球体的空间关系应在MPD中用信号通知。此信号通知可通过相对于球体直径的任意单位的坐标(x,y,z)来进行。另外，应针对每一球体指示球体的直径。球体可“足够良好”以供处于其中心及额外空间(内容针对其将良好)中的用户使用。若用户可移动超过所传信的直径，则应使用另一球体以用于展示内容。

视口的例示性信令可相对于空间中的预定义中心点进行。将相对于彼中心点传信每一视口。在MPEG-DASH中，此可(例如)在AdaptationSet元素中传信。

最后，图11说明诸如或类似于上文关于附图标记74所描述的信息的信息可驻存在视频比特流110中，视频112被编码至所述视频比特流中。解码此视频110的解码器114可使用信息74来确定视频112内的聚焦区域116的大小，用于解码视频110的解码能力应集中至所述聚焦区域。举例而言，信息74可在视频比特流110的SEI信息内输送。举例而言，聚焦区域可专门地被解码，或解码器114可被配置为在聚焦区域处，而非(例如)在左上方图像角落处，开始解码视频的每一个图像，和/或解码器114可在已解码聚焦区域116后停止解码视频的每一个图像。另外或替代地，信息74可存在于数据流中以仅用于转发至客户端或片段选择器的后续显现器或视口控制或流媒体装置，以用于决定哪些片段要下载或流媒体化以便完全或以增加或预定质量覆盖空间区段。举例而言，如上文所概述，信息74指示推荐的优选区域，作为置放观察区段62或区段66以与此区域一致或覆盖或追踪此区域的推荐。信息74可由客户端的片段选择器使用。正如相对于关于图4至图7c的描述为真，信息74可绝对地设置区域116的尺寸(诸如以图块的数目计)，或可例如根据用户输入等而设置区域移动所用的区域116的速度，以便在时空上跟随视频的感兴趣内容，从而缩放区域116以便随速度的指示增加而增加。

尽管已在装置的上下文中描述一些方面，但显然，这些方面亦表示对应方法的描述，其中块或装置对应于方法步骤或方法步骤的特征。类似地，方法步骤的上下文中所描述的方面亦表示对应装置的对应块或对象或特征的描述。可由(或使用)硬件装置(例如，微处理器、可编程计算机或电子电路)执行方法步骤中的一些或全部。在一些实施例中，可由此装置执行最重要的方法步骤中的一个或多个。

上文出现的信号(诸如，经流媒体化的信号、MPD或所提及信号中的任何其他信号)可存储于数字存储介质上，或可在传输介质(诸如，无线传输介质或有线传输介质，诸如因特网)上传输。

取决于某些实施要求，本发明的实施例可以硬件或以软件实施。可使用其上存储有电子可读控制信号的数字存储介质来执行所述实施，数字存储介质例如软盘、DVD、蓝光(Blu-Ray)、CD、ROM、PROM、EPROM、EEPROM或闪存，电子可读控制信号与可编程计算机系统协作(或能够协作)以使得执行相应方法。因此，数字存储介质可为计算机可读的。

根据本发明的一些实施例包含具有电子可读控制信号的数据载体，电子可读控制信号能够与可编程计算机系统协作，以使得执行本文中所描述的方法中的一个。

通常，本发明的实施例可实施为具有程序代码的计算机程序产品，当计算机程序产品在计算机上执行时，程序代码操作性地用于执行方法中的一个。程序代码可(例如)存储于机器可读载体上。

其他实施例包含存储于机器可读载体上，用于执行本文中所描述的方法中的一个的计算机程序。

换言之，因此，发明方法的实施例为计算机程序，其具有用于在计算机程序于计算机上执行时，执行本文中所描述的方法中的一个的程序代码。

因此，本发明方法的另一实施例为数据载体(或数字存储介质，或计算机可读介质)，其包含记录于其上的用于执行本文中所描述的方法中的一个的计算机程序。数据载体、数字存储介质或所记录介质通常为有形的和/或非瞬变的。

因此，本发明方法的另一实施例为数据流或信号序列，其表示用于执行本文中所描述的方法中的一个的计算机程序。数据流或信号序列可(例如)被配置为经由数据通信连接(例如，经由因特网)而传送。

另一实施例包括被配置为或适于执行本文中所描述的方法中的一个的处理构件，例如计算机或可编程逻辑设备。

另一实施例包含计算机，所述计算机于其上安装有用于执行本文中所描述的方法中的一个的计算机程序。

根据本发明的另一实施例包含被配置为(例如，以电方式或以光学方式)传送用于执行本文中所描述的方法中的一个的计算机程序至接收器的装置或系统。接收器可(例如)为计算机、移动设备、存储设备等。装置或系统可(例如)包含用于传送计算机程序至接收器的文件服务器。

在一些实施例中，可编程逻辑设备(例如，现场可编程门阵列)可用以执行本文中所描述的方法的功能性中的一些或全部。在一些实施例中，现场可编程门阵列可与微处理器协作，以便执行本文中所描述的方法中的一个。通常方法优选地由任何硬件装置执行。

本文中所描述的装置可使用硬件装置或使用计算机或使用硬件装置与计算机的组合来实施。

本文中所描述的装置或本文中所描述的装置的任何组件可至少部分地以硬件和/或以软件来实施。

本文中所描述的方法可使用硬件装置或使用计算机或使用硬件装置与计算机的组合来执行。

本文中所描述的方法或本文中所描述的装置的任何组件可至少部分地由硬件和/或由软件来执行。

上述实施例仅说明本发明的原理。应理解，本领域的技术人员将显而易见本文中所描述的配置及细节的修改及变化。因此，其仅意欲由所附的专利权利要求的范围限制，而非由通过描述及解释本文中实施例所呈现的特定细节限制。

参考文献

[A1]ISO/IEC 23009-1:2014,Information technology--Dynamic adaptivestreaming over HTTP(DASH)--Part 1:Media presentation description and segmentformats