用于运动图像专家组媒体传输中速率适配的方法和设备

摘要

提供了用于发送或接收媒体内容的运动图像专家组(MPEG)媒体传输(MMT)装置的设备和方法。MMT装置包括存储单元和控制器。控制器配置为测量可用带宽、基于可用带宽和当前传输带宽接收媒体内容的第一经编码的流的片段和相同媒体内容的第二经编码的流的片段。混合的经编码的流包括从第一经编码的流接收的片段和从第二经编码的流接收的片段。

说明书

技术领域

本申请通常涉及媒体内容传送，并且更具体地涉及通过运动图像专家组(MPEG)媒体传输(MMT)的媒体内容传送。

背景技术

在2012年移动视频流量已经增加至占移动网络流量的大半，并且估计这个数字到2017年将达到三分之二。移动数据流量被期望为在相同时间范围内以八个百分点增长。

该趋势对移动操作者和他们的核心网络的规格具有显著影响。在应对该趋势时，出现了巨大的挑战和权衡。例如，如何实现对网络容量的最佳使用以及如何适当地设计网络规格。

发明内容

提供了用于发送或接收媒体内容的运动图像专家组(MPEG)媒体传输(MMT)装置。MMT装置包括存储单元和控制器。控制器配置为测量可用带宽、基于可用带宽和当前传输带宽接收媒体内容的第一流的片段和媒体内容的第二流的片段。混合的流包括从第一流接收的片段和从第二流接收的片段。

提供了用于发送媒体内容的MMT装置。MMT装置包括存储单元和控制器。控制器配置为测量可用带宽，以及基于可用带宽和当前传输带宽从发送媒体内容的第一流的片段转换至发送媒体内容的第二流的片段。混合的流包括第一流发送的片段和第二流发送的片段。

提供了用于传送媒体内容的方法。方法包括测量可用带宽，以及基于可用带宽和当前传输带宽从发送媒体内容的第一流的片段转换至发送媒体内容的第二流的片段。混合的流包括第一流发送的片段和第二流发送的片段。

在进行下文的详细描述之前，说明在本专利文件全文中使用的某些单词和短语的定义可能是有益的：用语“包括”和“包含”以及它们的衍生词意味着包括而没有限制；用语“或”是包括性的，意味着和/或；短语“与...关联的”和“与其关联的”以及它们的衍生词，可意味着包括、包括在...内、与...互相连接、包含、包含在...内、连接至或与...连接、联接至或与...联接、可与...交流的、与...配合、交错、并列、接近于、结合至或与...结合、具有、具有...的性质等；以及用语“控制器”意味着控制至少一个操作的任何装置、系统或它们的部分，这种设备例如可以以硬件、固件或软件、或它们中的至少两个的一些组合实现。应注意的是，与任何特定控制器关联的功能可以是集中的或分散的，不论当地地或远程地。在整个该文件中提供了用于某些单词和短语的定义，本领域普通技术人员应理解的是，在许多情况下(即使不是大多数情况)，这种定义适用于这些定义的措辞和短语的在先使用以及将来使用。

附图说明

为了更完整的理解本公开及其优点，现在将参照附图进行下列描述，附图中相同的附图标号表示相同的部分，其中：

图1示出了根据本公开实施方式的通过MMT规定的三个功能区；

图2示出了通过根据本公开实施方式的设备的MMT会话中比特流无缝转换的示意图；

图3示出了通过根据本公开实施方式的MMT装置的MMT会话中的比特流无缝转换；

图4示出了根据本公开实施方式的电子装置；以及

图5示出了根据本公开实施方式的在异构网络上对不同客户的可伸缩视频传送。

具体实施方式

在本专利文件中，下文讨论的图1至图5，以及用于描述本公开原理的各种实施方式都只是以说明的方式，并且不应被解释为以任何方式限制本公开的范围。本领域技术人员应理解，本公开的原理可在任何适当配置的电子装置中实现。

运动图像专家组(MPEG)媒体传输(MMT)指定了一种允许在异构IP网络环境上实现多媒体服务的现代媒体传送方案。所传送的经编码的媒体数据包括：需要在指定时间内对特定单位的数据进行同步解码和呈现的视听媒体数据，即时间性的数据(timeddata)；以及可基于服务上下文或基于用户的互动在于任意时间中解码和呈现的其它类型的数据，即非时间性的数据(non-timeddata)。

MMT设计为使经编码的媒体数据通过使用因特网协议(例如，UDP)的基于包的传送网络来传送。这样的传送环境的多个特征包括，每个包从发送实体到接收实体的传送的端对端延迟不总是恒定的。此外，底层网络提供从媒体数据区分信令消息的方法。

为了在异构IP网络环境上高效并有效地传送经编码的媒体数据，MMT提供了下列要素：

逻辑模型，构成由用于混搭应用的各种部件组成的内容；

数据传达(convey)信息的结构，关于用于传送层处理(例如，分包和适配)的经编码的媒体数据；

传送媒体的分包方法和包结构，独立于传输控制协议(TCP)或用户定义的协议(UDP)上使用的特定类型的、包括混合传送的媒体或编码方法；

信令消息的格式，管理媒体内容的呈现和传送；以及

信息的格式，在通信层之间交换以便于跨层通信。

图1示出了根据本公开实施方式的MMT规定的三个功能区。图1中所示的实施方式仅用于说明的目的，在不背离本公开范围的条件下可使用其它实施方式。

封装层102规定了媒体内容的逻辑结构、MMT包、和待由兼容MMT的实体处理的数据单元的格式，该格式可使用国际标准组织基本媒体文件格式(ISOBMFF)。MMT包指定了包括媒体内容的部分和它们之间的关系以提供呈现和适应性传送所必需的信息。数据单元的格式被规定为将待存储或待承载的经编码的媒体封装为传输协议的有效负载，并且该格式还被规定为便于在不同传输协议之间转换。

传送功能区104规定了应用层协议和有效负载的格式。相比于用于多媒体传送的传统应用层协议，该应用层协议提供用于传送MMT包的增强的特征，包括多路传输。有效负载格式被规定为承载经编码的媒体数据，其中，经编码的媒体数据独立于特定媒体类型或编码方法。

信令功能区106规定了消息的格式以管理MMT包的传送和消耗。针对消耗管理的消息用于以信号通知MMT包的结构，并且针对传送管理的消息用于以信号通知有效负载格式的结构和协议的配置。

随着因特网网络和移动网络以及蜂窝网络上视频流的巨大增长，对巨量的流量的处理日益变得具有挑战性。速率适配保证视频流应用的可伸缩性以及它们的对拥塞信号的响应性，以减轻拥塞并保证服务连续性。目前的趋势是在超级文本传输协议(HTTP)上执行视频流，接下来在TCP/因特网协议(IP)上部署，并进行拥塞控制。在网络拥塞的情况下，如果在应用层没有执行合适的速率适配，则TCP将节流导致回放中断的流量。在这种情况下，由于一般不在服务器上保持会话，所以速率适配主要是客户端的责任。

在UDP/IP的媒体流传输的情况下，例如使用实时传输协议(RTP)或MMT，发送方负责速率适配。当检测到拥塞时，发送方需要调节其传输速率以防止不必要地加剧拥塞恶化并引起接收方处更多的包丢失和失真。

图2示出了通过根据本公开实施方式的设备的MMT会话中用于比特流无缝交换的过程。虽然流程图描绘了一系列有顺序的步骤，但是除非明确说明，否则不应推断出：与执行的特定顺序有关的次序、步骤的执行或步骤执行中的一些部分是串行的而不是并行的或以重叠方式进行的，或所描述的步骤的执行是排他的，或不存在介于其间的步骤或中间步骤。所描述的示例中描述的过程通过在例如移动站中的发射器链来实现。

在图2所示的过程中，速率适配使用有限集或速率适配技术来执行，例如，帧和片(slice)丢弃以及比特流转换。本公开的实施方式提供用于在为流媒体数据使用MMT时执行速率适配的方法和设备。在某些实施方式中，MMT发送方(例如，图5中的MMT服务器504)连续检测客户端或客户端集的可用带宽。MMT服务器504可通过主动测量带宽或通过来自客户端(多个客户端)的反馈报告来检测可用带宽。此后，MMT服务器504评估对速率适配的需要。如果存在需要，则MMT服务器504首先检测目标比特率(通常低于可用比特率)是否能够通过暂时的比特流细化(thinning)来实现。如果MMT服务器504不能实现目标比特率，则MMT服务器504将比特流转换至更低比特率的比特流。如果可用带宽足够大于当前传输比特率，则MMT服务器504转换至更高比特率的比特流。

MMT服务器504通过丢弃包含较不重要媒体数据的MMT协议(MMTP)包来实现比特流细化。那些较不重要的媒体数据是可丢弃的，这意味着丢弃较不重要的媒体数据将不会导致错误传播。

在块202中，MMT装置测量可用带宽。MMT装置可以是发送内容的MMT服务器504。MMT装置还可以是接收内容并基于可用带宽决定是否请求MMT服务器504转换至不同比特率的MMT客户端506-514中的一个。MMT装置还在片段310发送至MMT客户端506-514时基于可用带宽来确定MMT服务器504是否需要丢弃媒体片段单元(MFU)。

在块204中，MMT装置将可用带宽和当前的传输带宽进行比较。如果可用带宽不小于当前传输带宽，则过程继续至块206。如果可用带宽小于当前传输，则过程继续至块208。

在块206中，MMT装置将可用带宽与当前传输带宽和因子1+β的乘积以及阀值中的一个或多个进行比较。如果可用带宽大于当前传输带宽与因子1+β的乘积以及阀值中的一个或多个，则过程继续至块210。如果可用带宽不大于当前传输带宽与因子1+β的乘积以及阀值中的一个或多个，则过程继续至块212。

在块208中，MMT装置将当前带宽和可用带宽与一个或多个可丢弃的媒体单元的大小的总和进行比较。如果当前带宽与可用带宽之差小于可丢弃的媒体单元的大小总和，则过程继续至块214。如果当前带宽与可用带宽之差不小于可丢弃的媒体单元的大小总和，则过程继续至块214。

在块210中，MMT装置转换到更高比特率的比特流。MMT装置基于可用带宽、当前带宽、以及可丢弃的媒体单元的大小的总和中的一个或多个来发起转换。

在块212中，MMT装置减少媒体单元丢弃。MMT装置基于可用带宽、当前带宽、以及可丢弃的媒体单元的大小的总和中的一个或多个来执行减少。

在块214中，MMT装置丢弃足够数量的丢弃的媒体单元。MMT装置计算可丢弃的媒体单元的数量。在由MMT客户端506-514中的一个进行计算时，MMT装置用通过信号将待丢弃的丢弃的媒体单元的数量发送至MMT服务器504。MMT服务器504基于可用带宽、当前带宽、和可丢弃的媒体单元的大小的总和中的一个或多个通过不向MMT客户端506-514发送某些可丢弃的媒体单元来丢弃该数量的可丢弃的媒体单元。

在块216中，MMT装置转换至更低比特率的比特流。MMT装置基于可用带宽、当前带宽、和可丢弃的媒体单元的大小的总和中的一个或多个发起转换。

图3示出了通过根据本公开实施方式的MMT装置的MMT会话中的比特流无缝转换。图3中所示的实施方式仅用于说明。在不背离本公开范围的条件下可使用其它实施方式。

可作为图5中的MMT服务器504的实施方式的MMT服务器306能够访问资源(asset)或媒体文件中的多个编码308，其中，每个编码308都处于不同比特率，例如，第一流302和第二流304。MMT服务器306生成用于所有可用比特流的每个媒体处理单元(MPU)的公共MPU元数据。MMT服务器306以影片片段等级执行比特流转换。MMT服务器306检测可用比特率，并且MMT服务器306基于可用比特率决定是否转换至更高或更低的比特率。在片段310被发送至MMT客户端312时，MMT服务器306还基于可用比特率决定是否丢弃媒体片段单元(MFU)。因为媒体解码器将不需再被重新初始化，所以通过生成公共MPU报头，MMT服务器306对MMT客户端312透明并无缝地执行转换。MMT客户端312配置为从MMT服务器306接收包括来自不同流302和304的片段的混合的流314。片段使用不同编码，但是使用公共报头和元数据以允许来自不同流的片段组合为可由MMT客户端312接收、解码、和呈现的单个混合的流314。

在某些实施方式中，MMT服务器306使用来自内容提供方的附加元数据决定是否丢弃媒体单元或转换至更低比特率的比特流。内容提供方可推荐用于特定时间段的用于视频比特流的最小帧率。如果得到的比特流的帧率低于所推荐的帧率，则MMT服务器306停止丢弃媒体单元并随后转换至更低比特率的比特流。

在某些实施方式中，MMT服务器306使用MMT片段报头中的信息和MFU报头中的信息预计算丢弃哪些媒体单元。MMT服务器306确定可被丢弃的媒体单元的大小以预计算从可丢弃的媒体单元中丢弃哪些媒体单元。

在某些实施方式中，以一个或多个比特率对媒体内容编码，并且MMT服务器306能够访问分别以一个或多个比特率编码的媒体内容中的一个或多个编码。MMT服务器306将用于媒体内容不同编码的配置信息进行分组，并使分组的配置信息对MMT客户端312可用。MMT服务器306将来自不同编码的媒体数据分组为内容片段，并在特定时间点选择一个内容片段以发送至MMT客户端312。所发送的内容片段具有不超过一个或多个媒体样本的最小时间重叠。

图4示出了根据本公开实施方式的电子装置。图4中所示的电子装置的实施方式仅用于说明。可在不背离本公开的范围的条件下使用电子装置的其它实施方式。

电子装置402包括天线405、射频(RF)收发器410、发送(TX)处理电路415、麦克风420、以及接收(RX)处理电路425中的一个或多个。电子装置402还包括扬声器430、处理单元440、输入/输出(I/O)接口(IF)445、键盘450、显示器455、以及存储器460中的一个或多个。处理单元440包括处理电路，处理电路配置为执行存储在存储器460中或处理单元440内的多个指令。存储器460还包括基本操作系统(OS)程序461和多个应用462。电子装置402是MMT装置的实施方式，例如，移动站(MS)、图3的MMT服务器306、图5的MMT服务器504、图3的MMT客户端312、图5的MMT客户端506-514等。电子装置402通过MMT发送、接收、或显示媒体内容。

射频(RF)收发器410从天线405接收由无线网络400的基站发送进来的RF信号。射频(RF)收发器410将进入的RF信号向下转换(down-convert)以产生中间频率(IF)或基带信号。IF或基带信号被发送至接收器(RX)处理电路425，其中，接收器(RX)处理电路425通过滤波、解码、和/或数字化基带或IF信号来产生经处理的基带信号。接收器(RX)处理电路425将经处理的基带信号传送至扬声器430(即，话音数据)或传送至处理单元440用于进一步的处理(例如，网页浏览)。

发射器(TX)处理电路415从麦克风420或来自处理单元440的其它输出基带数据(例如，网络数据、电子邮件、交互式视频游戏数据)接收模拟或数字语音数据。发射器(TX)处理电路415对输出的基带数据编码、复用、和/或数字化以产生经处理的基带或IF信号。射频(RF)收发器410从发射器(TX)处理电路415接收输出的经处理的基带或IF信号。射频(RF)收发器410将基带或IF信号向上转换(up-convert)至通过天线405发送的射频(RF)信号。

在某些实施方式中，处理单元440包括用于中央处理器(CPU)442的电路和在一个或多个分离装置中实现的图形处理单元(GPU)444。存储器460联接至处理单元440。根据本公开的一些实施方式，存储器460的一部分包括随机存取存储器(RAM)并且存储器460的另一部分包括用作只读存储器(ROM)的闪速存储器。

在某些实施方式中，存储器460是包括通过MMT传送媒体内容的程序指令的计算机可读介质。根据本公开的实施方式，当程序指令由处理单元440执行时，程序指令配置为使处理单元440、CPU442、和GPU444中的一个或多个执行各种功能和程序。根据本公开的某些实施方式，CPU442和GPU444被包括为设置在一个或多个印刷电路板上的一个或多个集成电路。

处理单元440执行存储在存储器460中的基本操作系统(OS)程序461以控制无线电子装置402的全部操作。在一个这样的操作中，根据众所周知的原理，处理单元440通过射频(RF)收发器410、接收器(RX)处理电路425、和发射器(TX)处理电路415控制前向信道信号的接收和反向信道信号的发射。

处理单元440能够执行位于存储器460中的其它处理和程序，例如，如本公开实施方式中描述的，用于通过使用去鸣振滤波器的可伸缩视频编解码器来编码或解码比特流的操作。根据执行过程的需要，处理单元440可将数据移入或移出存储器460。在某些实施方式中，处理单元440配置为执行多个应用462。处理单元440可基于OS程序461或响应于从基站接收的信号来操作多个应用462。处理单元440还联接至I/O接口445。I/O接口445使电子装置402能够连接至其它装置，例如，膝上型计算机、手持式计算机、和服务器计算机。I/O接口445是这些配件和处理单元440之间的通信路径。

处理单元440还可选性地联接至键盘450和显示单元455。电子装置402的操作者使用键盘450将数据输入进电子装置402中。显示器455可以是能够渲染来自网站的文本和/或至少有限的图形的液晶显示器。替代的实施方式可使用其它类型的显示器。

图5示出了根据本公开实施方式的在异构网络上对不同客户端的可伸缩视频传送。图5中所示的实施方式仅用于说明。在不背离本公开范围的条件下可使用其它实施方式。

异构网络502包括为MMT客户端506-514提供媒体内容(包括图像、音频、和视频)的MMT服务器504。MMT服务器504和MMT客户端506-514是MMT装置并且是电子装置402的实施方式。MMT服务器504通过异构网络502发送待由MMT客户端506-514接收的全分辨率视频流516。MMT客户端506-514基于至异构网络502的连接的类型、MMT客户端的类型、和网络的拥塞通过一个或多个比特率518-526和一个或多个分辨率530-538来接收全分辨率视频流516中的一些或全部。至异构网络502的连接的类型和比特率包括高速骨干网络连接528、每秒1000兆比特(Mbps)连接518、每秒312千比特(kbps)连接520、1Mbps连接522、4Mbps连接524、2Mbps连接526等。一个或多个分辨率530-538包括以60赫兹的1080逐行扫描(1080P)(1080p_60Hz)530、_10Hz的四分之一通用中间格式(QCIF)532、_24Hz的标清(SD)534、_60Hz的720逐行扫描(720p)536、720p_30Hz538等。客户端506-514的类型包括台式计算机506、移动电话508、个人数字助理(PDA)510、膝上型计算机512、平板计算机514等。

当异构网络502拥塞时，MMT服务器504开始或增加发送至MMT客户端506-514的视频流的MFU的丢弃，并且MMT服务器504使用更低比特率将更低分辨率的MFU发送至MMT客户端506-514。当异构网络502的拥塞减轻时，MMT服务器504减少发送至MMT客户端506-514的视频流的MFU的丢弃，并且MMT服务器504使用更高比特率将更高分辨率的MFU发送至MMT客户端506-514。

虽然多种特征已经在附图中示出和在上文中描述，但是可对附图进行各种改变。例如，图1和图3至图5中所示的部件的大小、形状、布置、和布局仅用于说明。每个部件均可具有任何合适的大小、形状、和大小，并且多个部件可具有任何合适的布置和布局。此外，可组合、进一步细分、或省略图1和图3至图5中的各种部件，并且可根据特定需要添加附加部件。此外，装置或系统中的每个部件均可使用用于执行所述功能(多个功能)的任何合适的结构(多个结构)来实现。此外，在图2中示出多个系列的步骤时，图2中的多个步骤可重叠、并行地发生、多次发生、或以不同顺序发生。

虽然已经通过示例性实施方式描述了本公开，但是还是可以向本领域技术人员提出各种改变和修改。即，本公开包括落在所附权利要求范围内的这些改变和修改。

本申请中的描述不应被解读为暗指：任何特定元件、步骤、或功能是必须归入权利要求范围的必需元素，其中，本申请要求保护的主题的范围仅由授权的权利要求限定。此外，除非精确的词语“用于...的装置”之后跟有分词，否则这些权利要求并不适用于35USC第112款第六段的规定。