简单聚合格式同步层分组的结构、提供方法和其用户终端

摘要

提供了一种简单聚合格式(SAF)同步分组结构，其包括SAF同步分组报头和SAF同步分组有效负荷，并且复用包括场景描述基本流的多样化的基本流。所述SAF同步分组报头包括与在SAF同步分组有效负荷中包括的访问单元有关的时间信息；并且所述SAF同步分组有效负荷包括关于访问单元的报头信息和指示访问单元的有效负荷信息。因为本发明可以有效和简单地将多样化的基本流复用为一个数据流，所以同步的数据传输是可能的。因为本发明容纳MPEG-4系统的同步层分组，所以它可以容易地与MPEG-4系统集成，并且利用MPEG-4同步层分组的优点，如访问单元或降级优先级的概念。

说明书

本申请是申请日为2005年1月17日、申请号为200580031738.3、发明名称为“简单聚合格式同步层分组结构及其服务器系统”的发明专利申请的分案申请。

技术领域

本发明涉及简单聚合格式(SAF)同步分组结构。

背景技术

移动图像专家组(MPEG)系统标准包括用于场景的二进制格式(BIFS)，它是用于多样化多媒体的基于对象的自由表示并且与用户交互的场景描述标准。BIFS是通过修改和补充虚拟现实建模语言(VRML)并且使文本数据转换为二进制数据以提高传输效率获得的，该虚拟现实建模语言是用于表示三维模型的标准。当最初建立BIFS时，BIFS的主要应用领域是交互广播(如电子节目指南(EPG))或因特网应用(如游戏和门户web站点)。但是，这些领域的大部分市场已经由为每个领域规定的标准技术预先占领，并且很少有应用BIFS的场合。

在这样的情况下，移动终端中的动画服务作为BIFS新的应用领域出现。至于在移动终端中提供动画服务的技术，存在可扩展向量图形(SVG)，它在万维网联盟(W3C)中标准化并用作第三代合伙项目(3GPP)中的移动标准。而且，韩国移动通信行业正在准备或部分地提供了基于Flash的服务，该服务是广泛应用在因特网上的一种技术。但是SVG是基于文本的语言，并且当发送或存储数据时，它效率低。Flash技术不能长时间使用，因为它有这样的问题：后来的服务可能从属于特定商业公司的解决方案。

基于BIFS的动画技术被认为是可以适当地解决这两个问题的替代，但是因为BIFS的开发未集中在移动应用作为它的主要应用领域，所以它的问题在于，它具有稍微高的复杂度。

发明内容

技术问题

因此，本发明的目的是提供一种能够简单和有效地将不同的基本流(ES)复用为数据流的配置。该基本流包括：轻量应用场景表示(LASeR)、视频、音频、图像、字体和元数据。这里，通过使用表示简单二维动画片内容需要的节点和命令，LASeR被用于定义新的场景表示，该简单二维动画片内容被认为要使用在用于场景的二进制格式(BIFS)的功能中的移动应用。由移动终端中工作的程序所要求的存储器的大小应该被减小到50Kb左右，并且降低了复杂度要求，同时通过简化要求复杂浮点运算的量化技术，最小化性能的降级。

根据本发明的又一方面，提供了一种用于简单聚合格式SAF同步层分组的结构，用于复用包括场景描述基本流的多样化的基本流，该结构包括：SAF同步层分组报头；以及SAF同步层分组有效负荷，其中所述SAF同步层分组报头包括与在SAF同步分组有效负荷中包括的访问单元有关的时间信息；并且所述SAF同步层分组有效负荷包括关于访问单元的报头信息和指示访问单元的有效负荷信息。

根据本发明的又一方面，提供了一种服务器系统，包括：简单聚合格式(SAF)编码器，用于基于SAF同步层分组结构将包括场景描述基本流的多样化基本流转换为一个数据流或文件；以及发送器，用以发送数据流或文件到用户终端，其中，所述SAF同步层分组结构包括SAF同步层分组报头和SAF同步层分组有效负荷，并且所述SAF同步层分组报头包括与在SAF同步分组有效负荷中包括的访问单元有关的时间信息，而所述SAF同步层分组有效负荷包括关于访问单元的报头信息和指示访问单元的有效负荷信息。

根据本发明的又一方面，提供了一种用户终端，包括：接收器，用于接收在简单聚合格式SAF同步层分组结构中得到的数据流或文件；SAF解码器，用于接收所述数据流或文件，并且产生包括场景描述基本流的多样化的基本流；以及渲染器，用于处理和指示所述基本流，其中，所述SAF同步层分组结构包括SAF同步层分组报头和SAF同步层分组有效负荷，以及所述SAF同步层分组报头包括与在SAF同步分组有效负荷中包括的访问单元有关的时间信息，而所述SAF同步层分组有效负荷包括关于访问单元的报头信息和指示访问单元的有效负荷信息。

根据本发明的又一方面，提供了一种用于提供简单聚合格式SAF同步层分组的方法，包括如下步骤：a)通过使用SAF同步层分组结构将包括场景描述基本流的多样化基本流转换为数据流或文件；b)发送所述数据流或文件到用户终端，其中，所述SAF同步层分组结构包括SAF同步层分组报头和SAF同步层分组有效负荷，并且所述SAF同步层分组报头包括与在SAF同步分组有效负荷中包括的访问单元有关的时间信息，而所述SAF同步层分组有效负荷包括关于访问单元的报头信息和指示访问单元的有效负荷信息。

根据本发明的又一方面，提供了一种用于提供简单聚合格式SAF同步层分组的方法，包括如下步骤：a)接收具有SAF同步层分组结构的数据流或文件；b)基于所接收的数据流或文件来产生包括场景描述基本流的多样化的基本流；以及c)处理和指示所述基本流，其中，所述SAF同步层分组结构包括SAF同步层分组报头和SAF同步层分组有效负荷，以及所述SAF同步层分组报头包括与在SAF同步分组有效负荷中包括的访问单元有关的时间信息，而所述SAF同步层分组有效负荷包括关于访问单元的报头信息和指示访问单元的有效负荷信息。

技术解决方案

根据本发明的一个方面，为了复用包括场景描述基本流的多样化的基本流，提供了一种用于简单聚合格式(SAF)同步层分组的结构，该结构包括：SAF同步层分组报头；和SAF同步层分组有效负荷。这里，所述SAF同步层分组报头包括与在SAF同步分组有效负荷中包括的访问单元有关的时间信息；并且所述SAF同步层分组有效负荷包括：关于访问单元的报头信息，以及指示访问单元的有效负荷信息。

从下面参照附图的详细说明可以使本发明的目的、特征和优点清楚，因此，本发明的技术概念可以由本发明所属的技术领域的普通技术人员容易地实现。

有益效果

根据本发明，通过使用具有访问单元类型和流标识符(ID)字段的简单聚合格式(SAF)同步层分组结构，多样化的基本流可以以简单和有效的方式复用为数据流。而且，因为轻量应用场景表示(LASeR)场景描述基本流，用诸如视频和音频之类的相对基本流，按一个数据流的形式发送，所以可以使数据发送同步。另外，因为本发明容纳了移动图像专家组4(MPEG-4)系统的同步层分组，所以它可以容易地与MPEG-4系统集成，并且它可以利用MPEG-4同步层分组的优点，如访问单元或降级优先级的概念。

附图说明

从下面与附图一起给出的优选实施例的说明，本发明上面的和其它目的和特征将变得明显，在附图中：

图1是图示根据本发明实施例的系统的框图；

图2是描述根据本发明的简单聚合格式(SAF)同步层分组的图；

图3是显示根据本发明的SAF同步层分组报头的图；

图4是图示根据本发明的SAF同步层分组有效负荷的图；

图5是呈现根据本发明的SAF同步层分组有效负荷中的访问单元类型的表格；

图6是描述本发明的SAF同步层分组有效负荷中的访问单元类型是0x01和0x02时有效负荷的结构的图；以及

图7是图示本发明的SAF同步层分组有效负荷中的访问单元类型是0x06时有效负荷的结构的图。

具体实施方式

以下，将参照附图详细说明根据本发明的涉及轻量应用场景表示(LASeR)的实施例。

图1是显示根据本发明实施例的服务器系统和用户终端的框图。服务器系统10包括轻量应用场景表示(Lightweight Application ScenERepresentation)(LASeR)场景编码器1、简单聚合格式(SAF)编码器3和发送器5。LASeR场景编码器1接收用于场景的可扩展向量图形(SVG)文件或LASeR可扩展标记语言(XML)文件，并且产生压缩的LASeR场景描述基本流。SAF编码器3接收LASeR场景描述基本流和形成LASeR场景的基本流(如视频基本流、音频基本流、图像基本流、字体基本流和元数据基本流)，并且通过使用根据本发明的SAF同步层分组结构产生一个数据流。当然，SAF编码器3接收个别的基本流，并且以文件的形式输出它，例如‘.lsr’文件。通过广播频道或多样化的通信网络，如因特网协议(IP)网络、无线因特网或码分多址(CDMA)网络，由发送器5将数据流发送到用户终端20。

用户终端20包括：接收器21、SAF解码器23、LASeR场景解码器25和渲染器(renderer)29。SAF解码器23接收接收器21中接收到的数据流，并且产生LASeR场景描述基本流、视频基本流、音频基本流、图像基本流、字体基本流和元数据基本流。LASeR场景解码器25接收SAF解码器23的输出中的LASeR场景描述基本流，并且产生SVG文件或LASeR XML文件。存储器25存储SAF解码器23的输出中除了LASeR场景描述基本流外的基本流，即它存储视频基本流、音频基本流、图像基本流、字体基本流和/或元数据基本流。渲染器29接收SVG文件或LASeR XML文件，并且它接收存储在存储器27中的多样化的基本流，执行数据处理，并且提供丰富的媒体数据服务。

图2显示了根据本发明的SAF同步层分组的结构。SAF同步层分组包括SAF SL分组报头和SAF SL分组有效负荷。SAF同步层分组结构的代码如下：

class SAF_SL_Packet{

SAF_SL-PacketHeader slPacketHeader；

byte[slPacketHeader.accessUnitLength]slPacketPayload；

}

图3显示了根据本发明的SAF同步层分组报头的结构。SAF同步层分组报头使得可能正好在数据传输期间存在数据损失的情况下检查分组的连续性，并且以编码的形式发送时间戳以及与其有关的信息。下面是用于SAF同步层分组报头的结构的代码。

class SAF_SL_PacketHeader{

bit(1)accessUnitStartFlag；

bit(1)accessUnitEndFlag；

bit(14)packetSequenceNumber；

const bit(1)reserved＝1；

bit(4)degradationPriority；

bit(1)randomAccessPointFlag；

const bit(1)reserved＝0；

const bit(1)reserved＝1；

bit(32)compositionTimeStamp；

uint(16)accessUnitLength；

}

以下，将描述组成SAF同步层分组报头的字段。

Access Unit Start Flag(访问单元开始标志)(accessUnitStartFlag)：当accessUnitStartFlag值为1时，当前SAF同步层分组有效负荷的第一个字节表示SAF访问单元的开始。访问单元代表在某个时间被表示的数据。例如，视频数据的视频对象平面(VOP)对应于一个访问单元。

Access Unit End Flag(访问单元结束标志)(accessUnitEndFlag)：当accessUnitEndFlag值为1时，它表示当前SAF同步层分组有效负荷的最后一个字节是SAF访问单元的结束。

Packet Sequence Number(分组顺序号)(packetSequenceNumber)：用模计数器按执行同步层分组化的顺序给出序号，并且该序号称为分组序号。在SAF解码器中检查分组序号，并且如果该号码不连续，则认为丢失了一个或更多的SAF同步层分组。当它发生时，将差错通知给消费该同步层分组的模块，该模块是图1的SAF解码器23、LASeR场景解码器25或渲染器29。

Degradation Priority(降级优先级)(degradationPriority)：degradationPriority显示作为当前SAF同步层分组的有效负荷发送的对象的相对重要性。该信息用于在解码器中计算发送的对象的功能退化(graceful degradation)。如果解码器没有足够的计算能力对所有的场景的对象解码，则根据降级优先级确定每个对象的功能退化值。degradationPriority(降级优先级)值越小，对象的功能退化值变得越大。例如，具有10的degradationPriority(降级优先级)的同步层分组‘b’内的对象的功能退化小于具有5的degradationPriority(降级优先级)的同步层分组‘a’内的对象的功能退化。

Random Access Point Flag(随机访问点标志)(randomAccessPointFlag)：当randomAccessPointFlag(随机访问点标志)值为1时，它表示作为当前SAF同步层分组有效负荷发送的基本流的数据可随机访问。

Composition Time Stamp(合成时间戳)(compositionTimeStamp)：compositionTimeStamp表示关于当作为所述SAF同步层分组有效负荷发送的对象在解码器中形成场景时所需要的时间的信息。由当前同步层分组发送的访问单元的第一个合成单元的合成时间(t_c)根据等式1，由当前同步层分组中存在的合成时间戳计算。

t_c＝(compositionTimeStamp/1000+k*2³²/1000)    等式1

其中，k表示CompositionTimeStamp计数器已经环绕的次数。

虽然作为两个不同的同步层分组有效负荷发送的对象的流标识符(ID)互相不同，但是同步层分组的合成时间戳值可以相同。

Access Unit Length(访问单元长度)(accessUnitLength)：accessUnitLength值表示SAF分组内SAF访问单元的长度。当SAF访问单元被分为几个SAF同步层分组时，accessUnitLength字段发送SAF分组的段大小信息。因此，通过将发送某个SAF访问单元的段的所有accessUnitLength字段的值加起来，可以知道完整的SAF访问单元的整个长度。

图4图示了根据本发明的SAF同步层分组有效负荷的结构，并且用于分组结构的代码如下：

class safAU{

bit(4)accessUnitType；

bit(12)streamID；

bit(8)[slPacketHeader.accessUnitLength-2]payload；

}

Access Unit Type(访问单元类型)(accessUnitType)：accessUnitType表示合成SAF访问单元的有效负荷的种类。如图5中所示，提供每个访问单元类型的值和对应于每个访问单元类型的数据的类型，访问单元类型可以是简单的解码器配置描述符(SimpleDecoderConfigDescriptor)、流的结尾(EndOfStream)、基本流访问单元(ESAccessUnit)、SAF会话的结尾(EndOFSAFSession)或高速缓冲存储器单元(CacheUnit)。

Stream Identifier(流标识符)(streamID)：streamID指示当前访问单元所属的基本流的唯一标识符信息。例如，视频基本流包括这样的流标识符，如视频基本流1、视频基本流2、视频基本流3...、视频基本流n。

Payload(payload)：Payload是基于访问单元的对象数据的一部分。通过形成SAF同步层分组报头的accessUnitLength字段信息可以知道有效负荷的长度。有效负荷的数据由图5中所示的accessUnitType划分。

例如，当accessUnitType值是0x01或0x02时，有效负荷包括SimpleDecoderConfigDescriptor，如LASeR sceneHeader、mediaHeader和fontHeader。这里mediaHeader包括视频报头、音频报头或图像报头。

当accessUnitType值是0x04时，传送有效负荷中的包括LASeR场景单元、媒体单元或字体单元的访问单元(参见图5的“0x04”)。当accessUnitType值是0x06时，有效负荷包括高速缓冲存储器单元。这里，媒体单元包括视频单元、音频单元或图像单元。

图6描述了本发明的SAF同步层分组有效负荷的访问单元类型值是0x01和0x02时发送的SimpleDecoderConfigDescriptor的结构，其代码如下：

class SimpleDecoderConfigDescriptor{

bit(8)objectTypeIndication；

bit(8)streamType；

bit(16)bufferSizeDB；

SimpleDecoderSpecificInfo decSpecificInfo[0..1]；

}

SimpleDecoderConfigDescriptor提供了关于用于基本流的解码器的类型和所请求的解码器资源的信息。需要该信息以确定已经接收到基本流的用户终端是否能够对接收到的基本流解码。流类型指示流的种类，而某个解码器特定信息描述符包括流特定信息，从而为当前层的流特定格式准备解码器。

Object Type Indication(对象类型指示)(objectTypeIndication)：ObjectTypeIndication根据MPEG-4系统标准规范，即ISO/IEC 14496-1中存在的对象类型指示(objectTypeIndication)表，指示关于需要解码当前基本流对象的解码器类型的信息。例如，在场景描述数据的情况下，它表示是需要MPEG-4系统版本1解码器还是需要MPEG-4系统版本2解码器。

Stream Type(流类型)(streamType)：streamType根据MPEG-4系统标准规范，即ISO/IEC 14496-1中定义的streamType表，指示当前基本流的类型。例如，它辨别基本流是视频数据还是音频数据。

Buffer Size Database(缓冲大小数据库)(bufferSizeDB)：bufferSizeDB指示按字节用于基本流的解码缓冲的大小。

Decoder Specific Information(解码器特定信息)(decSpecificInfo)：decSpecificInfo需要时可以以多个阵列形式合成，它是包括解码基本流所需要的特定信息的字段。decSpecificInfo值基于流类型和缓冲大小数据字节确定。

图7图示了根据本发明SAF同步层分组有效负荷中的访问单元类型是0x06时发送的高速缓冲存储器单元的结构。

class cacheUnit{

bit(1)replace；

bit(1)permanent

bit(6)reserved＝0；

unit(16)urLength；

byte(urLength)url；

byte(SL_PacketHeader.accessUnitLength-urLength-5)payload；

}

高速缓冲存储器对象发送统一资源定位符(URL)和多样化的基本流，该高速缓冲存储器对象是形成高速缓冲存储器单元分组的有效负荷的数据。如果用户终端请求URL，并且对请求的URL已经具有匹配的高速缓冲存储器单元，则用户终端不向服务器查询数据，但是它直接装载通过使用URL它已有的相应的数据。一旦寻找到高速缓冲存储器单元，就在存储器中存储它，并且存储的高速缓冲存储器单元可以是永久的。高速缓冲存储器对象在由接收时间和通过将同步层分组报头内合成时间戳字段中提供的基于第二的时间和该接收时间相加所得的时间定义的持续时间内存在。该持续时间过去之后，高速缓冲存储器对象的有效周期完成，并且不能执行包括高速缓冲存储器对象的SAF内容。

Replace(代替)：当代替值是1时，先前的高速缓冲存储器单元与相对于相同URL作为当前同步层分组有效负荷发送的高速缓冲存储器单元互换。当代替值是0时，作为当前同步层分组有效负荷发送的高速缓冲存储器单元被添加到具有相同URL的先前的高速缓冲存储器单元。

Permanent(永久)：当永久值是1并且用户终端具有足够的资源时，即使SAF分组的合成时间戳中定义的时间已经过去之后，当前高速缓冲存储器单元仍然保留在用户终端中。

URL Length(URL长度)(urlLength)：urlLength以正整数指示URL数据的长度，该正整数基于字节。

URL(url)：URL指示对应于有效负荷内携带和发送的场景的URL数据。

Payload(有效负荷)：有效负荷是实际数据，并且有效负荷字段的大小可以通过同步层分组报头的访问单元长度知道。当合成特定的场景并且访问单元类型是0x06时，有效负荷数据代替当前的场景，或者如果有效负荷的访问单元类型不是0x06，则有效负荷数据被添加到当前的场景。

尽管已经相对于某些优选实施例说明了本发明，但是本领域的技术人员明白，可以在不背离在权利要求中定义的本发明的范围的情况下，进行各种改变和修改。