在MPEG－4数据的传送和接收中使用的支持信号传输的终端

摘要

一种支持信号传输的终端,用于运动图象专家组(MPEG)－4数据的传送和接收。这种终端包括:视频编解码器,音频编解码器,多路复用器和系统控制器。系统控制器包括:视频性能记录部件;音频性能记录部件和系统性能记录部件。这种终端能够进行支持MPEG－4标准的信号传输,视频电信会议系统中的MPEG－4视频、音频和系统应用都以这种信号传输为基础。

说明书

本发明涉及一种支持视频会议的终端，特别涉及一种用支持视频远程通信会议的控制协议来记录运动图像专家组(MPEG)-4模式的通信参数的终端。

为了实现视频远程通信会议系统，国际电信联盟(ITU)开发了推荐标准H.323和H.324M。Internet工程任务组(IETF)推荐媒体网关控制协议(MGCP)用于支持在Internet上的基于分组的视频数据通信。与MPEG-4相关的标准，例如国际标准化组织(ISO)/国际电工委员会(IEC)14496，它们的开发适用于增强的视频数据处理。然而，常规的终端还不能支持MPEG-4标准。因此，需要一种支持视频会议的终端以支持MPEG-4标准。

为了解决上述问题，本发明的一个目的是提供一种在运动图像专家组(MPEG)-4数据的传送和接收中支持信号传输的终端，以便将信号传输应用于MPEG-4视频数据、音频数据和系统数据，。

因此，为了达到上述目的，依据本发明的终端包括：视频编解码器，用于进行视频编码/解码；音频编解码器，用于进行音频编码/解码；多路复用器，用于对编码数据进行多路复用和系统控制器，用于进行信号传输来协商终端性能。系统控制器包括：视频性能记录部件，用于记录决定视频性能的多个参数，这些参数中至少有一个是符合运动图像专家组(MPEG)-4标准的决定视频性能的参数；音频性能记录部件，用于记录决定音频性能的多个参数，这些参数中至少有一个是符合MPEG-4标准的决定音频性能的参数；系统性能记录部件，用于记录多个参数，这些参数中至少有一个是符合MPEG-4标准的决定系统性能的参数。

在国际标准化组织(ISO)/国际电工委员会(IEC)14496-2、ISO/IEC14496-3和ISO/IEC 14496-1标准中各自定义了符合MPEG-4标准的用于决定视频性能、音频性能和系统性能的参数。此外，假定终端采用H.323标准，该标准是由国际电信联盟-终端部门(ITU-T)定义的有关视频远程通信会议系统的标准，系统控制器基于H.245标准，该标准在涉及该标准的系统中指定了一种控制协议。作为选择，为了支持Internet上基于分组的视频数据通信，系统控制器可以基于媒体网关控制协议(MGCP)中的通话描述协议(SDP)，这是由Internet工程任务组(IETF)定义的。

为了决定一个符合MPEG-4标准和视频协议子集(visual profile)标准的视频协议子集，所述的视频性能记录部件定义一个协议元素，该元素至少包含下列参数中的一个：profileAndLevel-NBitL2,profileAndLevel-MainL4,profileAndLevel-MainL2,profileAndLevel-CoreL2,profileAndLevel-CoreL1,profileAndLevel-SimpleScalable,profileAndLevel-SimpleL3,profileAndLevel-SimpleL2和profileAndLevel-SimpleL1，它们对应于由符合MPEG-4第一版的ISO/IEC14496-2标准定义的视频协议子集：NBitL2,MainL4,MainL2,CoreL2,CoreL1,SimpleScalable,SimpleL3,SimpleL2和SimpleLl。在这种情况下，参数都定义为“BOOLEAN”，并且选择记录其中的一个。

此外，视频性能记录部件定义一个协议元素，该元素至少还包含下列参数中的一个：参数typicalVisualSessionSize，用于决定通话时间的长短；参数maximumTotalNumberOfObjects，用于决定每种类型的最大数量；参数maximumNumberDifferentQuantization-Table，用于决定不同量化表的最大数量；参数maxTotalReferenceMemory，用于决定对存储器的最大访问量；参数maximumNumberOfMBsec，用于决定每秒传送宏数据块的最大数量；参数costFunctionEquivalent，用于决定每秒传送宏数据块的数量；参数maximumVBVBufferSize，用于决定视频缓冲检验器(VBV)的最大缓冲区的大小；参数maxVideoPacketLength，用于决定视频数据分组的长度；参数maxSpriteSize，用于决定背景图像的大小；参数waveletRestrictions，用于决定子波滤波器的性能；参数maxBitrate，用于决定最大比特率；参数naxEnhancementLayersPerObject，用于决定每个对象加强层的最大数目，这是由符合MPEG-4第一版的ISO/IEC 14496-2指定的。

为了决定一个符合MPEG-4标准的音频话路协议子集及其级别，音频性能记录部件定义了一个协议元素，该元素至少包括下列参数之一：profileAndLevel-MainL4,profileAndLevel-MainL3,profileAndLevel-MainL2,profileAndLevel-MainL1,profileAndLevel-ScalableL4,profileAndLevel-ScalableL3,profileAndLevel-ScalableL2,profileAndLevel-ScalableL1,profileAndLevel-SpeechL2,profileAndLevel-SpeechL1,profileAndLevel-SynthesisL3,profileAndLevel-SynthesisL2,profileAndLevel-SynthesisL1。它们对应于由符合MPEG-4第一版的ISO/IEC 14496-1标准定义的音频话路协议子集：MainL4,MainL3,MainL2,MainL1,ScalableL4,ScalableL3,ScalableL2,ScalableL1,SpeechL2,SpeechL1,SynthesisL3,SynthesisL2和SynthesisL1。在这种情况下，参数都定义为“BOOLEAN”，并且选择记录其中的一个。

此外，音频性能记录部件最好定义至少还包括参数pcu或rcu的协议元素，参数pcu用于表示每秒百万次(MOPS)运算的处理器复杂度部件，参数rcu用于表示RAM复杂度部件，它们都是由符合MPEG-4第一版的ISO/IEC14496-1标准定义的。

音频性能记录部件最好定义至少还包括参数ausioSampling 16K、ausioSampling 22.05K和ausioSampling 48K之一的协议元素，这些参数用于决定音频采样的频率，是由符合MPEG-4第一版的ISO/IEC 14496-1标准定义的。

音频性能记录部件最好定义至少还包括下列参数之一的协议元素：参数numberOfMonoObjects，用于决定单声道对象的数量；参数numberOfStereoObjects，用于决定立体声对象的数量；参数numberOfSpeechObjects，用于决定话音对象的数量。这些参数是由符合MPEG-4第一版的ISO/IEC 14496-1标准定义的。

音频性能记录部件最好定义至少还包括下列参数之一的协议元素：参数memoryForData，用于决定数据存储器的大小；参数lowProcessing和highProcessing，其保存与复杂度相关；参数numberOfTTSIObjects，用于决定电文-话音信息(TTSI)对象的数量。这些参数是由符合MPEG-4第一版的ISO/IEC 14496-1标准定义的。

为了决定顺应MPEG的系统协议子集及其级别，由符合MPEG-4第一版的ISO/IEC 14496-1标准定义的多个参数都定义为“BOOLEAN”，由此记录从多个参数中选出的一个参数。视频编解码器和音频编解码器包括一用来进行视频编码/解码的MPEG-4视频编解码器装置和一用来进行音频编码/解码的MPEG-4音频编解码器装置。MPEG-4视频编解码器装置和MPEG-4音频编解码装置执行在ISO/IEC 14496标准中详细说明的视频和音频的编码/解码。

通过结合附图对本发明的优选实施例进行详细描述，从而使本发明的上述目的和优点将会变得更加清楚，其中：

图1是表示根据本发明的终端配置的方块图；

图2说明两个终端之间通信的时序，用于解释图1所示终端的工作，其中，运动图像专家组(MPEG)-4模式的通信参数记录在支持多媒体数据通信的控制协议中。

参考图1，根据本发明实施例的终端设备包括视频编解码器100、音频编解码器102、多路复用器104和系统控制器120。视频编解码器100执行视频编码和解码。音频编解码器102执行音频编码和解码。多路复用器104执行编码数据的多路复用。系统控制器120执行信号传输来协商终端性能。此外，假定终端设备10符合H.323标准，该标准是由国际电信联盟-终端部门(ITU-T)定义的有关视频远程通信会议系统的标准，系统控制器120采用H.245标准，该标准提供了相关标准的系统中的一种控制协议。系统120还包括视频性能记录部件130、音频性能记录部件140和系统性能记录部件150。

视频性能记录部件包括H.261视频性能记录部件132、H.263视频性能记录部件134和运动图像专家组(MPEG)-4视频性能记录部件136，并且记录用于视频通信协议中的参数。每个参数记录如下：

VideoCapability                 ::=choice

{

nonstandard                     非标准参数，

h.261VideoCapability             h.261视频性能，

h.263VideoCapability             h.263视频性能，

MPEG4VideoCapability             MPEG-4视频性能

}

MPEG4VideoCapability             ::=SEQUENCE

{

profileAndLevel-NBitL2           BOOLEAN,

profileAndLevel-MainL4           BOOLEAN,

profileAndLevel-MainL2           BOOLEAN,

profileAndLevel-CoreL2           BOOLEAN,

profileAndLevel-CoreL1           BOOLEAN,

profileAndLevel-SimpleScalable   BOOLEAN,

profileAndLevel-SimpleL3         BOOLEAN,

profileAndLevel-SimpleL2         BOOLEAN,

profileAndLevel-SimpleL1         BOOLEAN,

·

·

·

typicalVisualSessionSize                 INTEGER,

maximumTotalNumberOfObjects              INTEGER,

maximumNumberPerType                     INTEGER,

maximumNumberDifferentQuantizationTable  INTEGER,

maxTotalReferenceMemory                  INTEGER,

maximumNumberOfMBsec                     INTEGER,

costFunctionEquivalent                   INTEGER,

maximumVBVBufferSize                     INTEGER,

maxVideoPacketLength                     INTEGER,

maxSpriteSize                            INTEGER,

waveleteRestrictions                     INTEGER,

maxBitrate                               INTEGER,

maxEnhancementLayersPerObject            INTEGER,

·

·

·

}

更明确地说，为了决定两个终端之间通信的视频性能，最初记录了多个参数。在此，通过“::=choice”选择性地使用了多个参数中的一个。在该实施例中，记录了以下参数：参数nonStandard，用于决定不符合一标准的视频性能；参数h.261VideoCapability，用于决定符合H.261标准的视频性能；参数h.263VideoCapability，用于决定符合H.263标准的视频性能；参数MPEG4VideoCapability，用于决定符合MPEG-4标准的视频性能。

现在只对参数MPEG4 VideoCapability进行描述，它是本发明与众不同的特征。因此，参数MPEG4 VideoCapability定义为“::=SEQUENCE”，从而需要记录其所有特别的参数。这些特别参数如下。

用于决定视频协议子集及其级别的多个参数都定义为“BOOLEAN”，并选择性地记录其中之一。例如，参数profileAndLevel-NBitL2、profileAndLevel-MainL4、profileAndLevel-MainL2、profileAndLevel-CoreL2、profileAndLevel-CoreL1、profileAndLevel-SimpleScalable、profileAndLevel-SimpleL3、profileAndLevel-SimpleL2和profileAndLevel-SimpleL1中的一个参数设置为“1”，而其余的参数都设置为“0”。因此，从符合MPEG-4第一版的视频协议子集中选出一个，即NBitL2、MainL4、MainL2、CoreL2、CoreL1、SimpleScalable、SimpleL3、SimpleL2和SimpleL1。

此外，对于选出的视频协议子集的特别参数都各自记录下来。这些特别参数包括：参数typicalVisualSessionSize，用于决定通话时间的长短；参数maximumTotalNumberOfObjects，用于决定每种类型的最大数量；参数maximumNumberDifferentQuantizationTable，用于决定不同量化表的最大数量；参数maxTotalReferenceMemory，用于决定对存储器的最大访问量；参数maximumNumberOfMBsec，用于决定每秒传送宏数据块的最大数量；参数costFunctionEquivalent，用于决定每秒传送宏数据块的数量；参数maximumVBVBufferSize，用于决定视频缓冲检验器(VBV)的最大缓冲区的大小；参数maxVideoPacketLength，用于决定视频数据分组的长度；参数maxSpriteSize，用于决定背景图像的大小；参数waveletRestrictions，用于决定子波滤波器的性能；参数maxBitrate，用于决定最大比特率；参数naxEnhancementLayersPerObject，用于决定每个对象加强层的最大数目。这些参数设置为整值，由此决定每个参数的传输特性。

音频性能记录部件140包括H.261音频性能记录部件142、H.263音频性能记录部件144和MPEG-4音频性能记录部件146，并记录用于音频通信协议的参数如下：

AudioCapability         ::=choice

{nonstandard                    非标准参数，G711Alaw64K                    INTEGER(1-256)，IS13818AudioCapability         IS13818音频性能，··MPEG4 AudioCapability          MPEG-4音频性能··GSMEnhanceFullRate             GSM音频性能}MPEG4 AudioCapability          ::=SEQUENCE{profileAndLevel-MainL4         BOOLEAN,profileAndLevel-MainL3         BOOLEAN,profileAndLevel-MainL2         BOOLEAN,profileAndLevel-MainL1         BOOLEAN,profileAndLevel-ScalableL4     BOOLEAN,profileAndLevel-ScalableL3     BOOLEAN,profileAndLevel-ScalableL2     BOOLEAN,profileAndLevel-ScalableL1     BOOLEAN,profileAndLeve1-SpeechL2       BOOLEAN,profileAndLevel-SpeechL1       BOOLEAN,profileAndLevel-SynthesisL3    BOOLEAN,profileAndLevel-SynthesisL2    BOOLEAN,profileAndLevel-SynthesisL1    BOOLEAN,···pcu                            INTEGER,rcu                            INTEGER,audioSampling 16K                 BOOLEAN,audioSampling 22.05K              BOOLEAN,audioSampling 48K                 BOOLEAN,···numberOfMonoObjects               INTEGER,numberOfStereoObjects             INTEGER,numberOfSpeechObjects             INTEGER,memoryForData                     INTEGER,lowProcessing                     BOOLEAN,highProcessing                    BOOLEAN,numberOfTTSIObjects               INTEGER,maxEnhancementLayersPerObject     INTEGER,···

}

更明确地说，为了决定两个终端之间通信的音频性能，最初记录了多个参数。在此，通过“::=choice”选择性地使用了多个参数中的一个。在该实施例中，各自记录了以下参数：参数nonStandard，用于决定不符合一标准的音频性能；参数G711Alaw64k，用于决定符合G711的Alaw选项的音频性能，其中G711是对应于64Kbps传输速度的有关音频编解码器的格式；参数IS13818AudioCapability，用于决定符合IS13818标准的音频性能；参数MPEG4AudioCapability，用于决定符合MPEG-4标准的音频性能；参数GSMEnhanceFullRate，用于决定符合GSM(全球移动通信系统)标准的音频性能。

现在只对参数MPEG4 AudioCapability进行描述，它是本发明与众不同的特征。因此，参数MPEG4AudioCapability定义为“::=SEQUENCE”，从而需要记录其所有特别的参数。这些特别参数如下。

用于决定音频协议子集(audio profile)及其级别的多个参数都定义为“BOOLEAN”，并选择性地记录其中之一。例如，将参数profileAndLevel-MainL4、profileAndLevel-MainL3、profileAndLevel-MainL2、profileAndLevel-MainL1、profileAndLevel-ScalableL4、profileAndLevel-ScalableL3、profileAndLevel-ScalableL2、profileAndLevel-ScalableL1、profileAndLevel-SpeechL2、profileAndLevel-SpeechL1、profileAndLevel-SynthesisL3、profileAndLevel-SynthesisL2和profileAndLevel-SynthesisL1中的一个参数设置为“1”，而其余的参数都设置为“0”。因此，从符合MPEG-4第一版的音频协议子集中选出一个，即MainL4、MainL3、MainL2、MainL1、ScalableL4、ScalableL3、ScalableL2、ScalableL1、SpeechL2、SpeechL1、SynthesisL3、SynthesisL2和SynthesisL1。

此外，对于选出的音频协议子集的特别参数都各自记录下来。由于音频协议子集特别参数的记录与视频协议子集特别参数的记录相类似，所以在此就省略其描述。

同时，参数pcu表示每秒百万次运算(MOPS)的处理器复杂度部件。参数rcu表示RAM复杂度部件。此外，例如通过将参数audioSampling16k、audioSampling22.05k和audioSampling32k中的一个设置为“1”而将其余参数设置为“0”来决定音频采样的频率。关于“可升级的”音频协议子集，最好记录下列特殊参数：参数numberOfMonoObjects，用于决定单声道对象的数量；参数numberOfStereoObjects，用于决定立体声对象的数量；参数numberOfSpeechObjects，用于决定话音对象的数量。另外，最好记录参数memoryForData，用于决定数据存储器的大小以及参数lowProcessing和highProcessing，其保存与复杂度相关。此外，最好记录参数numberOfTTSIObjects，用于决定电文-话音信息(TTSI)对象的数量。

系统性能记录部件150包括H.261系统性能记录部件152、H.263系统性能记录部件154和MPEG-4系统性能记录部件156，并且记录用于系统控制的参数。每个参数记录如下：

SystemCapability              ::=choice

{

nonstandard                   非标准参数，··MPEG4SystemCapability          MPEG-4系统性能···

}

MPEG4SystemCapability      ::=SEQUENCE

{

profileAndLevel-OD         BOOLEAN,

profileAndLevel-SD         BOOLEAN,

}

更明确地说，为了决定两个终端之间通信的系统性能，最初记录了多个参数。在此，选择性地使用定义为“::=choice”的多个参数中的一个。在该实施例中，记录了以下参数：参数nonStandard，用于决定不符合一标准的系统性能；参数MPEG4SystemCapability，用于决定符合MPEG-4标准的系统性能。

现在只对参数MPEG4SystemCapability进行描述，它是本发明与众不同的特征。参数MPEG4SystemCapability定义为“::=SEQUENCE”，需要记录其所有特别的参数。这些特别参数如下。

用于决定系统协议子集及其级别的多个参数都定义为“BOOLEAN”布尔型，并选择性地记录其中之一。所述特别参数设置为整型值或进行代数设置，由此决定发信号过程中的系统性能特征。由于系统协议子集特别参数的记录与音频和视频协议子集特别参数的记录相类似，所以省略进一步的说明。

所述实施例中的MPEG-4视频、MPEG-4音频和MPEG-4系统最好分别符合国际标准化组织(ISO)/国际电工委员会(IEC)14496-2标准、ISO/IEC14496-3标准和ISO/IEC 14496-1标准。图2说明两个终端之间的通信时序，用于解释图1所示终端的工作，其中，MPEG-4模式的通信参数记录在支持多媒体数据通信的控制协议中。参考图2，最初在终端A和终端B之间建立了一个物理连接(步骤20)。具体地说，如果终端A执行一个呼叫(步骤202)，然后终端B向A传输信号Call_Proceeding，表示B已经接通并且可以继续进行呼叫(步骤204)。而且，如果终端B传输一个呼叫告警信号(步骤206)，而终端A在接收到这个告警信号时接受了连接，则在终端A和终端B之间就建立了物理连接(步骤208)。

下一步，决定两个终端A和B中哪一个将成为主要终端及哪一个成为从属终端(步骤21)，其中主要终端具有协商的最终决定权。例如，终端A向终端B传输一个确定主从信号(MSD)，从而要求终端B来决定哪一个是主要终端及哪一个是从属终端(步骤212)。接收到MSD信号的终端B向终端A传输确认信号MSD_Ack(步骤214)。然后终端A将这个确认信号MSD_Ack返回给终端B，从而就完成了主从的确定。

下一步，执行协商终端性能的步骤(步骤22)以完成数据收发功能。具体地说，当终端A为主要终端时，它向终端B传输其记录的所有终端性能集合数据Terminal_Capability_Set(步骤222)。依据本发明的设备从终端A到B或从B到A传输由视频性能记录部件130、音频性能记录部件140和系统性能记录部件150记录的所有参数和特别参数，作为性能集合数据Terminal_Capability_Set。例如，从终端B向终端A传输确认信号Terminal_Capability_Set_Ack，表示它能够接收到从终端A发来的性能集合数据Terminal_Capability_Set。

下一步，开启一个逻辑信道(步骤23)。具体地说，终端A向终端B传输信号Open_Logical_Channel，从而请求根据在步骤22的协商过程中决定的通信参数来开启一个逻辑信道(步骤232)。终端B响应这个信号Open_Logical_Channel，向终端A传输确认信号Open_Logical_Channel_Ack(步骤234)，这样，采用与协商参数相应的值就可以开启一个逻辑信道。如果终端A和B具有符合MPEG-4模式的视频性能、音频性能和系统性能，例如符合ISO/IEC 14496-2、ISO/IEC 14496-3和ISO/IEC 14496-1标准，那么这两个终端就能够进行适应MPEG-4的音频/视频(A/V)通信。

在此，适应MPEG-4的A/V数据通信是通过所述逻辑信道主进行的(步骤24)。在这种情况下，本领域的普通技术人员都知道，所述两终端中的视频编解码器和音频编解码器要求能够进行符合MPEG-4模式如ISO/IEC 14496的视频编码/解码和音频编码/解码。

同时，如果任何一个终端要求结束A/V数据通信，那么提出要求的终端，例如终端A，则向终端B传输信号Close_Logical_Channel，从而请求关闭上述逻辑信道(步骤252)。终端B向终端A传输确认信号C1ose_Logical_Channel_Ack(步骤254)，这样，逻辑信道就被关闭了。

在依据本发明的终端中，MPEG-4通信参数记录在一个控制协议中，该协议支持视频通信会议系统中的多媒体数据通信，该系统基于协议标准ITU-TH.323、H.324M和IETF，也称为MGCP，因此该协议也支持呼叫设置，适应MPEG-4的视频、音频和系统应用都是以这种呼叫设置为基础的。

尽管根据记录参数来描述了前述的实施例，其中记录的参数对应于MPEG-4第一版中所用的特性，但本发明不仅限于此，它另外还可以记录对应于MPEG-4第二版中所用特性的参数。此外，尽管依据所述实施例的终端应用于推荐标准H.323,H.323指定一种符合H.323系统格式的控制协议，但是本发明不仅限于此，它也适应于IEFT SDP(通话描述协议)。

依据本发明的终端能够进行MPEG-4信号传输，MPEG-4视频、音频和系统应用都以这种信号传输为基础。