用于发送在编码视频信号中插入的用户数据的方法和设备

摘要

本发明涉及一种用于从视频编码器向视频解码器发送用户数据的方法和设备，所述用户数据被插入在由所述视频编码器所产生的编码视频信号中。所述方法的特征在于，它在编码器端包括：插入步骤(202)，在所述编码视频信号中的给定位置处插入一组填充封包，在所述组中填充封包的数目是根据所述用户数据(201)经由查找表来确定的，以及在解码器端：分析步骤(204)，在所述编码视频信号中给定位置处检测和计数填充封包的数目，所述填充封包的数目被用于经由所述查找表(205)来取得所述用户数据。

说明书

本发明涉及一种用于从视频编码器向视频解码器发送用户数据的方法，所述用户数据被插入在由所述视频编码器产生的编码视频信号中。

本发明可以被用在例如数字视频信号处理领域。

被称为ISO/IEC 14496-2的MPEG-4视频标准允许产生同表示多媒体情景内容的协议相关的数字信号，其中多媒体情景内容由自然的和合成的可视数据及对象数据组成。它为丰富的功能性集合提供了编码和压缩能力，包括视频数据以及两维和/或三维图形的处理、情景内容中的交互、平面和立体动画、结构和几何编码。它可以以推模式和拉模式被用于广播环境中或者一对一的交互中。

具体来说，该视频标准允许把用户为他们的特定应用而定义的用户数据插入到编码信号中。用户数据然后被插入到由MPEG-4编码器产生的信号中，此信号继而又被发送到使用所述用户数据的MPEG-4解码器中。用户数据可以被插入在编码语法(coding syntax)的三个不同层上：

在可视对象序列报头层，被称为“VOS报头”，

在视频对象层的报头层，被称为“VOL报头”，

在视频对象组平面的报头层，被称为“GOV报头”。在图1中描述了MPEG-4视频信号(即序列)的常见结构，图1示出了如何构建所述报头。所述报头位于称为“VOP”的视频对象平面之前，当编码对象是一个矩形图片时，VOP对应于一幅图片。该序列的结束由可视对象序列结束数据封包表示，称为VOS结束。

如果用户数据必须被周期性地发送，特别是在VOP层，即，如果用户数据必须与给定的VOP相关联或者与多个连续或者非连续的VOP相关联，则发送此视频标准中所描述的用户数据就会受限制。

实际上，不可能使用VOS报头来插入所述用户数据，因为VOS报头只在编码信号开始时出现一次。

不可能使用VOL报头来插入所述用户数据，因为在大多数情况下VOL报头只在编码信号中出现一次，并且由于它是可选的，而且不一定出现在该语法中。

GOV报头也不能被用于在VOP层插入用户数据，但是它涉及满足随后的VOP为INTRA编码的条件，即它们对应于没有进行时间(temporal)预测的VOP。由于INTRA编码的VOP是比特消耗(bitconsuming)的，因而在VOP层使用GOV报头将导致编码信号比特率的极大增加，并导致视频质量的损失。而且，考虑到每个GOV报头包含许多长的码字，这也会导致所述视频信号的比特率增加。因此，在VOP层使用GOV报头来插入用户数据也受到限制并且是不适当的。

本发明的一个目的是提出一种在编码视频信号的VOP层发送用户数据的低比特消耗方法。

所以，为了解决现有技术方法的限制，依照本发明的用户数据发送方法的特征在于，所述方法在编码器端包括：

在所述编码视频信号中的给定位置处插入一组填充封包的插入步骤，在所述组中的填充封包的数目是根据所述用户数据经由查找表来确定的，

以及在解码器端：

在所述编码视频信号中的所述给定位置处检测和计数填充封包数目的分析步骤，所述填充封包的数目被用于经由所述查找表来取得所述用户数据。

本发明利用了一种由MPEG-4视频标准定义、被称为“宏块填充类型”的特殊宏块。这种特殊宏块是一种填充封包，它含有被插入到该编码视频信号中的小码字，所述码字在解码过程中被进一步丢弃。最初，宏块填充类型的目的是为了增加视频信号的比特率，否则将会低于期望的比特率。

由于和上述用于发送用户数据的已知方法相比，宏块填充类型是需要很少比特的数据封包，因而，依照本发明用于发送用户数据的方法具有低的比特消耗。

本方法允许在插入单个填充封包时发送一比特用户数据，或者在插入多个填充数据时发送多比特用户数据。因而这种方法可以被用于以一种节省成本的方式来发送可变长度用户数据。

本方法在编码器端和解码器端都只需要很少量的处理资源。实际上，首先，在编码器端，处理包括执行节省成本的查找表操作，以供根据要被发送的用户数据值来规定要被插入的填充封包的数目，其次包括插入所述填充封包，这几乎是无需任何代价的。其次，在解码器端同样只需要很少量的处理资源，因为该处理包括在编码信号的已知位置检测和计数填充封包的数目，而无需对整个VOP数据内容进行，以执行节省成本的查找表操作。

这种方法降低了已知方法的约束，因为用户数据不但能够依照本发明被插入到VOP层，而且还可以被插入在VOP中，而不管随后的VOP的编码类型(即INTRA编码或者INTER编码)。

依照本发明的方法在使用时也很方便。实际上，由于宏块填充类型被认为是编码宏块(即被称为INTRA编码的空间编码或者被称为INTER编码的时间预测的宏块)，它可以被插入在VOP的任何其它宏块之间，或者在VOP的开始或结束。

在优选模式中，本发明的特征在于插入步骤是在视频对象平面层执行的。

因而，用户数据可以被插入在给定VOP中，或者被插入在编码信号中的多个连续或非连续的VOP中。

然而，本方法还可以被用于在比VOP层更低的层上发送用户数据，例如在像条层(slice level)上。为此目的，用户数据的插入可以在给定VOP内部的多个像条中的给定位置处执行。因而，依照本发明的方法允许在给定VOP中插入多个用户数据。

本方法和MPEG-4视频标准充分兼容，因为解码器并不知道在所述给定位置的这种宏块填充类型的含义，只是丢弃所述宏块填充类型，而不会产生有关解码视频质量的损害。

用依照本发明的方法发送的多用户数据可以对应于或者反映编码信息或编码特性，考虑到例如在解码器端停止或者开始从VOP到VOP的特定应用或者处理。

本发明还涉及在编码视频信号中插入用户数据的方法，其特征在于所述方法包括插入步骤，即将一组填充封包插入到所述编码视频信号中的给定位置，在所述组中的填充封包的数目是根据所述用户数据经由查找表来确定的。

在优选模式中，这种插入用户数据的方法是在视频对象平面层执行的。

本方面还涉及恢复被插入到编码视频信号中给定位置处的用户数据的方法，其特征在于，所述方法包括分析步骤，用于检测和计数在所述编码视频信号中的所述给定位置处填充封包的数目，所述填充封包的数目被用于经由查找表取得所述用户数据。

在优选模式中，恢复用户数据的方法是在视频对象平面层执行的。

本发明还涉及用于从视频编码器向视频解码器发送用户数据的系统，所述用户数据被插入在由所述视频编码器产生的编码视频信号中，其特征在于所述设备包括：

在编码器端：

插入装置，用于在所述编码视频信号中的给定位置处插入一组填充封包，在所述组中填充封包的数目是根据所述用户数据经由查找表来确定的，

以及在解码器端包括：

分析装置，用于在所述编码视频信号中的所述给定位置处检测和计数填充封包的数目，所述填充封包的数目被用于经由查找表来取得所述用户数据。

本发明还涉及一种在编码视频信号中插入用户数据的设备，其特征在于，所述设备包括：插入装置，用于在所述编码视频信号中的给定位置处插入一组填充封包，在所述组中填充封包的数目是根据所述用户数据经由查找表来确定的。

在本发明的一个具体方面，该插入步骤是在视频对象平面层完成的，并且插入装置是在视频对象平面层被启用的。

本发明还涉及用于恢复被插入到编码视频信号中给定位置处的用户数据的设备，其特征在于，所述设备包括：分析装置，用于在所述编码视频信号中的所述给定位置处检测和计数填充封包的数目，所述填充封包的数目被用于经由查找表来取得所述用户数据。

在优选实施例中，用于恢复用户数据的该设备的所述分析装置是在视频对象平面层被启用的。

本发明还涉及一种视频编码器，用于编码视频信号，以产生依照MPEG-4标准编码的视频信号，并且用于在所述编码视频信号中插入用户数据。所述视频编码器的特征在于，它包含用于在所述编码视频信号中的给定位置处插入一组填充封包的装置，在所述组中填充封包的数目是根据所述用户数据经由查找表来确定的。

本发明还涉及视频解码器，用于解码根据MPEG-4标准编码的视频信号，所述编码视频信号包含在给定位置处插入的用户数据。所述视频解码器特征在于，它包含分析装置，用于在所述编码视频信号中的所述给定位置处检测和计数填充封包的数目，所述填充封包的数目被用于经由查找表来取得所述用户数据。

本发明还涉及一种信号，该信号反映了在编码视频信号中插入用户数据的方法的技术特征。

因而，本发明涉及一种编码视频信号，它包含一组插入在视频对象平面层的填充封包，在所述组中填充封包的数目反映了插入在所述信号中的用户数据的值，在所述组中填充封包的数目是根据所述用户数据经由查找表来确定的。

具体而言，这种信号是依照MPEG-4视频标准来进行编码的。

本发明还涉及第一计算机程序，它包括用于实施在编码器端的方法的步骤的代码指令，以及第二计算机程序，它包括用于实施在解码器端方法的步骤的代码指令。

以下给出本发明的详细解释和其它方面。

现在参考下文中描述的实施例来解释本发明的具体方面，并结合以下附图加以考虑：

图1描述了根据MPEG-4标准编码的视频信号的常见结构，

图2描述了依照本发明从编码器向解码器发送多比特用户数据的方法的不同步骤，

图3描述了依照本发明从编码器向解码器发送一比特用户数据的方法的不同步骤，

图4描述了在根据MPEG-4标准编码的视频信号中发送一比特用户数据的第一实例，

图5描述了在根据MPEG-4标准编码的视频信号中发送二比特用户数据的第二实例。

通过假定用户数据的插入是在根据MPEG-4视频标准编码的视频信号中进行的，来描述发送用户数据的方法。然而，在VOP层(或者在VOP中的更低层)插入用户数据的这种方法也可以同允许插入填充封包的其它视频标准一起使用。

图2描述了依照本发明从视频编码器向视频解码器发送用户数据的方法的不同步骤。图2中所述的方法允许通过插入一组填充封包，从视频编码器向视频解码器发送N比特用户数据，其中N为确保N＞0的整数。

本方法基于在编码视频信号中插入一组填充封包。为此目的，该方法包括第一连接步骤201，即根据要被发送的用户数据的值，确定包含在要被插入的所述填充封包组中的填充封包的数目。该第一连接步骤201由查找表操作组成，它允许根据用户数据的值，确定所述组中填充封包的数目。因而，通常，要被发送的给定用户数据同给定数目的填充封包相关联。

查找表是这样的，被插入的填充封包的数目基本上对应于要被发送的用户数据的值。

例如，如果要被发送的用户数据为二进制值“00”，则由查找表所指示的填充封包的数目为“0”，如果要被发送的用户数据为二进制值“01”，则由查找表所指示的填充封包的数目为“1”，如果要被发送的用户数据为二进制值“10”，则由查找表所指示的填充封包的数目为“2”，如果要被发送的用户数据为二进制值“11”，则由查找表所指示的填充封包的数目为“3”。

查找表也可以是这样的，插入的填充封包的数目对应于要被发送的用户数据的倍数。更通常的情况下，查找表也可以是这样的，插入的填充封包的数目得源于要被发送的用户数据的值的代码转换。

该方法包括插入步骤202，即在根据MPEG-4标准对视频信号进行编码期间，插入一组其数目预先由第一连接步骤201确定的填充封包。每个填充封包对应于由MPEG-4视频标准所规定的宏块填充类型。

由MPEG-4视频标准所规定的任意宏块的编码语法包括一个被称为MBTYPE的字段，该字段用于指示该宏块的编码类型。用于宏块填充类型的字段MBTYPE包含字符串“stuffing”，并且这种宏块填充类型的数据包含具有值0000 0000 1的码字。

由此插入步骤可包括，插入包含字符串“stuffing”的字段MBTYPE以及具有值0000 0000 1的码字。

所述填充封包组的插入是在VOP层上执行得，这意味着一组填充封包至少可以在给定VOP中或者在多个连续或非连续的VOP中插入一次。

在编码视频信号中，该组填充封包被插入到给定的位置上，所述位置对应于：

VOP报头的结束：这对应于在VOP报头的结束和该VOP中等级为1的宏块的开始之间的位置，

两个连续宏块之间的位置，

一个像条的开始...

当多个填充封包被插入在编码视频信号中时，根据要被发送的用户数据的值，循环步骤203允许连续插入所述多个填充封包。

由编码器如此产生的编码视频信号被发送，然后例如通过通信信道被视频解码器接收。

在与编码器端插入该组填充封包的位置相同的位置执行分析步骤204。该分析步骤204包括在VOP中的所述位置处检测编码视频信号中的填充封包。为此目的，填充封包的检测可以包含检测包含字符串“stuffing”的字段MBTYPE。

分析步骤204还包括计数由检测步骤在所述位置检测的填充封包的数目。

如果视频解码器不清楚为了发送用户数据而在哪个VOP中插入了填充封包，则分析步骤204就可以在每个连续的VOP上系统地执行。分析步骤204也可以在对期望有用户数据的VOP执行，如果在解码器端已知用户数据插入的频率，则这种情况就是可能的。

已经在分析步骤204确定了填充封包的数目之后，则在第二连接步骤205可以根据检测的填充封包的数目来取得用户数据的值。第二连接步骤205包括查找表操作，该操作允许根据填充封包的数目来确定用户数据。在第二连接步骤205中所使用的查找表对应于在第一连接步骤201中的查找表的逆表。

例如，在使用上述用于编码器端的查找表的逆表时，如果填充封包的数目为“0”(即，在编码器端没有有效地插入任何填充封包)，则发送的用户数据为二进制值“00”，如果填充封包的数目为“1”，则发送的用户数据为二进制值“01”，如果填充封包的数目为“2”，则发送的用户数据为二进制值“10”，如果填充封包的数目为“3”，则发送的用户数据为二进制“11”。

这个方法意味着：对于视频解码器来说，要被通知该组填充封包被插入在编码器端的什么位置，并且能够根据在分析步骤204中检测到的填充封包的数目来恢复用户数据。例如，与所述位置有关的信息以及与所述查找表的内容有关的信息可以在视频编码器与视频解码器之间通信的初始化步骤期间的用户数据中进行发送，或者通过任何专有发送步骤来进行发送。这种信息还可以在视频解码器端被确定地设置，视频解码器例如只需要经由在视频编码器和视频解码器之间通信的初始化步骤期间(通过现有技术)发送的用户数据来得知：所接收的信号来自于依照本发明的编码器，以便于正确解释在该在编码视频信号中填充封包的存在。

图3描述了依照本发明从编码器向解码器发送一比特用户数据的方法的不同步骤。该方法是从图2所示的方法得到的，因为它对应于前者的特定情形N＝1。

考虑到一比特用户数据只有两个状态，这种用户数据可以通过在编码视频信号中插入单个填充封包(即宏块填充类型)来直接表示。因而，所述宏块填充封包的存在或者不存在就能类似于标志那样来指示所述一比特用户数据的值。所以，连接步骤301允许规定如果一比特用户数据的状态为“1”则导致一个填充封包插入或者不插入。

例如，通常，单个宏块填充类型的存在被解释为值“1”，而宏块填充类型的不存在被解释为值“0”。

与图2的解释相似，在VOP中的给定位置处，填充数据的插入在插入步骤302中执行，该位置不但对于编码器是已知的，而且对于解码器也是已知的。

如此由编码器产生的、根据MPEG-4标准编码的视频信号被发送并被视频解码器接收。

检测步骤303被执行，以便在该VOP中的给定位置检测填充封包的存在。该检测的执行也与参照检测包含字符串“stuffing”的字段MBTYPE时的图2所给出的解释相似。与图2相比较，其中复杂的分析步骤204包括执行计数操作，一个基本的检测步骤303就足够了。换言之，该检测和计数步骤称为单个步骤。

经由第二连接步骤304完成单个宏块填充类型的存在与用户数据值之间的连接。该第二连接步骤304包括一个查找表操作，它允许根据填充封包的存在(或者不存在)来确定用户数据的值。该查找表对应于在第一连接步骤301中使用的查找表的逆表。

例如，在使用与连接步骤301中编码器端使用的上述查找表不同的逆表时，如果在VOP中的所述给定位置有效地检测到单个宏块填充类型的存在，则就可以假定所述一比特用户数据的值为“1”。反之，如果没有检测到宏块填充类型，则就假定所述一比特用户数据的值为“0”。

图4描述在依照MPEG-4视频标准编码的视频信号中发送一比特用户数据的第一实例。

等级为i的宏块填充类型被称为MB_stuff_i。在本例中，在图中给出了根据一比特用户数据的值插入的宏块填充类型的数目。

用户数据插入MB_stuff的数目0011

查找表1：发送一比特用户数据的表

当宏块填充类型存在于同用户数据相关的VOP中时，它被插入在所述VOP的VOP报头之后。

编码视频信号包括VOS报头，随后是VOL报头，随后为GOV报头。这些报头专用于携带解码该编码视频信号所使用的信息。

在称为VOP_1的第一VOP中，必须发送用户数据“1”。因此，使用查找表1，单个宏块填充类型MB_stuff_1被插入在称为VOP_1_header的第一VOP报头之后。在解码器端，当接收到编码视频信号时，经由查找表1的逆表，把VOP_1_header之后检测到的单个宏块填充类型的存在解释成值为“1”的一比特用户数据。

在称为VOP_2的第二VOP中，必须发送用户数据“0”。因此，使用查找表1，在VOP_2_header之后不插入宏块填充类型。在解码器端，当接收到编码视频信号时，经由查找表1的逆表，把VOP_2_header之后没有检测到的单个宏块填充类型解释成值为“0”的一比特用户数据。

发送一比特用户数据的方法也相似地适用于该编码视频信号中随后的VOP。

该编码视频信号包括VOS结束，用于指示该编码视频信号的结束。

该一比特用户数据可以在解码器端被用作为用来在VOP层上启动(例如，如果用户数据为“1”)或者停止(例如，如果用户数据为“0”)特定应用的标志。具体而言，根据图4所示地例子，与VOP_1相关的用户数据可以被用于启动或者停止在相对于VOP_2的视频数据上的特定应用。更一般来讲，与等级为i的VOP相关的用户数据可以被用来启动或者停止在相对于等级(i+1)的VOP视频数据上的特定应用。

该用户数据还可以在解码器端被用作为特定应用中的参数值，例如在后处理操作中。

图5描述了在依照MPEG_4视频标准编码的视频信号中发送两比特用户数据的第二实例。

等级为i的宏块填充类型被称为MB_stuff_i。在本例中，在查找表2中给出了根据两比特用户数据的值插入的宏块填充类型的数目。

  用户数据插入MB_stuff的数目比特1比特2000011102113

查找表2：用于发送两比特用户数据的查找表

当宏块填充类型存在于同用户数据相关的VOP中时，它们被插入在所述VOP中等级为i0、被称为MB_i0的编码宏块之后。

该编码视频信号包括一个VOS报头，其后为VOL报头，再后面为GOV报头。这些报头专用于携带用于解码该编码视频信号的信息。

在称为VOP_1的第一VOP中，必须发送用户数据“10”。因此，使用查找表2，在宏块MB_i0之后插入两个宏块填充类型MB_stuff_1和MB_stuff_2。在解码器端，当接收该编码视频信号时，经由查找表2的逆表，在MB_i0之后的两个宏块填充类型的检测和计数被解释成值为“10”的两比特用户数据。

在称为VOP_2的第二VOP中，必须发送用户数据“11”。因此，使用查找表2，在宏块MB_i0之后插入三个宏块填充类型MB_stuff_3、MB_stuff_4和MB_stuff_5。在解码器端，当接收该编码视频信号时，经由查找表2的逆表，在MB_i0之后的三个宏块填充类型的检测和计数被解释成值为“11”的两比特用户数据。

发送两比特用户数据的方法可以相似地应用于编码视频信号中随后的VOP。

该编码视频信号包括VOS结束，用于指示编码视频信号的结束。

两比特用户数据中的每个比特都可以在译码器端被用作为用来在VOP层启动(例如，如果比特值为“1”)或者停止(例如，如果比特值为“0”)两个特定应用的标志，最高有效位的电平与第一应用的状态相关，而最低有效位的电平与第二应用的状态有关。具体来说，根据图5中所描述的实例，与VOP_1相关的两比特用户数据可以被用来单独地启动或者停止与VOP2相关的视频数据上的两个特定应用。更一般来讲，与等级为i的VOP相关的两比特用户数据的比特可以被用来启动或者停止与等级为(i+1)的VOP相关的视频数据上的特定应用。

该用户数据还可以在解码器端被用作为特定应用中的参数值，例如，在后处理操作中。

图4和5中所示的在VOP层发送用户数据的方法可以被特别地用来向视频解码器指示在视频信号中发生了情景剪切，即在两个连续VOP之间视频内容中的跳变式转变。在等级为i的VOP中插入的用户数据可以指示在等级为i的VOP和等级为i+1的VOP之间发生的情景剪切。因而，当对于等级为(i+1)的VOP在解码器端执行误差隐藏应用时，如果用户数据(至少一比特)被解释为情景剪切指示，则解码器就可以方便地选择执行空间误差隐藏(即，只使用等级为(i+1)的VOP的视频数据的误差隐藏)，或者如果用户数据(至少一比特)没有被解释为情景剪切指示，则就执行时间误差隐藏(即，使用诸如等级为i的VOP的前面的VOP的视频数据的误差隐藏)。

已经描述了依照本发明的用于在VOP层插入用户数据的方法，。然而，该方法也可以被用于在每个VOP中插入多个用户数据，例如在像条层。在这种情况下，填充封包可以例如被插入在像条报头之后，或者被插入在所述像条中给定等级的编码宏块之后，为多个像条重复所述填充封包的插入。

该方法的步骤可以在编码器端的设备以及解码器端的设备中实施，利用硬件元件(例如，连线电路，存储器，信号处理器...)或者代之以利用软件元件，如存储在计算机可读介质上、包含代码指令的计算机程序，所述代码指令被用于在信号处理器中执行该方法的一些步骤。

因此，本发明还涉及第一计算机程序，包含用于在编码器端实施该方法的步骤的代码指令，以及第二计算机程序，包含用于在解码器端实施该方法的步骤的代码指令。

根据本发明插入用户数据的方法的这些步骤可以被方便地实施于视频编码器中，以便对视频信号编码并产生根据MPEG-4标准编码的视频信号。因此，该视频编码器包含如上所述的硬件和/或软件装置，这些装置用于将一组填充封包插入到所述编码视频信号中的给定位置处，在所述组中填充封包的数目是根据所述用户数据经由查找表来确定的。

根据本发明恢复用户数据的方法的这些步骤可以被方便地实施于视频解码器中，以便根据MPEG-4标准对视频信号进行解码，所述编码视频信号在给定位置包含用户数据。因此，该视频解码器包含硬件和/或软件分析装置，这些装置用于检测和计数在所述编码视频信号中给定位置处的填充封包的数目，所述填充封包的数目被用于经由查找表确定所述用户数据。

本发明还涉及一种信号，它反映了将用户数据插入到编码视频信号中的方法的技术特征。

因而，本发明涉及一种编码视频信号，该编码视频信号包含一组插入在视频对象平面层上的填充封包，在所述组中的填充封包数目反映了插入在所述信号中的用户数据值，在所述组中的填充封包数目是根据所述用户数据经由查找表来确定的。

特别地，这种信号可以根据MPEG-4视频标准进行编码。在这种情况下，填充封包对应于宏块填充类型，其编码语法包括含有字符串“stuffing”的字段MBTYPE，还包括具有值0000 0000 1的码字。