传输流台标字幕插入系统中跳过宏块的处理方法和装置

摘要

本发明提供了一种传输流台标字幕插入系统中跳过宏块的处理方法和装置，用以解决现有技术中终端解码出错的问题。该方法包括：解码输入视频传输流，根据连续解码的两个宏块的地址增加参数判断两个宏块之间的跳过宏块个数；判断跳过宏块相对图像解码区的位置关系；按照跳过宏块的位置关系和帧类型重建跳过宏块；在视频传输流中叠加插入图像的数据，然后进行重新编码。采用本发明的技术方案，视频帧中插入台标、字幕或者广告等图像时，对图像插入区及其周边的跳过宏块进行了处理，解决了转码过程中因跳过宏块导致的终端视频解码错误的问题，使最终视频正确显示。

说明书

技术领域

本发明涉及传输流台标字幕插入领域，尤其涉及一种传输流台标字幕插入系统中跳过宏 块的处理方法和装置。

背景技术

随着数字视频业务的普及以及三网融合大趋势的确定，数字视频之间的转码需求以及在 转码框架中的各种应用需求日益增长。视频转码涉及了视频解码和再编码技术，是视频编解 码领域的重点和难点。

在压缩视频流中图像帧的P、B帧中，定义了一类特殊的跳过宏块(Skipped MB)。跳过 宏块在解码重建图像中是实际存在的一个宏块区域，但跳过宏块在编码输出码流中没有任何 数据，只是在下一个非跳过宏块头中用宏块地址增加(macroblock_address_increment)参数标 识该宏块之前跳过宏块的数目。在视频帧中插入台标、字幕或者广告等图像时，重新编码输 出时，跳过宏块和附近位置会出现终端解码出错的情况，导致在终端显示不正确的问题

目前针对跳过宏块处理不当而引起的基于数字电视传输流(TS流)的台标字幕插入系统 出现的终端解码出错的问题，现有技术中尚未提出有效的解决方案。

发明内容

本发明的主要目的是提供一种传输流台标字幕插入系统中跳过宏块的处理方法和装置， 以解决现有技术中终端解码出错的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种传输流台标字幕插入系统中跳 过宏块的处理方法，该方法包括：解码输入视频传输流，根据连续解码的两个宏块的地址增 加参数判断两个宏块之间的跳过宏块个数；判断跳过宏块相对图像解码区的位置关系；按照 跳过宏块的位置关系和帧类型重建跳过宏块；在视频传输流中叠加插入图像的数据，然后进 行重新编码。

进一步地，上述跳过宏块是P帧中位于解码区的跳过宏块，按照位置关系和帧类型重建 跳过宏块包括：将P帧中位于解码区的跳过宏块的运动矢量置零，拷贝该P帧的参考帧内与 该跳过宏块同一位置的宏块的重建数据。

进一步地，上述跳过宏块是B帧中位于图像插入区的跳过宏块或者参考了图像插入区的 跳过宏块，按照位置关系和帧类型重建跳过宏块包括：将跳过宏块按照跳过宏块的之前一个 非跳过宏块的预测类型和运动矢量进行解码重建。

进一步地，进行重新编码包括：判断叠加数据后的宏块是否为跳过宏块；根据判断结果 修改该宏块的宏块头中的地址增加参数和编码器的相应数据。

进一步地，根据判断结果修改该宏块的宏块头中的地址增加参数和编码器的相应数据包 括：对叠加数据后变为非跳过宏块的跳过宏块，修改该宏块的宏块头中的地址增加参数。

进一步地，根据判断结果修改该宏块的宏块头中的地址增加参数和编码器的相应数据包 括：对叠加数据后变为跳过宏块的非跳过宏块，修改该宏块的宏块头中的地址增加参数，并 且复位编码器中的直流分量预测器和参考运动矢量。

根据本发明的另一个方面，提供了一种数字视频转码中跳过宏块的处理装置，该装置包 括：解码模块，用于解码输入视频传输流，根据连续解码的两个宏块的地址增加参数判断两 个宏块之间的跳过宏块个数；跳过宏块位置判断模块，用于判断跳过宏块相对图像解码区的 位置关系；跳过宏块重建模块，用于按照该位置关系和帧类型重建跳过宏块；再编码模块， 用于在视频传输流中叠加插入图像的数据，然后进行重新编码。

进一步地，再编码模块还用于：判断叠加数据后的宏块是否是跳过宏块；根据判断结果 修改该宏块头的地址增加参数和编码器的相应数据。

根据本发明的技术方案，解码输入视频传输流，根据连续解码的两个宏块的地址增加参 数判断两个宏块之间的跳过宏块个数；判断跳过宏块相对图像解码区的位置关系；按照位置 关系和帧类型重建跳过宏块；在视频传输流中叠加插入图像的数据，然后进行重新编码。在 视频帧中插入台标、字幕或者广告等图像时，对以上图像插入区及其周边的跳过宏块进行特 殊的处理，解决了转码过程中因跳过宏块导致的终端视频解码错误的问题，使参考跳过宏块 的P、B帧宏块正确解码，从而使最终视频正确显示。

附图说明

说明书附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实 施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的视频帧区域划分示意图；

图2是根据本发明实施例的传输流台标字幕插入系统中跳过宏块的处理方法的示意图；

图3是根据本发明实施例的跳过宏块影响图像插入的示意图；以及

图4是本发明实施例的传输流台标字幕插入系统中跳过宏块的处理装置的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。 下面将参考附图并结合实施例来详细说明本发明。

图1是根据本发明实施例的视频帧区域划分示意图，如图1所示，视频帧分为插入区100、 相关区200和无关区300三个区域，插入区100为所插入的台标或字幕等图像所覆盖的视频 图像区域。相关区200为与插入区宏块存在直接或间接相互参考关系的宏块组成的区域。无 关区300为显示器的视频图像剩余的区域。其中前两个区内的宏块在进行台标和字幕插入时 需要解码，统称为解码区。

跳过宏块在解码重建图像中是实际存在的一个宏块区域，但在解码和再编码过程中并没 有调用运动补偿、运动估计、DCT变换/IDCT变换、量化/逆量化和熵编码/熵解码等流程。

图2是根据本发明实施例的传输流台标字幕插入系统中跳过宏块的处理方法的示意图， 如图2所示，该方法主要包括如下步骤：

步骤S21：解码输入视频传输流，根据连续解码的两个宏块的地址增加参数判断两个宏块 之间的跳过宏块个数；

步骤S23：判断跳过宏块相对图像解码区的位置关系；

步骤S25：按照该位置关系和帧类型重建跳过宏块；

步骤S27：在视频传输流中叠加插入图像的数据，然后进行重新编码。

步骤S21中根据连续解码的两个宏块的地址增加参数判断两个宏块之间存在几个跳过宏 块。例如，宏块地址增加参数为1，表示连续解码的两个宏块之间没有跳过宏块；而宏块地址 增加参数为2，表示连续解码的两个宏块之间有1个跳过宏块，依此类推。

由于跳过宏块在解码重建图像中是实际存在的一个宏块区域，因此在插入台标、字幕或 者广告等图像时，需要考虑跳过宏块。图3是根据本发明实施例的跳过宏块影响图像插入的 示意图，如图3所示，输入视频传输流的宏块排列31在宏块2和宏块3之间存在跳过宏块 skip1～skip4，共四个跳过宏块，实际需要在重建图像的第5个宏块所在的位置处插入图像33， 该位置实际上是重建的跳过宏块skip2。在实际解码中，在解码宏块排列31中第2个宏块后， 需要考虑跳过宏块，马上进行相应的叠加处理，叠加后的重建宏块排列为32。如果不考虑跳 过宏块，在处理宏块排列31中宏块5时，才叠加图像就会在终端出现解码显示错误。

宏块分类取决于解码重建宏块在待处理视频帧中的位置，而连续的跳过宏块会对求取解 码宏块的重建位置产生影响，需要确定起始跳过宏块和结尾跳过宏块与解码区两侧的位置关 系。如图3中宏块排列31的宏块3，解码宏块3时需要把4个跳过宏块的位置偏移计算在内， 得到该宏块在解码重建图像中实际位置是第7个宏块，处于图像插入区内。

另外，图像插入系统中局部解码区是由设定的图像插入位置坐标确定的。然而，当局部 解码区所在的条带中存在一连串的跳过宏块时，这些跳过宏块有可能跨越了局部解码区。这 时为了准确得到图像插入位置，本实施例还需确定每一个跳过宏块在视频帧中的具体位置坐 标。以每个跳过宏块为16×16像素大小为例，跳过宏块在重建视频图像中的位置可由累加16 像素的宽度值确定。如第一个跳过宏块的定点横坐标为16，第二个跳过宏块的定点横坐标为 16+16＝32。

由于图像插入区的宏块在解码后，叠加了图像，所以参考了该区域的宏块需要在再编码 过程中修改残差数据。需要解码的宏块需要根据帧类型分别处理。P帧由于需要做参考帧，所 以解码区中的跳过宏块需要重建。B帧图像插入区的跳过宏块需要重建来叠加图像，而B帧 中参考了插入区的跳过宏块需要重建，这是因为B帧中的跳过宏块具有和其前一个宏块同样 的运动矢量MV，即B帧跳过宏块参考了I帧或P帧，该跳过宏块参考的区域是图像插入区， 则需要解码重建，以便在再编码过程中修改残差数据。

跳过宏块是P帧中位于解码区的跳过宏块，按照跳过宏块的位置关系和帧类型重建跳过 宏块包括：将P帧中位于解码区的跳过宏块的运动矢量置零，拷贝该P帧的参考帧内与该跳 过宏块同一位置的宏块的重建数据。

跳过宏块是B帧中位于图像插入区的跳过宏块或者参考了图像插入区的跳过宏块，按照 跳过宏块的位置关系和帧类型重建跳过宏块包括：将跳过宏块按照跳过宏块的前一个非跳过 宏块的预测类型和运动矢量进行解码重建。

进行重新编码包括：判断叠加数据后的宏块是否是跳过宏块；根据判断结果修改该宏块 头的地址增加参数和编码器的相应数据。

由于对输入视频流插入了图像，会导致某些宏块的解码类型和再编码类型出现不一致的 情况。一般包括两种情况，第一种情况是解码时是跳过宏块，而再编码时变为非跳过宏块； 而第二种情况是解码时是非跳过宏块，而再编码时变为跳过宏块。对于第一种情况，本实施 例根据宏块类型发生变化的宏块的位置修改了其宏块头中的宏块地址增加参数，以便解码端 正确得到跳过宏块的个数。对于第二种情况，除了修改再编码宏块类型发生变化的宏块的宏 块头中的地址增加参数外，对于P帧宏块还需复位编码器的直流(DC)分量预测器和参考 MV，而对于B帧宏块则只需复位编码器的DC分量预测器。

图4是本发明实施例的传输流台标字幕插入系统中跳过宏块的处理装置的示意图，如图4 所示，该装置40包括：解码模块41，用于解码输入视频传输流，根据连续解码的两个宏块的 地址增加参数判断两个宏块之间的跳过宏块个数；跳过宏块位置判断模块43，用于判断跳过 宏块相对图像解码区的位置关系；跳过宏块重建模块45，用于按照跳过宏块的位置关系和帧 类型重建跳过宏块；再编码模块47，用于在视频传输流中叠加插入图像的数据，然后进行重 新编码。

进一步地，再编码模块47还用于：判断叠加数据后的宏块是否是跳过宏块；根据判断结 果修改该宏块头的地址增加参数和编码器的相应数据。

根据本发明的技术方案，解码输入视频传输流，根据连续解码的两个宏块的地址增加参 数判断两个宏块之间的跳过宏块个数；判断跳过宏块相对图像解码区的位置关系；按照跳过 宏块的位置关系和帧类型重建跳过宏块；在视频传输流中叠加插入图像的数据，然后进行重 新编码。在视频帧中插入台标、字幕或者广告等图像时，对以上图像插入区及其周边的跳过 宏块进行特殊的处理，解决了转码过程中因跳过宏块导致的终端视频解码错误的问题，使参 考跳过宏块的P、B帧宏块正确解码，从而使最终视频正确显示。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算 装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上， 可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置 中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块 或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员 来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等 同替换、改进等，均应包含在本发明的保护范围之内。