用于二进制形状编码器中的模式信号编码方法和装置

摘要

将M×N像素的目标块的模式信号编码的方法,如确定目标块即非all－0又非all－255,则选择基于帧的编码或基于场的编码以产生编码模式信号,目标块的基本模式根据all－0,all－255和/或编码模式信号产生。如选择基于帧的编码,则产生帧模式。如选择基于场的编码,则将帧分为顶场和底场,从而获得顶场的顶模式和底场的底模式,底模式是用顶模式修正为修正的底模式的;并将顶模式和修正的底模式连接作为场模式。

说明书

本发明涉及一种用于对二进制形状信号的模式信号进行编码的方法和装置，特别是一种或者是根据基于帧的编码或者是根据基于场的编码，而对模式信号进行编码的方法和装置。

在如可视电话，电话会议和高清晰度电视系统这样的数字电视系统中，由于视频帧信号中的视频行信号包括被称为像素值的数字数据序列，需要大量的数字数据来限定每个视频帧信号。然而，由于常规发送信道的可用频带宽是有限的，为了通过它发送大量数字数据，需要通过采用各种数据压缩技术来压缩或减少数据量，特别是在象可视电话和电话会议系统这种低比特率视频信号编码器的情况下。

这种用在低比特率编码系统中，用于对将视频信号进行编码的技术之一是所谓面向目标的分析-综合编码技术，其中输入视频图象被划分为目标，并通过不同的编码信道对用于限定每个目标的运动、轮廓和像素数据的三组参数进行处理。

这种面向目标的编码方案的一个例子是所谓MPEG(活动图象专家组)第4阶段(MPEG-4)，它被设计为在如低比特率通信、交互式多媒体(例如游戏，交互式TV等)及区域监视这类应用中提供音频-视频编码标准，用于允许基于内容交互，改进编码效率和/或通用存取。

根据MPEG-4，输入视频图象被划分为多个视频目标平面(VOP’s)，它对应于用户能够具有入口并操作的在位流中的实体。VOP可被称为目标，并用包围每个目标的其宽度和高度可为16个像素(宏块尺寸)的最小倍数的有边界矩形表示，从而编码器可在逐个的VOP基础上处理输入视频图象。

MPEG-4中描述的VOP包括形状信息和彩色信息，该彩色信息由亮度和色度数据构成，其中在二进制形状信号中所表示的形状信息被称为阿尔法平面(alpha plane)。阿尔法平面被分为多个二进制阿尔法块，其中每个二进制阿尔法块(BAB)有16×16个二进制像素。每个二进制像素或者被分类为背景像素，或者为目标像素，其中习惯于将二进制像素值例如0分配给位于阿尔法平面中目标外部的背景像素，而给目标内部的目标像素分配另一像素值，例如255。

通过使用常规的基于位映象的形状编码方法，如基于上下文的算术编码(context-based arithmetic encoding)(CAE)规程，可对BAB中的每个二进制像素进行编码。例如，在帧内模式中，通过使用帧内CAE(intra CAE)规程，将BAB的所有二进制像素编码，以便由此产生帧内编码的BAB，其中在帧内CAE规程中BAB的每个二进制像素的上下文值是通过使用预定数目的二进制像素值来计算的，例如围绕BAB中所述每个二进制像素的10个二进制像素。而在帧间模式中，通过使用帧间CAE(inter CAE)规程，将当前BAB的所有二进制像素编码，以便由此产生帧间编码的BAB，其中在帧间CAE规程中当前BAB的每个二进制像素的上下文值是通过使用预定数目的二进制像素值，例如围绕当前BAB中所述每个二进制像素的4个二进制像素，以及预定数目的二进制值，例如加边(boardered)运动补偿BAB内的5个二进制像素来计算的(见MPEG-4 Video Verification ModelVersion 7.0，国际标准化组织，活动图象和相关音频信息的编码，ISO/IEC JTCl/SC29/WGll MPEG97/N1642,Bristol,April 1997,pp28-30)。

同时，在常规的二进制形状编码规程中，将表示或说明BAB的相应编码条件的模式信号编码以提高编码效率，从而产生并随后发送相应的编码模式信号。

例如，如果BAB内所有二进制像素均为目标像素，则不是对目标像素的二进制像素值进行编码以产生将被发送的编码二进制像素值，而是对表示BAB内所有二进制像素均为目标像素的模式信号进行编码将是更可取的。通过采用上述方法，借助于将相应的编码模式信号作为BAB的二进制形状信息来发送，从而提高编码效率是可能的。

参照表1，其中示出根据常规模式编码规程的BAB二进制阿尔法信息的7个模式，其中BAB的形状运动矢量差值(MVD)为形状运动矢量(MV)和形状运动矢量预测值(MVP)之间的差值；且MVP是通过使用常规的运动估值规程来确定的(见MPEG-4 Video VerificationModel Version 7.0，围际标准化组织，活动图象及相关音频信息的编码，ISO/IEC JTC1/SC29/WG11 MPEG97/N1 642,Bristol,April1997,pp 20-23)。

                          表1

  模式      编码条件    1    MVD==0&& no update    2    MVD!=0&& no update    3    MVD==0&& inter CAE    4    MVD!=0&& inter CAE    5       intra CAE    6          all 0    7         all 255

在表1中，模式1表示BAB的形状运动矢量差值(MVD)被定义为零，且BAB内所有二进制像素均不需被编码；模式2说明MVD未被定义为零，且BAB内所有二进制像素均不需被编码；模式3说明MVD被定义为零，且BAB内所有二进制像素均已被用帧间CAE规程编码；模式4表示MVD未被定义为零，且BAB内所有二进制像素均已被用帧间CAE规程编码；模式5表示BAB内所有二进制像素均已被用帧内CAE规程编码；模式6表示BAB内所有二进制像素均被定义为背景像素；模式7表示BAB内所有二进制像素均被定义为目标像素。

以上描述的采用常规模式编码方法的常规二进制形状编码方法基本上是逐行编码(progressive coding)方法。即，在常规二进制形状编码方法中，通过采用基于逐场的运动估值方法而实现的隔行编码(interlaced coding)技术没有被使用。因此，即使帧之间的空间和/或时间相关性低于场之间的空间和/或时间相关性，也没有使用隔行编码技术，因而限制了其提高编码效率的可能性。

因此，本发明的基本目的是通过自适应地实行逐行编码或者是隔行编码来将模式信号有效地编码的方法和装置。

本发明的另一个基本目的是在隔行编码中通过借助顶场的顶模式修正底场的底模式，来将模式信号有效地编码的方法和装置。

根据本发明，提供一种对二进制形状信号目标块的模式信号进行编码的方法，其中二进制形状信号包括多个图象，每个图象被划分为许多M×N像素块，各像素具有第一和第二二进制值之一，并将目标块或者通过基于帧的编码，以在M×N个像素基础上进行编码，或者通过基于场的编码，以在(M/2)×N个像素基础上进行编码，目标块表示将被编码的当前图象的块之一，M和N分别为正偶整数，该方法包括步骤：

(a)如果目标块相对于第一参考块的误差不大于预定阈值，则产生第一表示信号，并且如果目标块相对于第二参考块的误差不大于预定阈值，则产生第二表示信号，各参考块具有M×N个像素，且第一和第二参考块的所有像素分别为第一和第二二进制值；

(b)如果在步骤(a)中没有产生第一和第二表示信号，则或者选择基于帧的编码，或者选择基于场的编码以产生编码模式信号，其中编码模式信号表示目标块是否是通过使用或者基于帧的编码或者基于场的编码而被编码的；

(c)根据第一和第二表示信号及编码模式信号产生目标块的基本模式；

(d)如果在步骤(b)中选择基于帧的编码，则用基于帧的编码将目标块编码，以产生帧模式和帧编码数据，其中帧模式表示帧编码数据的编码条件；

(e)如果在步骤(b)中选择基于场的编码，则用基于场的编码将目标块编码，以产生场模式和场编码数据；以及

(f)将基本模式和帧模式或场模式结合，以产生用于发送目标块的模式信号。

从以下连同附图一起给出的对优选实施例的描述，本发明的上述和其它目的和特征将显示出来，其中

图1说明根据本发明优选实施例的装置，用于在二进制阿尔法块(BAB)基础上对形状信息的模式进行编码；

图2示出图1中所示帧编码电路的详细方框图；以及

图3表示图1中所示场编码电路的详细方框图。

参照图1，说明了根据本发明优选实施例的装置，用于在二进制阿尔法块(BAB)基础上对形状信息的模式进行编码，其中在二进制形状信号中表示的形状信息被称为阿尔法平面。阿尔法平面被分为多个二进制阿尔法块，且二进制阿尔法块被作为形状信息提供给帧检测部分10，其中每个二进制阿尔法块(BAB)有16×16个二进制像素。

帧检测电路10检查每个BAB的编码模式是否是“all_0”(“全0”)或“all_255”(“全255”)。特别地，最好将BAB划分为16个4×4像素的子块。如果所有BAB的子块和all_0子块之间的所有误差小于或等于预定阈值，则将所有BAB的二进制像素改为具有像素值“0”的背景像素，且将表明BAB被定义为“all_0”的表示信号S1=‘all_0’提供给模式多路复用器(MUX)90，其中all_0子块是其二进制像素值全部为“0”的子块。如果所有BAB的子块和all_255子块之间的所有误差小于或等于预定阈值，则将所有BAB的二进制像素改为具有像素值“255”的目标像素，且将表明BAB被定义为“all-255”的表示信号S₁=‘all_255’提供给模式MUX 90，其中all_255子块是其二进制像素值全部为“255”的子块。

如果BAB的编码模式即不是“all_0”也不是“all-255”，则将阿尔法平面的BAB提供给模式选择电路20和开关25。模式选择电路20确定是否将BAB或者在帧基础上或者在场基础上编码；产生表示BAB或者在帧基础上或者场基础上编码的编码模式信号S₂；将编码模式信号S₂提供给开关25和模式MUX 90。模式MUX 90根据表示信号S₁和编码模式信号S₂产生BAB的基本模式信号。

参照表2，其中例示出在模式MUX 90中产生的4个基本模式信号。

                              表2

    基本模式 基本模式信号    all-0    00    all_255    01    场模式    10    帧模式    11

在开关25，根据编码模式信号S₂将BAB或者切换到帧模式电路30或者切换到帧划分器27。特别地，如果将BAB在帧基础上编码，则将BAB作为BAB帧数据提供给帧编码电路30，否则，将BAB提供给帧划分器27。

参看图2，其中示出图1中所示帧编码电路的详细方框图，其中BAB帧数据被作为当前BAB提供给帧未更新(no_update)电路32，运动估算和运动补偿(ME&MC)电路33，以及在帧重建单元44中的帧MUX35。

ME&MC电路33根据从帧重建单元44中存储器34取出的候选MVP，确定当前BAB的运动矢量预测值(MVP)；计算当前BAB的运动矢量(MV)和运动矢量差值(MVD)；根据MV进行运动补偿，以产生加边运动补偿(加边MC)块；并分别向MVD编码电路36和帧未更新电路32提供MVD和加边MC块，其中MVD表示MV和MVP之间的位移，加边MC块即表示运动补偿BAB(MC BAB)，又表示MC BAB周围宽度为1像素的边界，该运动补偿BAB(MC BAB)是通过用MV将与MVP对应的以前BAB的每个二进制像素移位而获得的(见MPEG-4 Video VerificationModel Version 7。0，国际标准化组织，活动图象及相关音频信息编码，ISO/IEC JTC1/SC29/WG11 MPEG97/N1642,Bristol,April1997,pp20-23)。

MVD编码电路36产生表示MVD是否等于“0”的MVD信号S₃以将该MVD信号S₃提供给模式确定电路43，且如果MVD不等于“0”，则MVD编码电路36对当前BAB的MVD进行编码，以通过线L36将编码的MVD数据本身提供给基于上下文的算术编码单元(CAE单元)45中的帧间比特计算电路40和数据MUX 95。

与此同时，帧未更新电路32确定当前BAB是否与MC BAB相同，并给模式确定电路43提供表示是否必须将当前BAB编码的未更新信号S₄。首先，帧未更新电路32将当前BAB分为16个当前子块，将MC BAB分为16个MC子块，其中每个当前子块和MC子块有4×4个像素，并且通过废除加边MC BAB周围宽度为1像素的边界而获得MCBAB场。帧未更新电路32确定每个当前BAB子块和其相应的MC子块之间的每个误差是否小于或等于预定阈值。如果所有误差小于或等于预定阈值，则不将当前BAB编码是合适的，从而信号S₄表示未更新。

相反，如果BAB子块和它们的相应MC子块之间的误差中至少一个是大于预定阈值的，即，如果必须将当前BAB按以下描述的进行编码，则帧未更新电路32将当前BAB提供给CAE单元45中的基于帧内上下文的算术编码(帧内CAE)电路37和帧间CAE电路39，并给帧间CAE电路39提供加边MC BAB。

通过使用常规的帧内CAE规程，根据经过线L35从重建单元44中的帧MUX 35恢复的3个相邻重建BAB，帧内CAE电路37将当前BAB的所有二进制像素编码，其中与当前BAB在左上方，上方和左方的方向上相邻的每个相邻重建BAB包括16×16个重建像素。在常规的帧内CAE规程中，当前BAB每个二进制像素的帧内上下文值是通过使用预定数目的二进制像素值来计算的，例如围绕所述每个二进制像素的10个候选二进制像素，其中候选二进制像素是从3个相邻重建BAB中的所有重建像素，以及如果有的话，一个或更多已用帧内CAE规程编码的帧内编码当前像素中选择的，且所述每个二进制像素是根据帧内上下文值而被编码为所述每个二进制像素的帧内编码像素的。所有帧内编码像素被作为帧内CAE数据提供给帧内比特计算电路38和选择器42。

帧内比特计算部分38计算表示帧内CAE数据所需的比特数，并将帧内CAE数据的比特数提供给比较器41。

与此同时，通过使用帧间CAE规程，根据经过线L35恢复的相邻重建BAB和加边MC BAB，帧间CAE电路39将所有当前BAB的二进制像素编码。在帧间CAE规程中，当前BAB中每个二进制像素的帧间上下文值是通过使用预定数目的二进制像素值，例如围绕当前BAB中所述每个二进制像素的4个重建二进制像素，以及预定数目的二进制值，例如加边运动补偿BAB内的5个加边MC二进制像素来计算的，且根据帧间上下文值将所述每个二进制像素编码，以产生所述每个二进制像素的帧间编码像素。所有帧间编码像素被作为帧间CAE数据提供给帧间比特计算电路40和选择器42。

帧间比特计算电路40计算表示帧间CAE，以及，如果有的话，编码MVD数据所需的比特数，并将该比特数提供给比较器41。

在比较器41中，如果帧内CAE数据的比特数小于帧间CAE数据和编码MVD数据的比特数，则给选择器42和模式确定电路43提供表示帧内CAE数据的帧内/帧间信号S₅，否则，提供表示帧间CAE数据和编码MVD数据的帧内/帧间信号S₅。

根据帧内/帧间信号S₅，选择器42或者选择帧内CAE数据，或者选择帧间CAE数据和编码MVD数据，从而给数据MUX 95提供选择结果。

与此同时，模式确定电路43根据信号S₃,S₄和S₅确定当前BAB的帧编码模式，并将帧编码模式提供给帧重建单元44内的帧MUX 35和图1中所示帧模式编码电路47。

根据来自模式确定电路43的帧编码模式，帧MUX 35重建当前BAB以产生重建的BAB。换句话说，帧MUX 35根据帧编码模式用重建的BAB取代了当前BAB本身或从ME&MC电路33送来的加边MC BAB中的MC BAB。为处理下一个BAB帧数据，经过线L35，将重建的BAB从帧MUX 35提供给存储器34，帧内CAE电路37和帧间CAE电路39。

再参看图1，根据常规的统计编码技术，帧模式编码电路47产生当前BAB的帧模式信号，以将该帧模式信号提供给模式MUX 90。

                           表3

       帧编码模式帧模式信号    MVD==0&&no_update    0    MVD!=0&&no_update    110    MVD==0&&inter CAE    10    MVD!=0&&inter CAE    1110    intra CAE    1111

参看表3，其中例示出与基于信号S₃,S₄和S₅的帧编码模式相适应的帧BAB的5个帧模式信号，其中帧BAB形状运动矢量差值(MVD)为形状运动矢量(MV)和形状运动矢量预测值(MVP)之间的差值；且MVP是通过使用常规的运动估算规程确定的。

相反，如果根据编码模式信号S₂将BAB从开关25提供给帧划分器27，以便在场基础上对其进行编码，帧划分器27将BAB分为顶场和底场BAB，其中顶场BAB最好包含BAB的每个奇数行，底场BAB包含BAB的每个偶数行，且分别将顶场和底场BAB作为场BAB数据提供给顶场和底场编码电路50和70。如果BAB具有16×16个像素，则顶场和底场BAB各有8×16个像素是合理的。顶场编码电路50基本上与底场编码电路70相同，因此下面将对一个代表性的场编码电路进行描述。

参看图3，其中示出了图1中所示顶/底场编码电路的详细方框图，其中场BAB数据被作为当前场BAB提供给场检测电路51。场编码电路与帧编码电路类似，因此下面简要地说明场编码电路。

场检测电路51在逐场基础上检查每个当前场BAB的编码模式，以检验编码模式是否是“all_0”和“all_255”二者之一。如果当前场BAB的编码模式是“all_0”和“all_255”二者之一，则将表示当前场BAB被定义为“all_0”和“all_255”二者之一的表示信号S₆提供给模式确定电路63。如果当前场BAB的编码模式即不是“all_0”也不是“all_255”，则将当前场BAB提供给场未更新电路52，ME&MC电路53和场重建单元64内的场MUX 55。

ME&MC电路53按照常规的MPEG-4规程，根据从场重建单元64中存储器34取出的候选MVP确定当前场BAB的运动矢量预测值(MVP)，其中每个候选MVP最好从存储器34中的重建帧BAB的重建底场BAB中选择。存储器34由顶场编码电路50，底场编码电路70和图2中所示帧编码电路30的帧重建单元44共用。在计算当前场BAB的MV和MVD之后，ME&MC电路53分别给MVD编码电路56和场未更新电路52提供MVD和加边MC场块，其中MVD代表MV和MVP之间的位移，加边MC场块即表示MC场BAB也表示MC场BAB周围的宽度为1个像素的边界。顶场或底场BAB的MC场BAB通过用MV将与MVP相对应的以前BAB的顶场或底场BAB的每个二进制像素移位来获得。与帧编码电路的MVD编码电路36基本相同的MVD编码电路56给模式确定电路63提供表示MVD是否等于’0’的MVD信号S₇，且如果有的话，将当前场BAB的MVD编码，以经过线L56给CAE单元65中的场间比特计算电路60和数据MUX95提供编码的MVD数据本身。

与此同时，场未更新电路52给模式确定电路63提供未更新信号S₈，其中未更新信号S₈表示当前场BAB是否与MC场BAB相同，从而是否必须将当前场BAB编码。如果当前场BAB与MC场BAB相同，则不将当前BAB编码是合理的，从而信号S₈表示未更新。相反，如果必须将当前场BAB如以下所描述的进行编码，则除用词“场”代替“帧”外，场未更新电路52按与前面对帧编码电路30所描述的类似模式，将当前场BAB和加边MC场BAB提供给CAE单元65。

顶/底场编码电路50和70的CAE单元65基本上与图2中所示帧编码电路30的CAE单元45相同，且顶/底场编码电路50和70的CAE单元65类似地包括场内CAE电路57，场内比特计算电路58，场间CAE电路59，场间比特计算电路60，比较器61和选择器62。将场内/场间信号S₉从比较器61提供给选择器62和模式确定电路63，该信号S₉表示当前场BAB的场内CAE数据是否比场间CAE数据更可取，且根据场内/场间信号S₉选择器62或者选择场内CAE数据，或者选择场间CAE数据，从而将选择结果提供给数据MUX95。

与此同时，模式确定电路63根据信号S₆,S₇,S₈和S₉确定当前场BAB的场编码模式，并将场编码模式提供给重建单元64内的场MUX55。如图1中所示，场编码模式还被从顶场编码电路50提供给顶模式编码电路67或从底场编码电路70提供给底模式编码电路87。

根据来自模式确定电路63的场编码模式，场MUX55重建当前场BAB。换句话说，根据场编码模式，场MUX55用当前场BAB的重建场BAB代替“all_0”场BAB,“all_255”场BAB，从场检测电路51送来的当前场BAB和从ME&MC电路53送来的MC场BAB的任何一个。为处理下一场BAB数据，经过线L55将重建场BAB从场MUX 55提供给存储器34，场内CAE电路57和场间CAE电路59。

再参看图1，顶模式编码电路67根据常规的统计编码技术产生当前顶场BAB的顶模式信号，以给底模式编码电路87提供顶模式信号。

                           表4

        顶模式顶模式信号 MVD==0&&no_update(T1)    11110 MVD!=0&&no_update(T2)     110 MVD==0&&inter CAE(T3)      10 MVD!=0&&inter CAE(T4)       0    intra_CAE(T5)     1110     all_0(T6)    111110    all_255(T7)    111111

参看表4，其中例示出与基于信号S₆，S₇,S₈和S₉的顶编码模式相适应的顶场BAB的7个顶模式信号，其中T1代表第一顶模式，它表示BAB的形状运动矢量差值(MVD)被定义为零，且BAB中的所有二进制像素不需要被编码等等。

底模式编码电路87根据常规的统计编码技术产生当前底场BAB的修正的底模式信号，其中修正的底模式信号是根据顶模式信号确定的；且将顶模式信号附加到修正的底模式信号上，以给模式MUX90提供作为场模式信号的经过附加的模式信号。

                              表5

                          顶模式  T1 T2 T3 T4 T5 T6   T7底模式 B1   0 101111  01111  01111  01111  0 11110 B2  10  01110111011101110 1110 B3 11101110 10 10 110 10  10 B4 110 110  0  0 10  0   0 B5 1111  1  11111  1  1 110 110  0 110  110 B6 1111  01111  01111  1  11111  1  11111  1  1  x 11111 B7 1111  1  01111  1  01111  1  01111  1  01111  1  01111  1   x

参照表5，其中例示出用7个顶模式信号修正的底场BAB的47个修正的底模式信号，其中B1代表第一底模式，它表示BAB的形状运动矢量差值(MVD)被定义为零，且BAB中的所有二进制像素不需要被编码等等。Bi对于底场来说与Ti对于顶场是一样的，i为1到7。对于第六个顶模式T6，在底模式中没有“all_0”，因为已经在帧检测电路10中检验了帧BAB的“all_0”。

再参看图1，在如上所述根据表示信号S₁和编码模式信号S₂产生基本模式信号后，模式MUX90根据基本模式信号将帧和场模式信号复接以给数据MUX95提供模式信号。

数据MUX95根据模式信号将帧编码数据和顶场编码数据和底场编码数据复接，以给发送器(未示出)提供多路复用数据。

尽管只根据特定的优选实施例对本发明进行了描述，但也可作出其它修改和变型而不脱离如在下面的权利要求中所提出的本发明的实质和范围。