使用多描述分层编码提高传输效率的方法和系统

摘要

公开了一种用于使用MDC和细粒空间编码提高网络传输效率的方法、系统和设备。按照本方法，将视频图像分割成多个信息项帧，将每个帧独立地分层编码成一个基本层和一个增强层，然后选择通信信道中的至少一个信道，使每个基本层与所选定的通信信道之一相关联，并且通过相关联的通信信道发送各个基本层。按照另一个方面，确定各个相关联的信道上的剩余带宽，并且通过相关联的信道发送可与剩余带宽相比拟的一种等级的相关增强层。

说明书

技术领域

本发明致力于通过通信网络进行的视频传输，并且更加具体地讲，致力于使用多描述和分层编码进行的视频图像传输。

背景技术

在本领域中，多描述编码(MDC)被认为是一种用于通过遭受多路干扰和多普勒多样性的网络(比如无线网络)进行强健通信的有效技术。MDC还在通过多个盘驱动器(例如廉价盘的冗余阵列(RAIDS))和因特网分发的数据的传输中得到了采用。我们已知了数种类型的MDC编码方案。例如，Servetto等人在《多描述网格向量量化(Multiple Description Lattice Vector Quantization)》(IEEE数据压缩收敛会报(Proceedings of IEEE Data CompressionConvergence(DCC))，美国犹他州，Snowbird市，1999年3月)中教导了标量势。Y.Wang等人在《利用成对关联变换的多描述编码(Multiple Description Coding using Pairwise CorrelatingTransforms)》(1999年1月)中倡导关联变换。Goyal、Vetteri等人在《多描述变换编码：使用密排帧展开的疑符的强健性(MultipleDescription Transform Coding：Robustness to Erasures Using TightFrame Expansion)》(1998年8月)中倡导帧展开。Puri等人在《用于因特网视频流送和多点传送信号处理的基于多描述编码的正向误码修正(FED)(Forward Error Correction(FED)Codes Based on MultipleDescription Coding for Internet Video Streaming and Multicast SignalProcessing)》(《图像通信(Image Communication)》第16卷第8期，第745-762页，2001年5月)中倡导正向误码修正(FEC)。

附图1表示由J.G.Apostolopoulos在《利用多状态编码和路径分集通过有损分组网络进行的可靠视频通信(Reliable VideoCommunication Over Lossy Packet Networks using Multiple StateEncoding and Path Diversity)》(《可视通信和图像处理(VCIP)(Visual Communications and Image Processing(VCIP))》2001年1月，第392-409页)中提出的MDC方法100，其中将由多个图像帧(表示为110a、110b、110c)组成的视频数据分成信息的奇数帧(表示为121、123、125)和信息的偶数帧(表示为122、124、126)。然后使用公知的编码技术，比如MPEG等，对各个奇数帧和偶数帧中的视频信息独立地进行编码。然后可以使用相同或不同的信道通过网络来发送各个奇数和偶数帧中的编码信息。在后一种情况下，能够明显减少发送整个图像所用的时间。应当可以意识到，称为“奇数”和“偶数”的信息，例如，可以是与视频图像中的视频数据的“奇数”和“偶数”行相关联的信息。

在当前的技术水平下，MDC编码算法假设至少一个信道是在最大位速率或带宽的条件下工作的。不过，这一假设并没有考虑到网络带宽随时间变化并且可能会落到适于MDC编码图像的水平之下。在这样的情况下，所发送的图像不会得到正确的解码并且接收方的图像质量可能会降低到足以导致再现图像看不见的程度。

因此，存在着对这样的MDC编码方法的需求：该方法对可用网络带宽的变化量做出响应并且能够动态地调整传输速率，以适应可用网络带宽。

发明内容

公开了一种用于使用MDS和分层编码，尤其是细粒空间编码提高网络传输效率的方法、系统和设备。按照本方法，将视频图像分割成多个信息项帧，将每个帧独立地分层编码成一个基本层和一个增强层，然后选择通信信道中的至少一个信道，使每个基本层与所选定的通信信道之一相关联，并且通过相关联的通信信道发送各个基本层。按照另一个方面，确定各个相关联的信道上的剩余带宽，并且通过相关联的信道发送可与剩余带宽相比拟的一种等级的相关增强层。

附图说明

附图1表示传统的MDC编码系统；

附图2表示按照本发明原理的MDC编码系统；

附图3表示按照本发明原理的MDC/FGC编码的系统的框图；

附图4表示按照本发明原理发送MDC/FGS编码图像的第一种示范性处理的流程图；

附图5表示按照本发明原理发送MDC/FGS编码图像的第二种示范性处理的流程图；

附图6表示按照本发明原理发送MDC/FGS编码图像的第三种示范性处理的流程图；

附图7表示按照本发明原理发送MDC/FGS编码图像的示范性系统；和

附图8表示按照本发明原理发送和接收MDC/FGS编码图像的示范性系统。

具体实施方式

附图1到8和包含在本文中的相应的详细说明将用作本发明的说明性实施方式，并且不应理解为实践本发明的仅有方式。应当理解，这些附图的用途是说明本发明的概念，并且不是按比例给出的。应当意识到，相同的附图标记(在有必要的情况下可能会追加参考字符)通篇用于标注相应的部分。

附图2表示按照本发明的原理使用MCD/FGS编码对视频图像进行编码的示范性方法200。按照这种示范性方法，将视频图像110a、110b、110c划分、分割或区分为分别包含称为“奇数”的信息项的帧(表示为121、123、125)和分别包含称为“偶数”的信息项的帧(表示为122、124、126)，如前文所述。应当意识到，奇数帧121和偶数帧122在组合时表示视频图像110a中的信息。包含在帧121、123、125中的“奇数”信息项是使用(例如，并且最好是)细粒比例(Fine GranularScaled)(FGS)编码法独立地进行分层编码的。FGS编码在本领域中是公知的，并且在例如2001年9月18日授权的名为《可分级视频编码系统(Scalable Video Coding System)》的美国专利US6292512中进行了详细的披露。虽然，FGS编码是较佳的，但是本领域的技术人员应当理解，也可使用其它的分层编码方法。

将每个包含“奇数”信息项的帧，例如121，编码成基本层131和增强层141。基本层131代表图像的最小数字表达并且包含足以满足原始图像通过网络传送时的最低质量等级(即，最低分辨率)的信息。基本层131由I帧131a、P帧131b和B帧131c组成的，和公知的情况一样。

通过包含与原始图像和最小数字图像之间的差异有关的信息(这些信息包含在相应的I帧131a、P帧131b和B帧131c中)，增强层141包含用来改善所传送的图像信息的质量的信息。包含在增强层141中的编码信息项可以与基本层信息一起进行发送，以根据可用网络带宽和基本层带宽之间的总剩余带宽来改善相应的基本层131帧131a、131b和/或131c的图像质量。因此，只有占用剩余带宽的那部分相应增强层可以发送出去。包含在各帧中的称为“偶数”的信息项，例如122，也类似地FGS编码成基本层132和增强层142，并且类似地进行传送。

附图3表示按照本发明原理的用于MDC/FGS编码的系统300的框图。在这个所示的例子中，将视频图像110a、110b和110c提供给帧指示器310，该帧指示器310确定或识别是否正在对信息项的奇数帧或偶数帧进行处理。接着将奇数帧信息提供给传统的FGS编码器320a，该编码器使用公知的FGS编码方法对奇数帧信息进行FGS编码。类似地，在这种所示的情况下，将偶数帧信息提供给第二传统FGS编码器320b，该编码器使用同样的公知FGS编码方法对偶数帧信息进行FGS编码。

然后根据该帧是指示或标识为奇数帧还是偶数帧，将FGS编码帧信息存储到存储介质320a、320b上。速率控制器340然后可以独立地访问存储介质330a、330b，以通过至少一个传输信道350a、350b输出所访问的数据。应当意识到，同一传输信道可以用于传送各个基本层。

虽然没有示出，但是应当意识到，系统300可以仅仅包括单独一个FGS编码器，该编码器可以对奇数帧和偶数帧信息项独立地进行编码。按照这种实施方式，FGS编码器识别正在处理的是奇数帧还是偶数帧，并且将该信息项应用于下一个相应的奇数或偶数帧，以产生预测P或B帧和相应的增强层帧。单独一个编码器的处理维持奇数和偶数帧处理之间的区分，以确保正确地进行预测P和B帧的确定。奇数和偶数帧信息项的这一区分可以借助由指示器单元310放置在数据中的标识符“标记”或“标签”来进行。

按照本发明的另一方面(未示出)，编码的奇数和偶数帧信息可以连续地保存在存储介质上。然后速率控制器340可以访问单独一个存储介质并且根据帧标识符——标记或标签进行判断，通过至少一个选定的通信信道将所访问的信息项发送出去。

附图4表示按照本发明的一个方面的示范性传输处理500的流程图。在这个示范性处理中，在块510中，选择第一信道来传送奇数帧信息，并且在块515中，选择第二信道来传送偶数帧信息。

在块520中，确定第一选定信道上的可用带宽。在块525中，判断所述可用带宽是否大于最小带宽。如果结果是肯定的，则在块530中选择与信息的第一/下一个奇数帧相关的基本层131的帧，并且在块535中通过所选择的第一信道发送出去。在块540中，确定与所选定的奇数帧相关并且与大于最小带宽的可用带宽(即，剩余带宽)相应的一种等级的增强层141。在块545中，将确定等级的增强层141通过所选定的第一信道发送出去。然后在块560中继续对FGS编码信息项的偶数帧进行基本相同的操作。

不过，如果在块525中判断结果是否定的，那么在块550中选取与第一/下一个奇数帧相关的基本层131的帧，然后在块555中通过所选的第一信道该基本层131的帧发送出去。

应当意识到，在块560中，对于包含在偶数帧中的信息，通过选定的第二信道，基本上同时地或连续地进行了同样的处理。

然后处理过程继续进行到块520，以处理下一个奇数和/或偶数帧中的信息。

按照本发明的这一方面，根据两个选定信道的可用带宽，采用视频流来传送信息。在接收系统接收单独一个信道上的信息的情况下，视频图像是以帧速率的一半进行重构的。不过，随着信号接收信道带宽的变化，FGS编码信息将会动态地实现更高的接收图像分辨率。

按照本发明的另一个方面(未示出)，应当意识到，处理过程可以继续进行到块510而不是块520。按照这一方面，针对各个所要传送的帧，可以动态地选取新的第一和第二信道。

附图5表示按照本发明原理的第二种示范性传输处理600的流程图。在这一示范性处理中，第一信道是在块610中选取的，而第二信道是在块615中选取的。在块620中，选取第一/下一个奇数帧，来在块625中通过所选取的第一和第二信道进行传输。在块630中，判断第一选定信道上的可用带宽是否大于最小带宽。如果结果是肯定的，则在块635中，选择与大于最小带宽的可用带宽(即，剩余带宽)相应的并且与所选定的奇数帧相关的一种等级的增强层141，并且在块640中通过所选的第一信道将其发送出去。然后处理过程继续进行到块655。

不过，如果块630中的判断结果是否定的，则在块645中选取与第一/下一个偶数帧相关的基本层142的帧，并且在块650中通过所选的第一信道和第二信道将其发送出去。

在块655中，判断第二选定信道的可用带宽是否大于最小带宽。如果结果是肯定的，则确定与所判定的大于最小带宽的可用带宽相应的并且与所选定的偶数帧相关的一种等级的增强层142，并且在块670中，通过所选的第二信道将其发送出去。

然后处理过程继续进行到块620，以选择下一个/后续的奇数帧来进行处理。按照本发明的另一个方面(未示出)，应当意识到，处理过程可以继续进行到块610而不是块620。按照这一方面，针对各个所要传送的帧，可以动态地选取新的第一和第二信道。

附图6表示按照本发明原理的第三种示范性传输处理700的流程图。在这一示范性处理中，第一信道是在块710中选取的，而第二信道是在块715中选取的。在块720中，选取与信息的第一/下一个奇数帧相关的基本层131的帧，来在块725中通过所选取的第一信道进行传输。在块730中，判断第一选定信道上的可用带宽是否大于最小带宽。如果结果是肯定的，则在块735中，选择与大于最小带宽的可用带宽相应的并且与所选定的奇数帧相关的一种等级的增强层141，并且在块740中通过所选的第一信道将其发送出去。

不过，如果块730中的判断结果是否定的，则在块745中选取与信息的第一/下一个偶数帧相关的基本层142的帧，并且在块750中通过所选的第一信道和第二信道将其发送出去。

在块755中，判断第二选定信道的可用带宽是否大于最小带宽。如果结果是肯定的，则在块760中确定与所判定的大于最小带宽的可用带宽相应的并且与所选定的偶数帧相关的一种等级的增强层142，并且在块770中，通过所选的第二信道将其发送出去。

然后处理过程继续进行到块720，以选择下一个/后续的奇数帧来进行处理。按照本发明的另一个方面(未示出)，应当意识到，处理过程可以继续进行到块710而不是块720。按照这一方面，针对各个所要传送的帧，可以动态地选取新的第一和第二信道。

附图7表示可以用来实现本发明原理的系统800的示范性实施方式。系统800可以代表桌上型、膝上型或掌上型计算机、个人数字助理(PDA)、诸如磁带录像机(VCR)、数字录像机(DVR)之类的视频/图像存储设备、TiVO设备等等，以及这些和其它装置的部分或组合。系统800可以包含一个或多个输入/输出装置802、处理器803和存储器804，该系统800可以访问一个或多个源801，所述源801包含视频图像的FGS编码结构。源801可以存储在永久性或半永久性介质中，比如电视接收机、VCR、RAM、ROM、硬盘驱动器、光盘驱动器或其它的视频图像存储装置。另外也可以通过一个或多个网络连接对源801进行访问，以通过例如全球计算机通信网络从一个服务器或多个服务器接收视频信号，其中所述全球计算机通信网络比如是因特网、广域网、城域网、局域网、地面广播网、有线网、卫星网、无线网或电话网，以及这些和其它类型的网络的部分或组合。

输入/输出装置802、处理器803和存储器804可以通过通信媒介806进行通信。通信媒介806可以代表，例如，总线、通信网、电路、电路卡或其它设备的一个或多个内部连接，以及这些和其它通信媒介的部分和组合。来自源801的输入数据依据一个或多个软件程序进行处理，这些程序可以存储在存储器804中并且由处理器803运行，以便向网络820供应FGS编码视频图像，这些图像可以由装置825接收，该装置825比如是接收系统或显示系统。处理器803可以是任何装置，比如通用或专用计算系统、膝上型计算机、桌上型计算机、手持计算机，或者也可以是硬件结构，比如专用逻辑电路、集成电路、可程控阵列逻辑(PAL)、特定用途集成电路(ASIC)等，它们响应于已知的输入给出已知的输出。

按照优选实施方式，采用本发明原理的编码和解码可以通过由处理器803运行的计算机可读代码来实现。所述代码可以存储在存储器804中或从诸如CD-ROM或软盘之类的存储介质中读取/下载。按照一个方面，存储器804可以与存储器803集成在一起，传统上称为高速缓冲存储器。按照另一种实施方式，可以使用硬件电路来代替软件指令或与软件指令相结合，来实现本发明。例如，本文所介绍的元件也可以实现为分立的硬件元件。

而且，术语“计算机”或“计算机系统”可以表示与一个或多个存储器单元和其它装置进行通信一个或多个处理单元，其它装置例如外围设备，与至少一个处理单元电连接并且与至少一个处理单元进行通信。

附图8表示利用本发明的典型的传输系统900。在发射机站点905，由视频帧源910将视频数据提供给视频编码单元920。视频编码单元920包括附图3中所示的编码器系统300的各部分。然后将视频编码数据存储到编码器缓冲区930中，以通过数据网络940进行传输。在接收系统905中，将所接收的数据帧存储到解码器缓冲器960中并且将这些数据提供给视频解码器970。视频解码器870与编码器300类似，包括处理器和存储器，处理器和存储器可以运行用于提取与所发送的信息有关的信息项的代码，以对当前的传输帧进行解码，并且合并或重新结合经过解码的接收图像，以产生描述最初发送的图像的图像。然后可以将解码重构图像展现在视频显示器980上。

虽然这里已经展示、介绍和指出了本发明的基本新颖特征，但是应当理解，在不超出本发明的精神的情况下，本领域的技术人员可以对所介绍的发明，在所公开的方法和装置的形式和细节上，以及它们的操作过程，进行的各种不同的删减、替换和改变。例如，虽然本说明书引用了与第一选定信道相关的信息项的奇数帧和信息项的偶数帧，但是本领域的技术人员实践将信息的偶数帧与第一信道关联起来而将信息的奇数帧与第二信道关联起来也是处在本发明的范围内的。而且，应当理解，虽然只有对信息项的奇数和偶数帧进行了图解说明，但是将视频图像区分成代表，例如，行或列中的交替的奇数或偶数信息的多种信息项的帧也处于本领域技术人员的能力范围之内。类似地，虽然图解说明了第一和第二信道，但是开发出使用多个信道并且通过多个信道发送信息的系统也是处在本领域技术人员的能力范围之内的。或者，还有，本领域的技术人员可以仅使用单独一个信道并且通过选定的单一信道发送交替的奇数和偶数信息的帧。

虽然，所说明的信息项是从视频图像(例如，帧110a)中提取出来的，并且表示为物理上分开的帧121、122，但是在图像中识别或“标记”或“标签适当的信息项，例如“奇数”和“偶数”行或列，并且将经标识的信息项保留在图像之内而不是如所介绍的那样将图像物理上分解，也是处于本领域的技术人员的能力范围之内的。而且，虽然在所解释说明的实施方式中，信息项与“奇数”和“偶数”信息相关，但是应当可以意识到，信息项的标识可以与图像的各部分相关联。例如，邻接的行代表图像的上半部分和下半部分。或者邻接的列代表图像的左半部分或右半部分。再有，图像的识别可以基于代表原始图像的四分之一或八分之一的邻接行。

我们明确地期望，以基本相同的方式执行基本相同的功能来达到基本相同的结果的元件的所有的组合方式都处于本发明的范围之内。从一种所介绍的实施方式到另一种实施方式的元件替换也是完全可以预料到和设想到的。