用于在一个通道中提供多个输出图像的信号处理装置

摘要

一种通过处理隔行视频信号的输入图像来提供多个输出图像的信号处理装置，它包括时间内插器电路(18)和连接到该时间内插器电路的存储缓冲器(26，27)。该存储器缓冲器(26，27)被安排用于存储前一输入图像(11；13)和当前输入图像(12)中的至少一部分。时间内插器电路(18)被安排用于从存储缓冲器(26，27)至少接收前一和当前输入图像，并用于在前一输入图像时间位置和当前输入图像时间位置之间的时间位置处提供多个隔行或去隔行的帧数据(15)。

说明书

本发明涉及一种通过处理隔行视频信号的输入图像来提供多个输出图像的信号处理装置，它包括时间内插器电路和连接到时间内插器电路的存储缓冲器。这种信号处理装置可用来对视频或电影模式的隔行视频信号进行运动补偿扫描速率变换。

美国专利US-A-6,041,078描述了一种用于简化比特匹配运动估计的方法。该方法首先把帧的多比特像素值转换为单个比特像素值，从而简化运动估计方法的一部分的性能要求，所述运动估计方法的一部分即块匹配步骤(计算基准帧的像素块和前一帧的搜索块的绝对差值之和)。这极大地减少了运动估计方法的块匹配步骤所需的计算。它还减少了为了与基准帧的每一图像块比较而用于检索前一帧搜索区域的带宽要求。结果，提供了具有更高性能或传送更高质量图像的一个系统。

可是在上述方法中，在重要的图像处理步骤之前不考虑图像信息，因此，可能会对图像质量造成负面影响。

本发明寻求提供一种用于对视频模式或电影模式的隔行视频信号进行运动补偿扫描速率变换的方法和系统，它相比于现有技术系统来讲提高了效率。

因此，本发明提供一种如上定义的类型的信号处理装置，其中，存储缓冲器被安排用于存储前一输入图像和当前输入图像中的至少一部分，时间内插器电路被安排用于从存储缓冲器中接收至少前一和当前输入图像，并用于在前一输入图像时间位置和当前输入图像时间位置之间的时间位置处提供多个隔行或去隔行帧数据。

在存储缓冲器中，可以储存一个完整的输入图像，或者只储存输入图像的一部分。当前的信号处理装置使用储存在存储缓冲器中的数据，允许在前一输入图像和当前输入图像之间的时间位置处产生多个输出图像。从而不需要在产生输出图像时每次都装载时间内插所需的数据。时间内插是本领域技术人员熟知的技术，并且本领域技术人员可以熟知这种功能的各种实现方案。许多已知的内插技术需要前一图像和当前图像的运动补偿图像像素和非运动补偿图像像素。

在另外一个实施例中，信号处理装置还包括：连接到存储缓冲器的一个去隔行电路(deinterlace circuit)，所述去隔行电路被安排用于从存储缓冲器中至少接收前一图像和当前图像，并且在当前图像的时间位置处提供逐行的图像数据，所述时间内插电路接收来自从去隔行电路中的逐行图像数据作为当前输入图像。来自去隔行电路中的输出可以直接或间接地被馈送给时间内插电路(使用中间存储装置)。去隔行是本领域技术人员熟知的技术，并且本领域技术人员可熟知这种功能的各种实现方案。由于去隔行电路的输出被时间内插电路使用作为当前输入图像，所以对于读数据不需要另外的存储区域。本发明的这个实施例因此提供了一种需要较少存储空间的信号处理装置。当信号处理装置是作为一个硅芯片来实现时，这导致需要较低的硅面积。

在操作中，根据如上所述的这些实施例的信号处理装置被激活，一次是为了每个希望的输出图像，一次是为了每个输入图像。因此，相对于数据总线的带宽要求来讲没有得到改善。因此，在另外一个实施例中，信号处理装置还包括：一个用于存储递归数据的本地缓冲器，读递归数据被去隔行电路输出，并且所述时间内插电路还被安排来从本地缓冲器中检索读递归数据，并使用这个数据作为非运动补偿数据。作为理论上的最小值，如果运动向量对于一个2×2像素块有效，则本地缓冲器被安排来存储这样一个2×2像素块。由于对于图像中的某一位置由去隔行电路输出的递归数据与时间内插电路所需的非运动补偿数据相同，所以这些数据可以被重复使用，从而消除了从存储器中再一次检索这些数据的需要，并且还避免了再一次对相同的数据进行去隔行。因此在这个实施例中减少了数据总线所需的带宽。

在另外一个实施例中，按照一种复用的方式操作时间内插电路。多个输入图像序列(例如亮度和色度信号或者两个不同的视频信号)可以一个图像一个图像地处理。

同样，去隔行电路和时间内插电路都可以按照一种复用的方式操作，去隔行电路被执行来在输入图像的时间位置处获得一个递归输出，并且去隔行电路和时间内插电路被执行，以便至少利用来自本地缓冲器中的递归数据来获得时间内插的输出数据。这个实施例允许使用由信号处理装置接收的同一输入数据来产生多个输入图像流的多个输出图像。

前一图像可以是在信号处理装置的前一次运行中获得的逐行图像。去隔行电路功能的某些实施应用一种递归算法，需要一个逐行的前一输入图像代替隔行的前一输入图像。作为一种替换，当实际上不需要递归输出图像时，它的输出可以被禁止。在这种情况下，用前一输入图像和当前输入图像填充存储缓冲器，并且递归的去隔行器被横向去隔行器替换。虽然在这种情况下图像质量可能降低，但是在带宽要求方面获得了大幅的节省。总之，禁止递归输出的可能性提供一个带宽可放缩性适度降低的系统。

优选地，存储缓冲器被安排用于存储包括至少一个图像块(例如8×8像素块)并包围图像区域的图像数据，所述图像区域可通过至少前一图像和当前图像的一个运动向量而访问。存储缓冲器可以被实现为用于存储前一图像和当前图像的分开的物理存储器，使得其他信号处理装置电路更容易进行存储器访问。

对于24Hz到60Hz；25Hz到50Hz；25Hz到100Hz；50Hz到100Hz组中之一的时间内插电路的输入图像速率到输出图像速率的变换，可以有利地应用本发明。这些变换是通常使用的变换，例如在电视系统中。另外，在诸如个人计算机之类的其他应用中也存在这种变换，其中视频信号可以被输入(50Hz隔行，25Hz逐行/60Hz隔行，24Hz逐行)并输出到工作在60Hz或72Hz或85Hz逐行扫描频率上的计算机屏幕上。

在另外一个实施例中，信号处理装置还包括：一个时间降噪电路，接收来自去隔行电路和存储缓冲器中的数据，用于提供一个具有运动补偿时间降噪的输出。由于这个时间降噪电路被包括在去隔行电路的下游，所以没有消耗另外的数据总线带宽。

按照一种类似的方式，信号处理装置还包括：一个垂直滤波电路，接收来自时间内插电路的数据，用于提供包含垂直带宽限制的隔行信号的输出或者具有经过放缩的垂直尺寸的输出。读垂直滤波电路允许例如改变视频信号的抽样栅格，对于数据总线带宽同样没有另外的要求。

在本发明的另外一个实施例中，隔行视频信号可以包括亮度数据和/或色度数据，信号处理装置对每个图像的亮度和/或色度数据按顺序操作。为了操作，信号处理装置被激活两次，一次是为了亮度数据处理，另一次是为了色度数据处理。这允许对输入视频信号执行一个运动补偿功能，对于视频信号的亮度和色度部分都仅仅使用单个硬件部件，重复使用相同的芯片逻辑和缓冲器。

可以使用一个运动估计电路来补充根据本发明的信号处理装置，所述运动估计电路使用前一输入图像和当前输入图像来计算运动向量。使用前一和当前输入图像以及早先储存的运动向量，运动估计电路能够计算新的运动向量。这样，重复使用相同的芯片缓冲器和逻辑部分(从背景存储器中寻址和加载图像数据)，该装置可以执行运动估计或者运动补偿。

使用这种装置处理输入数据的过程可包括：使用确定运动向量的第一运行、用于处理亮度的第二运行以及用于处理色度信号的第三运行；第一运行是在用于计算希望输出图像的第二和第三运行之前执行。这是操作读装置的一个非常有效的粗粒度复用的方式。

同样，可以通过按照一个时分复用的方式对每一输入数据流的每个图像执行该装置的一个循环，使得该装置可处理多个输入数据流。由于读装置能够运行单个循环而循环之间不存在任何状态，所以处理多个数据流是可能的。例如，在一个场时间中，使用该装置可以执行6个循环：运动估计--流1；运动补偿亮度--流1；运动补偿色度--流1；运动估计--流2；运动补偿亮度--流2；运动补偿色度--流2；唯一的限制是：运动估计是在相关图像的运动补偿之前执行的。

现在将参考附图，使用本发明的多个示例性实施例来进一步详细解释本发明，附图中：

图1示出了使用于本发明中的各个输入和输出图像的示意图；

图2示出了用于实现去隔行图像和时间内插图像的运动补偿功能的一种实施的示意图；

图3示出了与图2的系统相关的各个输入和输出图像；

图4示出了本发明第一实施例的示意图；和

图5示出了本发明第二实施例的示意图。

在图1中，在它们的环境中示出各个图像和功能块。本方法和系统的输入信号是隔行输入图像，比如图顶部所示的前一输入图像11和当前输入图像12。前一输入图像11和当前输入图像12分别包括一个像场的图像信息，即视频图像的奇数或偶数行。在中间部分中，逐行的中间图像被示出，它包括一个逐行的前一图像13和逐行的当前图像14。逐行的中间图像包括一个视频图像或帧(非隔行的)的所有行的图像信息。运动估计器(ME)16执行一个重要的功能。运动估计器16使用前一图像和当前图像来计算运动向量。在示出的实施例中，运动估计器使用逐行的前一图像13和当前输入图像12来产生运动向量。运动估计功能是本领域技术人员公知一种方法，并且从本发明来看不需要进一步解释。

例如，我们可以参考1999年8月第45卷第3期的IEEE Transactionson Consumer Electronics中G.deHaan的文章“IC for motion-compensated de-interlacing，noise reduction and picture rateconversion”(用于运动补偿的去隔行、降噪和图像速率变换的IC)。

去隔行功能(DEI)17把隔行图像12转换成为一个逐行图像14。例如一个50Hz隔行信号(包括每秒50个场，每个场只包含一个图像的偶数或奇数行)被转换成一个50Hz逐行信号(包括具有一个图像所有行的帧)。去隔行功能17使用与运动估计器16相同的图像来用于输入，并且还使用运动估计器16输出的运动向量。去隔行是一个递归功能，并且使用早先计算出的逐行的前一图像13，图像13是对前一图像执行去隔行操作获得的逐行的当前图像输出。

时间内插功能18(也称为上变频，UPC)使用两个中间图像13、14和运动向量来计算时间内插图像15。这个功能的主要应用例如是把50Hz视频信号变换成为100Hz视频信号。

在图2中，基于系统概念示出了一个运动补偿功能的直接实施，其中共享存储器被多个功能使用。读系统在逐个图像的基础上执行同步，以使一个完整的图像帧时间(通常为20ms)可按照人们选择的任意顺序去执行必要的计算。在存储器20(例如随机存取存储器RAM)中储存所有的图像记忆。并且，由运动估计器16计算出的运动向量被储存在这个存储器20中。数据总线19(HWY)是一个中央系统总线，使得可以在存储器20和其它功能电路或模块17、18之间进行通信。对于本领域技术人员来讲，很清楚本装置是一个较大系统的一部分，读较大系统可以包括连接到数据总线19的一个处理器单元(未示出)，用于控制该装置并管理流向和来自存储器20的数据。去隔行电路17接收多个图像作为输入(典型为前一去隔行图像13和当前输入图像12，但是也可能添加下一图像(未示出))，并且在当前输入图像12的时间位置处输出一个逐行的图像14。去隔行电路17的分解视图示出了对于每一输入图像12、13的本地搜索区域21、22(men)。这些搜索区域可以被实现为存储缓冲器，并且每个搜索区域包括输入图像12、13一部分的拷贝，以便帮助以很高带宽进行完整随机访问。这样可以访问必要的运动补偿数据。

在图3的顶部示出：图像被去隔行电路17使用。需要来自当前输入图像12和前一输入图像13的数据。经由运动向量可以访问前一输入图像13。

返回到图2，示出控制值为Tpos的上变频电路18。上变频电路18的输入是两个逐行的图像13、14，并且在Tpos处输出是一个时间内插图像15。Tpos指示相对于两个输入图像13、14的输出图像15的时间位置。上变频电路18的分解视图示出了与去隔行电路17中类似的本地搜索区域23、24。数据访问是不同的。人们知道最多的上变频算法是使用来自两个输入图像13、14中的运动补偿和非运动补偿数据。在图3中示出用于上变频电路18的输入数据。首先，根据时间位置Tpos分离运动向量。使用的运动补偿数据是来自前一逐行图像13和当前逐行图像14。还使用两个图像的非运动补偿数据。

对于每个输入图像13、12，都有一个搜索区域。每个搜索区域包括具有所有周围图像数据的至少一个当前块(典型为一个以帧栅格计算的8×8像素)，利用最大向量范围能够访问读周围图像数据。在如图2所示的系统中，首先激活去隔行电路17。这产生中间的逐行图像14，它被储存在存储器20中。它被用于递归的去隔行环路并作为上变频电路18的一个输入。在完成去隔行之后，对每个输出图像15需要激活的上变频电路18。

在表1中，给出了数据总线19的带宽计算。这个表格对于50Hz隔行输入到100Hz隔行输出的变换有效。

             表1

带宽DBI输入(前一逐行和当前隔行)3DEI输出(逐行)2UPC输入(前一和当前逐行)4UPC输出(隔行；第一个图像)1UPC输入(前一和当前逐行)4UPC输出(隔行；第二个图像)1标准定义的总和(20兆字节/秒实际图像数据)15×20＝300兆字节/秒

可以看出：作为分离电路的去隔行功能和上变频功能的实施引起对总线19的额外带宽的需求。

在如图4所示的本发明第一实施例中，装置只使用单个运动补偿块25作为信号处理装置，经由总线19与存储器20通信。运动补偿块25包括去隔行电路17和上变频电路18。可是，在这个实施例中，来自去隔行电路17的输出数据被直接传递到上变频电路18。这使得只有两个搜索区域(mem)26、27来存储前一逐行图像13和当前输入图像12。

这个实施例具有胜过早先描述系统的优点，对于运动补偿块25需要较少的缓冲器或存储空间。这将导致运动补偿块25的硬件实现只需要较小的硅面积。

然而，对于每个输出图像15都将需要激活运动补偿块25一次。为了允许递归的去隔行功能，对于每个输入图像12也都将需要执行硬件块(在当前图像中Tpos值为1)。由于典型的输入到输出图像速率为24-＞60；25-＞50；25-＞100和50-＞100，所以对同一输入图像12将不得不多次激活运动补偿块25。用于图4实施例的带宽需要的计算产生如表2所示的结果。这是十分清楚的，即这个实施例没有节省任何带宽。

                           表2

带宽递归输入(前一逐行和当前隔行)3递归输出(逐行)2图像1输入(前一和当前逐行)4图像1输出(隔行；第一个图像)1图像2输入(前一和当前逐行)4图像2输出(隔行；第二个图像)1标准定义的总和(20兆字节/秒实际图像数据)15×20＝300兆字节/秒

在图5中图形表示的根据本发明的第二实施例中，部分电路被重复使用，而其他部分按照这样一种方式被细粒度复用，使得可以利用同一输入数据产生多个输出图像。再一次，信号处理装置以更扩展的运动补偿块30的形式经由总线19与存储器20相连。对于去隔行功能17和上变频功能18重复使用本地搜索区域(mem)(和它们的相关寻址逻辑)。去隔行功能17和上变频功能18被复用。需要注意：需要以一个数据粒度实行这种复用，读数据粒度小于或者等于搜索区域26、27的容量。

诸如去隔行功能之类的递归算法，在与当前输入图像12相同的时间位置处需要一个输出图像。有时扫描速率变换功能不需要这个时间位置作为显示输出。因此，可以应用一个特定的递归输出图像，导致在递归输出图像和一个或多个显示输出之间产生失真。

用于递归的输出图像所计算出的数据与上变频功能所需要的非运动补偿数据相同。从而，这个数据可以在复用的下一级中被缓存并重复使用。这只需要一个小的缓冲器(当运动向量对于一个2×2像素块有效时，理论上最小值为这样一个2×2像素块)。

从运动补偿块25的分解视图中可以清楚地看出：两个搜索区域(mem)26和27被用来存储输入图像13、12的有关数据，即：可通过运动向量来访问包围图像区域的当前位置。一旦这个数据被装载，则运动补偿块的其他部分可以被多次激活，以便产生所有必需的输出图像的当前位置。

只执行块中有参考字母为A的部分，以计算递归的输出图像14。运动补偿块25包括另外一个本地缓冲器33，其中储存计算出的递归图像数据。对于递归的输出图像14，Tpos的数值被强制设为1(当前图像位置)。

对于显示输出dp1、dp2的计算，执行两个部分A和B，并且只读取缓冲器33。具有两个显示输出dp1，dp2(或者显示管道)就允许获得一倍或者两倍于输入图像速率的一个输出图像速率。当需要其他因子(3甚至4)时，显然可以调整该装置来提供其它多个具有不同时间位置的显示管道。

表3按照与表1和2中相似的方式示出了图5实施例的带宽计算。

              表3

带宽输入(前一逐行和当前隔行)3递归输出(逐行)2DP1输出(隔行；第一个图像)1DP2输出(隔行；第二个图像)1标准定义的总和(20兆字节/秒实际图像数据)7×20＝140兆字节/秒

正如从表3中可以看到的，对于理论上的最小值情况，带宽节省是为300/140倍。

如图5所示的实施例还有如下优点：可以在逐行的区域中加上附加处理而无需额外的总线带宽消耗。运动补偿时间降噪34(TNR)就是这种处理的一个示例。

显示输出dp1、dp2还可以有另外的后处理功能，例如垂直滤波器35(VPR)，以便从上变频功能的逐行输出中输出一个垂直带宽限制的隔行信号。由于显示输出dp1、dp2与递归环路无关，所以可以利用这个功能改变抽样栅格。同时，垂直滤波器可用来在垂直方向上放缩图像。

在某些应用中可以禁止递归的输出图像。因为所述递归的输出图像不必被储存在存储器20中，这样节省了额外的带宽。然而，在这样一个应用中，将使用前一输入图像代替前一递归输出图像来填充前一存储缓冲器26。在这种情况下，递归的去隔行电路将不得不操作为一个横向去隔行电路，这将降低图像质量。然而，读实施例允许具有图像质量适度降低的带宽可放缩性。特别在多个功能使用一个共享背景存储器20的系统中更是如此，这极大增强了读装置的灵活性和应用范围。

输入视频流可以是一个复用流，比如同一图像序列的亮度和色度信号。然后，可以以一个粗粒度复用模式来使用该装置30。该装置被激活两次，一次是为了亮度数据，另一次是为了色度数据。其优势在于硬件(装置30)的单个部件能非常有效地处理亮度和色度信号。

在另外一个实施例中，可以例如通过引入一个运动估计电路16来把运动估计功能添加到信号处理装置30中。这允许使用单个硬件部件来用于执行运动估计或者运动补偿，重复使用同一本地单板的缓冲器。当然，运动估计和运动补偿需要实施不同的电路，但是从背景存储器20中寻址和加载图像数据是类似的。运动估计电路16需要前一和当前图像以及早先计算出的(和储存的)运动向量。结果，输出新的运动向量。

按照一种粗粒度复用模式，该装置30因此可以在三个循环中操作：运动估计、对亮度数据的运动补偿以及对色度数据的运动补偿。这甚至可以应用在进一步的复用模式中，其中不同的视频信号由本信号处理装置处理。

那么处理一个场时间(典型为20毫秒)中的两个数据流需要装置30的六次激活(或循环)：ME-1，MC-Y-1，MC-UV-1，ME-2，MC-Y-2，MC-UV-2。唯一的限制是：一个特定数据流的运动估计发生在那个数据流的运动补偿之前。有可能的是，该装置在装置30的分开的调用(或循环)之间不需要任何状态。

对于本领域技术人员应当清楚的是，在不偏离本发明范围的情况下可以进行各种修改和修订。例如，第三搜索区域可以被包括在每一实施例中以便允许在去隔行和上变频计算中包含下一图像。