在隔行扫描的视频图像中的运动估计

摘要

本发明涉及一种方法、设备和计算机程序产品，用于从隔行扫描的视频信号中计算运动矢量，其利用了插值使用第一运动矢量从第一组像素和第二组像素中得到的第一像素采样，以及插值使用第二运动矢量从第一组像素和第三组像素中得到的第二像素采样。为了改善运动估计和去隔行扫描，本发明提供了下述：插值第一组像素的像素以计算第三像素采样作为第一组像素内至少两个像素的平均值，计算第一像素采样与第三像素采样之间的第一关系，计算第二像素采样与第三像素采样之间的第二关系，并且通过使用一组运动矢量使第一和第二关系最小来从该组运动矢量中选择输出运动矢量。

说明书

本发明涉及一种方法、设备和计算机程序产品，用于从隔行扫描的(interlaced)视频信号中计算运动矢量，包括使用第一运动矢量从第一组像素和第二组像素中计算第一像素采样，以及使用第二运动矢量从第一组像素和第三组像素中计算第二像素采样。

去隔行扫描是高端视频显示系统主要的分辨率的确定因素，对于其重要的是显现了非线性缩放技术只能添加更精细的细节。随着新技术的出现，例如LCD和PDP，在图像分辨率上的限制不再是显示设备本身，而是信源或者传输系统。同时，这些显示器需要逐行扫描的视频输入。因此，对于在这种显示设备中优良的图像质量而言，高质量的去隔行扫描是重要的先决条件。

去隔行扫描的第一步可从P.Delonge等人的“ImprovedInterpolation，Motion Estimation and Compensation for InterlacedPictures”，IEEE Tr.on Im.Proc.，Vol.3，no.5，Sep.1994，pp 482-491中获知。

该方法也被称为通用采样定理(GST)去隔行扫描方法。该方法在图1A中进行了描述。图1A描述了在n-1-n的连续时间内在垂直线上偶数垂直位置y+4-y-4上像素2的场。

对于去隔行扫描，需要两组独立的像素采样。第一组独立像素采样通过把像素2从前一场n-1在运动矢量4上朝着当前时刻(temporalinstance)n移动以成为运动补偿像素采样6来建立。第二组像素8位于图像的当前时刻n的奇数垂直线y+3-y-3上。除非运动矢量6是所谓的“临界速度”，即在两个连续的像素场之间导致奇整数像素移位的速度，否则，像素采样6和像素8被预定为独立的。通过对来自当前场的像素采样6和像素8进行加权，输出像素采样10成为采样的加权和(GST滤波器)。当前图像可以使用来自奇数行的像素8与插值的输出像素采样10一起进行显示，从而增大显示的分辨率。

运动矢量可以从视频信号内像素的运动分量中得到。运动矢量表示视频图像内像素的运动方向。输入像素的当前场可以是一组像素，其在时间上在视频信号内进行显示或接收。输入像素的加权和可以根据插值参数通过对输入像素的亮度或色度值进行加权来获得。

在数学上，输出像素采样10可以被描述如下。使用表示n号图像中在位置的像素的亮度值，以及使用F_i表示在缺少行(例如奇数行)上插值的像素的亮度值，GST去隔行扫描方法的输出为：

$>>>>F>i>>>n>,>n>->1>>>>(ver>>x>\to >>,>n>)>>=>>\Sigma >k>>F>>(ver>>x>\to >>->>(>2>k>+>1>)>>ver>>u>\to >>y>>,>n>)>>>h>1>>>(>k>>>,>\delta >>y>>)>>+>>>$

$>>>\Sigma >m>>F>>(ver>>x>\to >>-ver>>e>\to >>>(ver>>x>\to >>,>n>)>>->2>m>ver>>u>\to >>y>>,>n>->1>)>>>h>2>>>(>m>,>>\delta >y>>)>>>>$

其中h₁和h₂定义GST滤波器的系数。第一项表示当前场n，以及第二项表示前一场n-1。运动矢量被定义为：

$>ver>>e>\to >>>(ver>>x>\to >>,>n>)>>=>\; >>>>>>d>x>>>(ver>>x>\to >>,>n>)>\; >>>>2>Round>>(>>>>d>y>>>(ver>>x>\to >>,>n>)>>>2>>)>\; >\; >>>>$

其中Round()四舍五入到最近的整数值，以及垂直运动部分(fraction)δ_y由下式定义：

$>>>\delta >y>>>(ver>>x>\to >>,>n>)>>=>|>>d>y>>>(ver>>x>\to >>,>n>)>>->2>Round>>(>>>>d>y>>>(ver>>x>\to >>,>n>)>>>2>>)>>|>>>$

GST滤波器由线性GST滤波器h₁和h₂组成，它取决于垂直运动部分和子像素插值器类型。

尽管对于视频应用而言，由h₁和h₂组成的取决于垂直和水平运动部分和的不可分离的GST滤波器是更充分的，但是可以只使用垂直分量

Delonge提出只使用垂直插值器，并且因此只在y方向上使用插值法。如果逐行扫描图像F^p是可用的，那么用于偶数行的F^e可以从z域中的奇数行F^o的亮度值中被确定为：

F^e(z，n)＝(F^p(z，n-1)H(z))_e＝

F^o(z，n-1)H^o(z)+F^e(z，n-1)H^e(z)

其中是F^e偶数图像，以及F^o是奇数图像。于是F^o可以被重写为：

$>>>F>o>>>(>z>,>n>->1>)>>=>>>>F>o>>>(>z>,>n>)>>->>F>e>>>(>z>,>n>->1>)>>>H>o>>>(>z>)>>>>>H>e>>>(>z>)>>>>>>$

它导致：

F^e(z，n)＝H₁(z)F^o(z，n)+H₂(z)F^e(z，n-1).

线性插值器可以被写为：

$>>>H>1>>>(>z>)>>=>>>H>>o>>(>z>)>>>>>H>>e>>(>z>)>>>>>>>$

$>>>H>2>>>(>z>)>>=>>H>>e>>(>z>)>>>>>>>(>>H>>o>>(>z>)>>>>)>>2>>>H>>e>>(>z>)>>>>>>>$

当使用sinc波形插值器来获得滤波器系数时，线性插值器H₁(z)和H₂(z)在k域中可以被写为：

$>>>h>1>>>(>k>)>>=>>>(>->1>)>>k>>sin>c>>(>\pi >>(>k>->>1>2>>)>>)>>>>sin>>(>>\pi \delta >y>>)>>>>cos>>(>>\pi \delta >y>>)>>>>>>$

$>>>h>2>>>(>k>)>>=>>>(>->1>)>>k>>>>sin>c>>(>\pi >>(>k>+>>\delta >y>>)>>)>>>>cos>>(>>\pi \delta >y>>)>>>>.>>>$

P.Delonge等人还提出一种如图2所示的插值法。该插值法基于这样的假设，即两个连续场之间的运动是一致的。该方法使用来自前二采样n-2的像素2a和来自前一采样n-1的像素2b，这些像素在公共运动矢量4上被移动。运动补偿像素值6a、6b可以用于估计像素采样值10。然而，在当前场和n-2场之间的相关性较小，因为在采样之间的时间距离较大。

为了提供改善的插值法，例如在错误的运动矢量的情况下，提出使用中值滤波器。该中值滤波器允许消除由GST隔行扫描方法产生的输出信号中的轮廓。

然而，当使用中值滤波器时，GST插值器的性能在具有正确的运动矢量区域中下降。为了减少该下降，提出有选择地应用保护(E.B.Bellers和G.de Haan的“De-interlacing：a key technology for scanrate conversion”，Elsevier Science book series“Advances in ImageCommunications”，vol.9，2000)。具有接近临界速度的区域进行中值滤波，而其他区域进行GST插值。GST去隔行扫描器在具有接近临界速度的运动矢量的区域中产生伪像。因此，对于接近临界速度，所提出的中值保护器被如下应用：

其中F_GST表示GST去隔行扫描器的输出。

该方法的缺点是对于当前的GST去隔行扫描器而言，只有一部分可用的信息被用于插值缺少的像素。由于在视频信号中时空信息是可用的，所以使用来自视频信号的不同时刻和不同部分的信息来插值缺少的像素采样应该是可能的。

因此，本发明的一个目的是提供一种更鲁棒的去隔行扫描，本发明的另一个目的是使用在视频信号内所提供的更多可用信息来插值。本发明的又一个目的是提供更好的去隔行扫描结果。本发明的又一个目的是从隔行扫描的视频信号中提供改善的运动矢量来增强图像处理。

为了克服这些缺点，实施例提供了一种用于从隔行扫描的视频信号中提供运动矢量的方法，该方法包括：使用第一运动矢量从第一组像素和第二组像素中计算第一像素采样，使用第二运动矢量从第一组像素和第三组像素中计算第二像素采样，从第一组像素中计算第三像素采样，计算第二像素采样与第三像素采样之间的第一关系，计算第一和/或第二像素采样与第三像素采样之间的第二关系，以及通过使用一组运动矢量使第一和第二关系最小来从该组运动矢量中选择输出运动矢量。

计算像素采样可以通过插值各自的像素来完成。

根据实施例，所计算的运动矢量可以用于去隔行扫描或者减小运动补偿噪声，或者任何其他的图像增强。

第三像素采样可以通过插值第一组像素的像素而被计算为来自第一组像素内的至少两个像素的平均值。

实施例包括在插值期间的当前场。根据实施例，正确运动矢量的选择还可以依赖于当前隔行扫描场的像素。实施例允许将来自前一与下一场的运动补偿像素采样进行比较以便获得正确的运动矢量，而且允许将这些像素采样与来自当前场的像素采样进行比较。

示例性地，这可通过计算当前场中的线(line)平均值并且计算该线平均值与第一和第二像素采样之间的关系而是有可能的。通过最小化在第一像素采样、第二像素采样和第三像素采样之间的关系，该运动估计标准因此可以选择正确的运动矢量。

根据实施例，通过将使用先前和后续场的两个GST预测的运动估计与场内最小化标准进行结合从而产生更鲁棒的估计量，可以说明运动估计对于矢量不准确性的脆弱性。

根据实施例，提供了下述：计算第一像素采样与第二像素采样之间的第三关系，并且通过使用一组运动矢量使第一、第二与第三关系最小来从该组运动矢量中选择输出运动矢量。就这一点而言，可以说明在当前、前一与下一场之间的关系。

实施例提供了计算第三关系以作为第一组像素内至少两个垂直相邻像素的平均值。由此，可以说明由具有偶数个垂直像素移位的运动矢量引起的误差。

根据实施例，提供了通过使用一组运动矢量使关系的和最小来从该组运动矢量中选择输出运动矢量。使该和最小可以是一种产生运动矢量的良好估计的误差标准。该和也可以是加权和，其中关系可以用值来加权。

实施例还提供从随后时刻的视频例子中得到第一组像素、第二组像素和第三组像素。这允许隔行扫描视频图像。

如果第二组像素在时间上先于第一组像素和/或第三组像素在时间上紧随第一组像素之后，那么实施例可以说明像素在至少三个时间连续场上的运动。

一种可能的误差标准可以是，第一、第二和/或第三关系是像素采样值之间的绝对差。另一种可能的误差标准可以是，第一、第二和/或第三关系是像素采样值之间的平方差。

根据实施例，提供像素采样是可能的，只要第一像素采样被插值为来自第一组像素和第二组像素的像素的加权和，其中至少一些像素的加权取决于运动矢量的值。根据实施例，第二像素采样被插值为来自第一组像素和第三组像素的像素的加权和，其中至少一些像素的加权取决于运动矢量的值。

根据实施例，垂直部分可以说明第一和/或第二关系的加权值。

本发明的另一方面是一种从隔行扫描的视频信号中提供运动矢量的插值设备，该插值设备包括：第一计算装置，用于使用第一运动矢量从第一组像素和第二组像素中计算第一像素采样；第二计算装置，用于使用第二运动矢量从第一组像素和第三组像素中计算第二像素采样；第三计算装置，用于从第一组像素中计算第三像素采样；第一计算装置，用于计算第二像素采样与第三像素采样之间的第一关系；第二计算装置，用于计算第一和/或第二像素采样与第三像素采样之间的第二关系；选择装置，用于通过使用一组运动矢量使第一和第二关系最小来从该组运动矢量中选择输出运动矢量。

本发明的另一方面是一种包括这样的插值设备的显示设备。

本发明的另一方面是一种用于从隔行扫描的视频信号中提供运动矢量的计算机程序和计算机程序产品，包括可操作用来使处理器执行下述的指令：使用第一运动矢量从第一组像素和第二组像素中计算第一像素采样，使用第二运动矢量从第一组像素和第三组像素中计算第二像素采样，从第一组像素中计算第三像素采样，计算第二像素采样与第三像素采样的第一关系，计算第一和/或第二像素采样与第三像素采样之间的第二关系，以及通过使用一组运动矢量使第一和第二关系最小来从该组运动矢量中选择输出运动矢量。

根据后面的附图，本发明的这些和其他方面将是显而易见的，并将参考所述附图对其进行阐明。在附图中：

图1A示意了使用先前场的GST插值；

图1B示意了使用四个连续场的GST插值；

图2示意了使用前二和前一场的GST插值；

图3示意了每个图像使用偶数个像素的移位的运动矢量的运动估计；

图4是具有常规误差标准的运动估计；

图5是基于当前场的附加标准的改善的运动估计；以及

图6是运动估计器的框图。

运动估计方法依赖于位于与当前场相等距离的采样，它提供了改善的结果，所述采样可以是在前一和下一时刻。该运动估计标准可以基于这样的事实，即像素的亮度或色度值不仅可以基于对前一场n-1的估计，而且可以基于当前场n中的现有像素和来自下一场n+1的移动的采样。

GST滤波器的输出可以被写为：

$>>>>F>i>>>n>,>n>+>1>>>=>>\Sigma >k>>F>>(ver>>x>\to >>->>(>2>k>+>1>)>>ver>>u>\to >>y>>,>n>)>>>h>1>>>(>k>,>>\delta >y>>)>>+>>>$

$>>>\Sigma >m>>F>>(ver>>x>\to >>-ver>>e>\to >>>(ver>>x>\to >>,>n>)>>->2>m>ver>>u>\to >>y>>,>n>+>1>)>>>h>2>>>(>m>,>>\delta >y>>)>>>>$

假设两个场上的运动矢量是线性的，那么具有相应的垂直和水平运动部分和的运动矢量可以通过使用下述优化标准来计算：

所有的(x，y)属于一个像素块，例如8×8的块。

对于具有偶数个像素移位的运动矢量，在两个场之间，也就是 $>>>\delta >y>>>(ver>>x>\to >>,>n>)>>=>0>,>>>从前一或者下一场的运动估计的输出减小到$

$>>>F>>n>,>n>->1>>>>(>x>,>y>,>n>)>>=>F>>(ver>>x>\to >>+ver>>>v>P>>\to >>,>n>->1>)>>>>$

以及

$>>>F>>n>,>n>+>1>>>>(>x>,>y>,>n>)>>=>F>>(ver>>x>\to >>+ver>>>v>N>>\to >>,>n>+>1>)>>>>$

就这一点而言，只考虑从前一场n-1和下一场n+1移动的像素，从而导致两个场运动估计器。如上所指出，最小化因此可以仅仅可以考虑邻近的像素，而不涉及来自当前场n的像素，如图3中所述。

图3描述了从当前和下一帧中只使用估计的像素值的当前运动估计的脆弱性。该最小化标准可以考虑从前一帧n-1移动的像素2a和从下一帧n+1移动的像素2b。使用运动矢量4，可以计算像素值6的估计。如果运动矢量4对应于每个图像上的偶数个像素移位，那么最小化标准

对于细的运动目标来说会导致局部最小值，这并不对应于实际的运动矢量。

这种局部最小值可以在图4中看到。图4示出了三个时刻n-1、n、n+1的图像10a、10b、10c。在每个图像有偶数个像素移位的情况下，会发生所比较的像素12的插值可能产生图像14，其并不对应于实际的图像。该估计标准仅仅考虑前一和后一图像或者前一和前二图像，正如P.Delonge所提出的，这因此可以产生没有插值的不对应于实际图像的图像。

P.Delonge的提议提供了一种解决方案，它克服了在运动估计中偶数矢量的问题。在P.Delogne等人的“Improved Interpolation，MotionEstimation and Compensation for Interlaced Pictures”，IEEE Tr.On Im.Proc.，Vol.3，no.5，Sep.1994，pp 482-491中描述的解决方案在图1B中进行了描述，并且基于对四个连续场n-3到n的运动估计和补偿。因此，当三场的解决方案只沿着偶数运动矢量4b比较来自n和n-2的采样时，四场的解决方案通过使用运动矢量4c将其与n-3场进行比较而必然还涉及中间n-1场。

该解决方案的主要缺点是这样的事实，即它扩展了在两个连续帧上运动的一致性的要求，该连续帧意味着在三个连续场上。这是对于具有相当不一致运动的序列的实际情况强烈的限制。

第二缺点在于硬件实施，因为该方法需要额外的场存储器(n-3场)。另外，需要更大的高速缓存，这是由于下述事实，即将采样从n-3场移动到n场的运动矢量4c三倍于在两个连续场上移动采样的运动矢量。

从图5中可以看到根据实施例的插值，其中相同的数字是指相同的元件。可以看到，对于帧n，相同的图像10被插值。然而，根据该实施例，不仅来自先前图像10a和随后图像10c的像素12被用于对图像14进行插值，而且当前图像10b也被使用。

为了防止由不一致的运动矢量估计引起的中断的影响，来自当前场16的像素也被考虑。来自下一或前一场的每个GST预测可以另外与当前场的线平均值LA的结果进行比较。运动估计标准可以是：

$>>|>>N>>ver>>v>\to >>N>>=>->ver>>v>\to >>P>>>>>(>x>,>y>,>n>)>>->>P>ver>>v>\to >>P>>>>(>x>,>y>,>n>)>>|>+>>>$

$>>|>>N>>ver>>v>\to >>N>>=>->ver>>v>\to >>P>>>>>(>x>,>y>,>n>)>>->LA>>(>x>,>y>,>n>)>>|>+>>>$

其中N是来自下一图像10c的估计像素值12，P是来自前一图像10a的估计像素值12，以及LA(x，y，n)是使用简单线平均值(LA)在当前图像10a中位置(x，y)上场内插值的像素16。所得到的图像14在图5中被示出。

在最小化中的附加项包括当前场中线平均值LA，它允许增大防止运动矢量的误差的鲁棒性。在根据图5的例子中，它们允许防止从轮辐(spoke)的两侧匹配块与块。对于不正确的运动矢量，线平均值的项LA确保该决还匹配到轮辐上。

线平均值的项还可以具有加权因子，其取决于垂直部分的值。该因子必须确保这些项对于接近偶数值的运动矢量有选择地具有更大的贡献。因此，最小化标准可以被写为：

$>>|>>N>ver>>v>\to >>N>=>-ver>>v>\to >>P>>>>(>x>,>y>,>n>)>>|>+>>>$

$>>>(>1>->>\delta >y>>)>>>(>|>>N>ver>>v>\to >>N>=>-ver>>v>\to >>P>>>>(>x>,>y>,>n>)>>->LA>>(>x>,>y>,>n>)>>|>+>|>LA>>(>x>,>y>,>n>)>>->>P>ver>>v>\to >>P>>>>(>x>,>y>,>n>)>>|>)>>>>$

图6示出了执行去隔行扫描方法的框图。所描述的是输入信号40、第一场存储器20、第二场存储器22、第一GST插值器24、第二GST插值器26、场内插值器28、第一局部误差计算器30、第二局部误差计算器32、第三局部误差计算器34、选择装置36、以及输出信号38。

至少输入信号40的一段可以被理解为第二组像素。至少场存储器20的输出的一段可以被理解为第一组像素，以及至少场存储器22的输出的一段可以被理解为第三组像素。一组像素可以是一个像素块，例如8×8的块。

当新图像被馈给场存储器20时，前一图像可以已经在场存储器20的输出上。在场存储器20上输出的图像之前的图像可以是在场存储器22上的输出。在这种情况下，三个连续的时刻可以用于计算GST滤波插值的输出信号。

输入信号40被馈给场存储器20。在场存储器20中计算运动矢量。该运动矢量取决于在输入信号的一组像素内的像素运动。该运动矢量被馈给GST插值器24。输入信号40也被馈给GST插值器24。

第一场存储器20的输出被馈给第二场存储器22。在第二场存储器中计算第二运动矢量。用于该运动矢量的时刻在时间上在第一场存储器22的该时刻之后。因此，由场存储器22计算的运动矢量表示在一个图像内的一组像素内的运动，该图像是在场存储器20中所使用的图像之后。运动矢量被馈给GST插值器26。场存储器20的输出也被馈给GST插值器26。

场存储器20的输出表示当前场。该输出可以被馈给场内插值器28。在场内插值器28中，可以计算垂直相邻像素的线平均值。

GST插值器24基于其输入信号计算GST滤波插值的像素值，该输入信号是输入信号40、来自场存储器20的运动矢量和场存储器20的输出。因此，插值使用两个时刻的该图像，第一个直接来自输入信号40，以及第二个在输入信号40之前一定的时间，特别是一个图像的时间。另外，使用了运动矢量。

GST插值器26基于其输入信号计算GST滤波插值的像素值，该输入信号是场存储器20的输出和场存储器22的输出。另外，GST滤波器26使用在场存储器22内计算的运动矢量。GST滤波插值的输出在时间上先于GST滤波器24的输出。另外，使用了运动矢量。

在线平均装置28中，在垂直线上两个相邻像素值的平均值可以被平均。这些像素值可以邻近待插值的像素值。

GST滤波器24的输出可以被写为：

$>>>F>>i>1>>>>(ver>>x>\to >>,>n>)>>=>>\Sigma >k>>F>>(ver>>x>\to >>->>(>2>k>+>1>)>>ver>>u>\to >>y>>,>n>)>>>h>1>>>(>k>>>,>\delta >>y>>)>>+>>>$

$>>>\Sigma >m>>F>>(ver>>x>\to >>-ver>>e>\to >>>(ver>>x>\to >>,>n>)>>->2>m>ver>>u>\to >>y>>,>n>->1>)>>>h>2>>>(>m>,>>\delta >y>>)>>·>>>$

GST滤波器26的输出可以被写为：

$>>>F>>i>2>>>>(ver>>x>\to >>,>n>)>>=>>\Sigma >k>>F>>(ver>>x>\to >>->>(>2>k>+>1>)>>ver>>u>\to >>y>>,>n>)>>>h>1>>>(>k>>>,>\delta >>y>>)>>+>>>$

$>>>\Sigma >m>>F>>(ver>>x>\to >>+ver>>e>\to >>>(ver>>x>\to >>,>n>)>>->2>m>ver>>u>\to >>y>>,>n>+>1>)>>>h>2>>>(>->m>,>->>\delta >y>>)>>.>>>$

GST插值器24、26的输出之间的绝对差在第一误差计算器30中进行计算。

GST插值器24和线平均计算器28的输出之间的绝对差在第二误差计算器32中进行计算。

GST插值器26和线平均计算器28的输出之间的绝对差在第三误差计算器34中进行计算。

第一、第二和第三误差计算器30、32、34的输出被馈给选择装置36。在选择装置内，具有最小误差值的运动矢量根据下面的公式进行选择：

$>>|>>N>>ver>>v>\to >>N>>=>->ver>>v>\to >>P>>>>>(>x>,>y>,>n>)>>->>P>ver>>v>\to >>P>>>>(>x>,>y>,>n>)>>|>+>>>$

$>>|>>N>>ver>>v>\to >>N>>=>->ver>>v>\to >>P>>>>>(>x>,>y>,>n>)>>->LA>>(>x>,>y>,>n>)>>|>+>>>$

该组运动矢量可以被反馈给GST插值器24、26，以允许计算用于不同运动矢量的不同局部误差。对于这些不同的运动矢量，该最小化标准可以用来选择产生最佳结果例如最小误差的运动矢量。

这样，可以选择产生最小误差的运动矢量来计算插值的图像。所得到的运动矢量作为输出信号38被输出。

利用本发明的方法、计算机程序和显示设备，可以增强图像质量。