跟踪快速移动的小物体的运动矢量场求精法

摘要

公开一种变换单元(300)，用于将第一运动矢量场(MVF1)变换为第二运动矢量场(MVF2)。第一运动矢量场是根据一个图像序列的第一图像和第二图像来为第一图像和第二图像之间的一个时间位置计算出的。该变换单元(300)包含：第一确定装置(302)，用于确定第一图像中的第一不参照像素组；第二确定装置(304)，用于确定第二图像中的第二不参照像素组；计算装置(306)，用于计算从第一不参照像素组指向第二不参照像素组的候选运动矢量的匹配误差；比较装置(308)，用于将该匹配误差与一个预定的匹配阈限进行比较，如果该匹配误差低于该预定的阈限，则把该候选运动矢量分配给第二运动矢量场的第一个运动矢量。

说明书

发明领域

本发明涉及一种通过确定第二运动矢量场的第一个运动矢量将第一运动矢量场变换为第二运动矢量场的方法，第一运动矢量场是根据一个图像序列的第一图像和第二图像来为第一图像和第二图像之间的一个时间位置计算出的。

本发明进一步涉及一种用于将第一运动矢量场变换为第二运动矢量场的变换单元。

本发明进一步涉及一种图像处理设备，包含：

接收装置，用于接收对应于一个输入图像序列的信号；和

图像处理单元，用于根据该输入图像序列并根据由这样的变换单元所提供的第二运动矢量场计算一个输出图像序列。

本发明进一步涉及一种包含这样的变换单元的视频编码单元。

本发明进一步涉及一种要由计算机装置加载的计算机程序产品，包含用于将第一运动矢量场变换为第二运动矢量场的指令。

背景技术

在文章″True-Motion Estimation with 3-D Recursive SearchBlock Matching(利用3D递归搜索块匹配的真实运动估计)″(作者G.de Haan等，载于IEEE Transactions on circuits and systemsfor video technology，卷3，第5期，1993年10月，368-379页)中，公开了一个所谓的运动估计单元。这个运动估计单元被设计用来根据一个输入图像序列估计运动矢量。这些被估计的运动矢量，例如能被用于计算一个内插的输出图像。运动矢量涉及将序列的第一图像的像素组转换到序列的第二图像的另一个像素组。通常，像素组是例如8*8个像素的像素块。根据一个输入图像集合计算出来的、或者可应用于输出图像的运动矢量集合，被称作运动矢量场。所引证的运动估计单元，适合于实时视频应用。该递归方法产生相对一致的运动矢量场。

相对于背景以高速运动的较小物体的运动估计，看来是个问题。特别地，在物体小于运动估计单元所应用的块大小的情况下，运动估计单元有时候估计出不正确的运动矢量。在物体的速度大于运动矢量格的样本距离时，尤其如此。结果，较小的物体在运动补偿的输出图像中有时会消失。运动补偿的输出图像基于若干输入图像的时间插值和运动矢量场。

发明内容

本发明的一个目的是提供一种在开头段落中所述的那种方法，由此，第二运动矢量场与第一运动矢量场相比，更好地表示较小物体的运动。

本发明这个目的的实现，在于该方法包含：

通过选择第一运动矢量场不含相应的运动矢量的第一图像的互相连接的像素的第一集合，确定该第一图像中的第一不参照像素(un-referenced pixels)组；

通过选择第一运动矢量场不含相应的运动矢量的第二图像的互相连接的像素的第二集合，确定该第二图像中的第二不参照像素组；

计算一个从第一不参照像素组指向第二不参照像素组的候选运动矢量的匹配误差；

将该匹配误差与一个预定的匹配阈限进行比较，如果该匹配误差低于该预定的阈限，则把该候选运动矢量分配给第二运动矢量场的第一个运动矢量。

一般来说，运动补偿一即时间插值，是通过系统地贯穿输出图像的所有像素、从一个或更多的原始输入图像中提取像素值而完成的。这样，输出图像中将不出现洞眼，因为每一个输出像素都被赋予一个值。然而，一般来说，通过贯穿每一个输出像素，原始输入图像中将具有不向运动补偿的输出图像作贡献的像素。这意味着，在输入图像中具有不被参照的。通常，不被参照的像素出现在遮蔽区，这是正确且合意的现象。发明人观察到，在运动估计单元不能跟踪高速的较小物体时，不参照像素也出现。本发明就是基于这个观察。在两个输入图像中，搜索不参照像素，随后通过一个候选运动矢量把两个输入图像中的不参照像素互相连接。如果候选运动矢量似乎适当，则把它赋予以前估计的、当时假设是不正确的运动矢量。这两组不参照像素与以前估计的运动矢量的坐标的关系，要由这两组不参照像素的空间坐标和两个输入图像与运动矢量场之间的时间关系给出。

确定第一不参照像素组和确定第二不参照像素组，可以相互独立地进行。然而，最好根据第一不参照像素组确定第二不参照像素组。这种依赖的优点是提高效率。另一个优点是提高鲁棒性。

在按照本发明的方法的一个实施例中，基于第一不参照像素组的一个空间环境，并且基于一个属于第一运动矢量场并且位于第一不参照像素组的该空间环境的特定运动矢量，来确定第二不参照像素组。第一不参照像素组和第二不参照像素组必须处于互相比较靠近的位置。这意味着，在第一不参照像素组给定的情况下，可以根据第一不参照像素组的空间位置和一个特定的偏移量，找到第二不参照像素组。该偏移量最好由一个例如来自第一运动矢量场的运动矢量定义，或者通过从第一运动矢量场取一个特定运动矢量并向其添加一个Δ(增量)而构造。该偏移量也可能是零，即应用一个所谓的空运动矢量。

在按照本发明的方法的一个实施例中，基于计算第一不参照像素组与第二图像中的候选的不参照像素组之间的重叠，来确定第二不参照像素组。重叠与第一不参照像素组的像素的第一数量和第二不参照像素组的像素的第二数量有关。除此之外，重叠可能与第一不参照像素组的形状和第二不参照像素组的形状有关。计算重叠，意味着在给定一个定义第一不参照像素组与第二不参照像素组之间的关系的候选运动矢量的情况下，计算在两个图像中不参照像素的数量。在确定重叠率较高、例如超过75％的情况下，假定该候选运动矢量是一个适当的候选运动矢量。随后，计算对应的匹配误差。

第一不参照像素组的大小最好不是太小。因此，第一不参照像素组的像素的第一数量最好高于一个第一预定计数阈限。除此之外，第一不参照像素组的大小不是太大。因此，第一不参照像素组的像素的第一数量最好低于一个第二预定计数阈限。对于第二不参照像素组，最好满足这两个相同的条件。对于标准定义视频图像来说，典型的值是：第一预定计数等于4*4像素；第二预定计数等于10*10像素。

在按照本发明的方法的一个实施例中，确定匹配误差包含计算第一和第二不参照像素组的各自像素值之间的差。例如，匹配误差可以是绝对差的和(SAD)。这个匹配误差是用于确定图像部分之间的匹配的较好的度量，不需要密集的计算。

本发明的另一个目的是提供在开头段落中所述的那种变换单元，由此，第二运动矢量场与第一运动矢量场相比，更好地代表较小物体的运动。

这个目的的实现，在于该变换单元包含：

第一确定装置，用于通过选择第一运动矢量场不含相应的运动矢量的第一图像的互相连接的像素的第一集合，来确定第一图像中的第一不参照像素组；

第二确定装置，用于通过选择第一运动矢量场不含相应的运动矢量的第二图像的互相连接的像素的第二集合，来确定第二图像中的第二不参照像素组；

计算装置，用于计算从第一不参照像素组指向第二不参照像素组的候选运动矢量的匹配误差；

比较装置，用于将该匹配误差与一个预定的匹配阈限进行比较，如果该匹配误差低于该预定的阈限，则把该候选运动矢量分配给第二运动矢量场的第一个运动矢量。

本发明的另一个目的是提供在开头段落中所述的那种图像处理设备，由此，时间插值输出图像较好地代表具有较高速度的小物体。

这个目的的实现，在于该变换单元包含：

第一确定装置，用于通过选择第一运动矢量场不含相应的运动矢量的第一图像的互相连接的像素的第一集合，来确定第一图像中的第一不参照像素组；

第二确定装置，用于通过选择第一运动矢量场不合相应的运动矢量的第二图像的互相连接的像素的第二集合，来确定第二图像中的第二不参照像素组；

计算装置，用于计算从第一不参照像素组指向第二不参照像素组的候选运动矢量的匹配误差；

比较装置，用于将该匹配误差与一个预定的匹配阈限进行比较，如果该匹配误差低于该预定的阈限，则把该候选运动矢量分配给第二运动矢量场的第一个运动矢量。

图像处理设备可包含额外的部件，例如用于显示输出图像的显示装置。图像处理单元可支持一个或多个以下类型的图像处理：

例如按照MPEG标准的视频压缩一即编码或解码；

去隔行扫描：隔行扫描，是用于交替地发送奇数编号的和偶数编号的图像行的普通视频广播程序。去隔行扫描试图恢复完全的垂直分辨率，即使得奇数和偶数行同时对每个图像可用；

图像速率(rate)变换：从一个原始输入图像系列中计算出一个更大的输出图像系列。输出图像在时间上位于两个原始输入图像之间；

时间减噪。这可能也涉及空间处理，导致空间-时间减噪。

图像处理设备例如可以是电视、机顶盒、VCR(磁带录像机)播放器、卫星调谐器、DVD(数字通用光盘)播放器或记录器。

本发明的另一个目的是提供在开头段落中所述的那种计算机程序产品，由此，第二运动矢量场与第一运动矢量场相比，更好地代表较小物体的运动。

这个目的的实现，在于计算机装置包含处理装置和存储器，计算机程序产品在被加载后，给所述处理装置提供执行以下功能的能力：

第一确定措施，通过选择第一运动矢量场不含相应的运动矢量的第一图像的互相连接的像素的第一集合，确定第一不参照像素组；

第二确定措施，通过选择第一运动矢量场不含相应的运动矢量的第二图像的互相连接的像素的第二集合，确定第二不参照像素组；

计算措施，计算从第一不参照像素组指向第二不参照像素组的候选运动矢量的匹配误差；

比较措施，将该匹配误差与一个预定的匹配阈限进行比较，如果该匹配误差低于该预定的阈限，则把该候选运动矢量分配给第二运动矢量场的第一个运动矢量。

本发明的另一个目的是提供在开头段落中所述的那种具有改善的压缩比率(rate)的视频编码单元。

这个目的的实现，在于变换单元包含：

第一确定装置，用于通过选择第一运动矢量场不含相应的运动矢量的第一图像的互相连接的像素的第一集合，确定第一图像中的第一不参照像素组；

第二确定装置，用于通过选择第一运动矢量场不含相应的运动矢量的第二图像的互相连接的像素的第二集合，确定第二图像中的第二不参照像素组；

计算装置，用于计算从第一不参照像素组指向第二不参照像素组的候选运动矢量的匹配误差；

比较装置，用于将该匹配误差与一个预定的匹配阈限进行比较，如果该匹配误差低于该预定的阈限，则把该候选运动矢量分配给第二运动矢量场的第一个运动矢量。

因为最后的运动矢量场更好地代表实际的运动，视频数据能更高效地被压缩。残余(residue)更小。

该变换单元的修改及其变体可对应于所述图像处理设备、方法、视频编码单元和计算机程序产品的修改及其变体。

附图说明

依照本发明的变换单元、图像处理设备、方法和计算机程序产品的这些和其它方面，将在以下参照附图所述的实施方式和实施例中变得更加明显并得到阐释，附图中：

图1示出了一个输出图像序列，其中，输出图像之一根据两个输入图像和一个由按照现有技术的运动估计单元估计的运动矢量场而内插；

图2示意性地示出了两个输入图像中的不参照像素；

图3示意性地示出了按照本发明的变换单元；

图4示意性地示出了按照本发明的图像处理设备；

图5示出了一个输出图像序列，其中，输出图像之一根据两个输入图像和一个通过按照本发明的变换单元更新的运动矢量场而内插。

附图中自始至终用相同的标注数字代表相似的部件。

具体实施方式

图1示出了一个输出图像序列，由此，根据两个输入图像和一个由按照现有技术的运动估计单元估计的运动矢量场通过时间插值而计算输出图像的其中之一102。输出图像的第一个100等于输入图像的第一个。输出图像的第二个104等于输入图像的第二个。该输入图像序列代表一个足球比赛的一部分。摄影机在拍摄这个输入图像序列时进行随动拍摄(pan)。在作为相应的输入图像的直接拷贝的两个输出图像100、104中，可以看到许多球员106、108、110、巡边员112和足球114。由于摄影机的随动拍摄，球员106、108、110、巡边员112和足球114相对于背景的速度较高。因此，运动估计单元不能正确地估计这些速度。不幸的是，由于不正确的运动估计，球员106、108、110、巡边员112和足球114在通过时间插值而计算出的输出图像102中是不可见的。较后的输出图像102只显示一个空的足球场。输出图像100、102、104的序列的观众将观察到一个忽隐忽现的序列：球员可见、球员可见、球员可见，等等。

图2示意性地表示两个输入图像200、202，它们被代表不参照像素204-212、214-222的覆盖物(masks)所覆盖。这意味着，第一个输入图像与不参照像素的二进制位图(map)被合并。这些不参照像素在输入图像中被表示为底部(back)条纹(stripes)和块(blocks)。不参照的意思是这些像素尚未被用于如图1中所示的输出图像的时间插值。它们没有被使用的原因是：被估计的运动矢量场不含对应于这些像素的运动矢量。

简短地察看两个图像200、202，显示这两个图像包含若干个较大的区域或者不参照像素组204-212、214-222。这两个图像的第一个200的不同的不参照像素组204-212的形状和大小，与这两个图像的第二个202的不同的不参照像素组214-222的形状和大小较好地匹配。例如，两个图像的第一个200的第一不参照像素组204，与两个图像的第二个202的第二不参照像素组214较好地匹配。两个图像的第一个200的第三不参照像素组210，也与两个图像的第二个202的第四不参照像素组220较好地匹配。按照本发明的方法和变换单元300根据的是这个观察。变换的方法包含：在随后的图像中寻找满足若干条件(如其大小既不太大又不太小以及位于彼此空间环境中)的相关的不参照像素组。在第一不参照像素组204的第一空间位置与第二不参照像素组214的第二空间位置之间的估计差值，代表连接这两个不参照像素组204、214的候选运动矢量。

进一步观察图2的两个图像，显示不同的不参照像素组204-212、214-222对应于球员106-110、巡边员112和足球114。这意味着，不同的不参照像素组204-212、214-222对应于以高速相对于背景移动的较小物体。

图3示意性地表示按照本发明的变换单元300。变换单元300被安排用于将第一运动矢量场MVF1变换成第二运动矢量场MVF2。第一运动矢量场MVF1是根据一个图像序列的第一图像100和第二图像104，对于第一图像100和第二图像104之间的一个时间位置n+a(0＜a＜1)而计算的。优选地，由在文章″True-Motion Estimation with 3-DRecursive Search Block Matching″(作者G.de Haan等，载于IEEETransactions on circuits and systems for video technology，卷3，第5期，1993年10月，368-379页)中所指定的运动估计单元，计算第一运动矢量场MVF1。

变换的意思是，第一运动矢量场MVF1的若干运动矢量被更新，即被新的运动矢量取代。通常，第二运动矢量场MVF2的大部分运动矢量与第一运动矢量场MVF1的相应的运动矢量相等。通常，只有较少的第二运动矢量场MVF2的运动矢量不同于第一运动矢量场MVF1的相应的运动矢量。已经被更新的运动矢量对应于较小物体的运动。尽管通常只有很少的运动矢量被更新，在内插的输出图像中的最后结果可能很大。它可能是足球在一个在内插的输出图像中可见与足球在另一个在内插的输出图像中不可见之间的差别。它也可能是球员可见还是不可见之间的差别。

变换单元300包含：

第一确定单元302，用于确定第一图像中第一不参照像素组；

第二确定单元304，用于确定第二图像中第二不参照像素组；

计算单元306，用于计算从第一不参照像素组指向第二不参照像素组的候选运动矢量的匹配误差；

比较单元308，用于将该匹配误差与一个预定的匹配阈限进行比较，如果该匹配误差低于该预定的阈限T1，则把该候选运动矢量分配给第二运动矢量场MVF2的第一个运动矢量。

变换单元的工作如下。变换单元300在其第一输入连接器310处被提供第一运动矢量场MVF1。根据第一运动矢量场MVF1与第一图像100之间的时间关系，第一确定单元302被安排用于判定第一图像的哪些像素是不被参照的。注意到第一运动矢量场MVF1属于t＝n+a，第一图像属于t＝n。不被参照的意思是，在第一运动矢量场MVF1中没有任何在这些像素处开始或停止的运动矢量。这个判定过程的第一中间结果，是被参照像素和不被参照像素的一个二进制位图(也参看图2)。随后，在这个第一中间结果中搜索互相连接的组。这个搜索最好由一个具有4*4像素的内核的模板匹配完成，其后跟随二进制区域增长。最终，为第一图像100确定第一不参照像素组。该确定要受第一不参照像素组的大小的上限和下限的限定。这些上限和下限通过第二输入连接器318被提供，作为计数阈限。

可选地，对不参照像素的搜索，受对第一一致性(即第一运动矢量场MVF1的连续性)的调查的控制。在第一运动矢量场MVF1中的不连续的空间环境中，发现不参照像素的概率较高。除此之外，可以应用第一运动矢量场的相应运动矢量的匹配误差，来控制对不参照像素的搜索。在运动矢量具有较高匹配误差的空间环境中，发现不参照像素的概率较高。

类似地，第二确定单元304被安排用于判定第二图像的哪些像素是不被参照的(也参看图2)。这意味着根据第一运动矢量场MVF1与第二图像104之间的关系。

在确定了第一不参照像素组和第二图像104的被参照的和不被参照的像素的二进制位图后，变换单元300开始调查第一不参照像素组是否能与第二图像104中的第二不参照像素组匹配。这个调查根据的是第一不参照像素组的空间位置和若干个空间偏移量。第一个空间偏移量等于零。第二个空间偏移量对应于第一运动矢量场MVF1的一个运动矢量。第三个空间偏移量对应于与一个增量组合的后一个运动矢量。对于每个空间偏移量，比较第一不参照像素组与第二图像104的二进制位图。在这个意义上的比较，意味着一种模板匹配(templatematching)。换言之，对于每个空间偏移量，计算第一不参照像素组与第二图像104的二进制位图的″1″值之间的重叠。一个对应于大于75％的重叠的空间偏移量，被假设适合作为一个候选运动矢量。

这个候选运动矢量随后通过计算单元306被评估。计算单元306根据第二确定单元304所提供的空间偏移量，通过第三输入连接器314提供的第一输入图像100的像素值和通过第四输入连接器312提供的第二输入图像104的像素值，来计算匹配误差。像素值例如可代表亮度和/或色度。通常，应用第一不参照像素组和第二不参照像素组的像素的像素值。

然后，将所计算的匹配误差和候选运动矢量提供到比较单元308。比较单元308比较该匹配误差与一个预定的匹配阈限T1，后者是通过第五输入连接器322提供的，或者是从第五输入连接器322所提供的外部输入得到的。在图像的亮度水平数等于256并且第一不参照像素组的大小等于16个像素的情况下，该预定的匹配阈限T1的典型的值等于48。如果所计算的匹配误差低于预定匹配阈限T1，则把候选运动矢量赋予第二运动矢量场MVF2的适当的运动矢量。该适当的运动矢量的坐标，是根据第二运动矢量场MVF2的时间位置(n+a)、第一不参照像素组的空间位置、以及根据候选运动矢量来确定的。显然，第一不参照像素组的大小是与被更新的适当的运动矢量的数目有关的。

第一确定单元302、第二确定单元304、计算单元306和比较单元308，可以用一个处理器实现。通常，这些功能是在一个软件程序产品的控制下执行完成的。在执行期间，通常将软件程序产品加载到如RAM的存储器中，并从存储器中执行。程序可以从后台存储器中一例如ROM、硬盘或磁性和/或光学存储器一加载，或者可以通过诸如因特网的网络加载。可选地，一个专用集成电路提供所公开的功能。

图4示意性地表示按照本发明的图像处理设备400，包含：

接收装置402，用于接收代表一个输入图像序列的信号；

运动估计单元408，被安排来为第一个输入图像和第二个输入图像中间的一个时间位置估计第一运动矢量场。第一运动矢量场包括在第一运动矢量场的时间位置的图像的像素的相应运动矢量；

结合图3所述的变换单元300，被安排用于计算第二运动矢量场；

图像处理单元404，被安排用于根据输入图像序列和第二运动矢量场计算输出图像；

显示装置406，用于显示图像处理单元404的输出图像。

信号可以是通过天线或电缆接收的广播信号，但也可以是来自诸如VCR(磁带录像机)或数字通用光盘盘(DVD)的存储装置的信号。信号是在输入连接器410处提供的。图像处理设备400例如可以是个电视。或者，图像处理设备400不包含可选的显示装置，而是把输出图像提供到一个确实包含显示装置406的设备。因而，图像处理设备400可以是机顶盒、卫星调谐器、VCR播放器、DVD(数字通用光盘)播放器或记录器。可选地，图像处理设备400包含如硬盘的存储装置或者用于在可移动存储介质上存储的装置，例如光盘。图像处理设备400也可以是一个被电影公司或广播公司应用的系统。

作为选择，将变换单元300应用在一个视频编码单元中。按照本发明的变换单元300，对于例如MPEG编码中的B帧的计算特别重要。

图5表示一个输出图像序列100、101、104，由此根据两个输入图像和通过按照本发明的变换单元300更新的运动矢量场，内插输出图像之一101。注意到该输出图像序列的第一个100和第二个104与图1中所示的相同。然而，图5中所示的输出图像序列的第三个101与图1中所示的输出图像序列的第三个102实质不同。可以清楚地看到，通过应用更新的运动矢量场，即改善的运动矢量场，计算出一个实质上更好的内插的输出图像。现在，球员106、108、110、巡边员112和足球114在整个输出图像序列中都是可见的。该序列的观众将不会观察到结合图1所述的忽隐忽现，而是观察到一个平滑的运动画面。

应当指出，上述实施例说明而不是限制本发明，所属技术领域的熟练人员在不偏离后附的权利要求的范围的情况下将能够设计可替代的实施例。在权利要求中，括号中的任何标注符号不应被解释为对权利要求的限制。“包含”一词并不排除存在在权利要求中未列举的部件或步骤。部件前面的“一个”一词并不排除存在多个这样的部件。本发明可以通过包含几个不同部件的硬件并通过适当编程的计算机实现。在枚举若干个装置的部件权利要求中，这些“装置”中的几种可以由相同的或同一个硬件实现。“第一”、“第二”和“第三”等的使用，并不表明任何顺序。这些词语要被解释为名称。这意味着，例如，第一图像可以在第二图像之前，也可以在第二图像之后。