使用实时相机运动估计检测和跟踪运动对象的方法和终端

摘要

提供了使用实时相机运动估计来检测和跟踪运动对象的方法和终端，该方法包括：生成代表输入图像中输入模式的变化的特征图；提取图像的特征信息；使用所提取的特征信息估计用于识别相机的运动的全局运动；通过反映所估计的全局运动来校正输入图像；以及使用经校正的图像来检测运动对象。

说明书

技术领域

本发明一般涉及用于在便携式终端中检测和跟踪图像中的运动对象的方法和装置。

背景技术

针对诸如计算机视觉和对象识别、机器人、监控系统、无人驾驶车辆系统等等的许多应用，已经对在从相机获取的连续图像中自动检测和跟踪运动对象的技术进行了许多研究。在图像中检测和跟踪运动对象的技术典型地被分类为使用模板匹配的方案、以及在通过校正相机的运动而校正的图像中检测和跟踪运动对象的方案。基于模板匹配的方案在通过相机接收的帧中人工选择(即，允许用户直接选择)要跟踪的对象，设置一些选择的区域作为模板，通过模板匹配来跟踪下一帧中具有最高相似度的区域，并确定具有最高相似度的区域为运动对象的区域。

在通过校正相机的运动而校正的图像中检测和跟踪运动对象的方案将通过相机接收的帧划分为若干块，从每块中提取特征信息，使用所提取的特征信息估计局部运动，基于所估计的局部运动信息去除增加运动估计误差的异常值(outlier)以便估计全局运动，并使用去除了异常值的特征信息估计全局运动。然后，该方案使用图像的特征计算校正了相机运动的连续图像中运动对象和背景的不同的运动信息，并从背景中分离运动对象。

然而，这些运动对象检测和跟踪方案存在若干问题。手动选择对象区域并通过基于模板匹配确定其相似度来跟踪对象的区域的方案是不方便的，并且如果模板匹配失败则该方案可能会继续跟踪非运动对象的部分。另外，如果运动对象在相机的预览区域之外，则此方案不能跟踪运动对象，并且必须重新选择运动对象。此外，如果所选择的运动对象的大小很大，则在模板匹配过程中的计算速度很低，导致预览帧输入相机的延迟。

其次，通过估计局部运动和全局运动校正相机的运动、然后使用图像的 特征来检测运动对象的方案一般使用考虑速度、基于图像的特征估计运动的方法，其中图像的特征是指对象的边缘、区域的边界、线的交叉等等。为了提取特征信息，通常使用Harris角点检测方法或Kansde-Lucas-Tomasi(KLT)边缘检测方法；边缘检测方法可以分类为Sobel、Canny和Laplace边缘检测方案。这些不同的特征信息提取方法可能不能在具有有限存储容量和运算处理能力的电子设备(如移动电话)中实时地执行。在一些情况下，考虑到速度，会在处理过程中将输入图像下采样到低分辨率。然而，在这种情况下，处理速度可能增加，但是运动估计的性能可能会降低。

因此，需要一种适合于便携式终端的运算处理能力的运动对象检测和跟踪方法。

发明内容

本发明的一个方面解决至少上述问题和/或缺点，并且提供至少如下所述的优点。因此，本发明的实施例的一个方面提供用于检测和跟踪图像中的运动对象的方法和装置，其适合于具有有限存储容量和运算处理能力的便携式终端。

根据本发明的一个方面，提供使用实时相机运动估计来检测和跟踪运动对象的方法。该方法包括：生成代表输入图像中图像模式(image pattern)的变化的特征图(feature map)，并提取图像的特征信息；使用所提取的特征信息估计用于识别相机的运动的全局运动；以及通过反映所估计的全局运动来校正输入图像，并通过在经校正的输入图像中将先前图像与当前图像进行比较来检测运动对象。

根据本发明的另一个方面，提供使用实时相机运动估计检测和跟踪运动对象的终端。该终端包括：相机单元，用于使用镜头和图像传感器来捕获图像；控制器，用于控制终端的组件；以及运动对象检测和跟踪单元。该运动对象检测和跟踪单元包括：特征提取器，用于产生代表输入图像中图像模式的变化的特征图，并提取该图像的特征信息；全局运动估计器，用于使用所提取的特征信息估计用于识别相机的运动的全局运动；以及运动对象提取器，用于通过反映所估计的全局运动来校正输入图像，并通过在经校正的输入图像中将先前图像与当前图像进行比较来检测运动对象。

附图说明

通过以下结合附图的描述，本发明的特定实施例的上述及其他方面、特征和优点将更加清楚，附图中：

图1是示出根据本发明的实施例的使用实时相机运动估计检测和跟踪运动对象的终端的结构的框图；

图2是示出根据本发明的实施例的用于使用实时相机运动估计检测和跟踪运动对象的终端中的运动对象检测和跟踪单元的详细结构的框图；

图3是示出根据本发明的实施例的用于使用实时相机运动估计检测和跟踪运动对象的方法的流程的示图；

图4A和图4B是根据本发明的实施例的通过使用实时相机运动估计检测和跟踪运动对象所获得的图像的例子的示图。

在所有附图中，相同的附图参考标号应被理解为指代相同的元件、特征和结构。

具体实施方式

现在将参考附图详细描述本发明的实施例。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。

本发明提供一种利用通过相机预览获得的图像提取相机的运动信息、并利用所提取的信息检测和跟踪运动对象的方法。该方法使得具有有限存储容量和运算处理能力的电子设备能够以高速提取相机的运动信息、并校正连续输入的预览图像的相机运动信息，从而使其能够自动地、精确地检测和跟踪运动对象。为了实现快速和精确的相机运动估计，本发明致力于使用局部块信息从除了候选的运动对象的区域以外的区域中提取特征，基于所提取的图像的特征信息估计全局运动，根据基于所估计的相机运动信息而校正的先前帧与下一帧之间的差图像(difference image)来提取运动对象的区域，并对其进行滤波，以及使用在先前帧中的有关运动对象的信息生成和跟踪外观模型(appearance model)。以下将参考附图对其进行详细描述。

图1示出了根据本发明的实施例的使用实时相机运动估计检测和跟踪运 动对象的终端的结构。

参考图1，该终端包括控制器110、相机单元120、显示器130、存储器140、输入单元170、移动通信单元150和运动对象检测和跟踪单元160。

显示器130在控制器110的控制下显示各种显示信息和消息。显示器130可以包括液晶显示器(LCD)、薄膜晶体管(TFT)显示器、有机电致发光(Eletroluminescence，EL)显示器等等。

输入单元170具有多个字母数字和功能键，并将用户按下或点击的键所对应的键输入数据输出给控制器110。当采用触摸屏形式时，显示器130也可以用作输入单元170。

存储器140包括用于存储终端操作所需的多个程序和数据的只读存储器(ROM)和随机存取存储器(RAM)。

移动通信单元150经由天线(未示出)与基站交换射频(RF)信号，以实现终端和基站之间的无线通信。

相机单元120包括用于捕获图像的镜头和图像传感器。

控制器110控制终端的其他组件。控制器110通过控制其他组件来执行诸如呼叫和数据发送/接收的一般通信功能，并控制根据本发明的实施例的运动对象检测和跟踪单元160以检测/跟踪图像中的运动对象。

运动对象检测和跟踪单元160通过相机单元120接收预览图像，并实时检测和跟踪输入图像中的运动对象。

根据本发明的实施例，运动对象检测和跟踪单元160生成代表输入图像中图像模式的变化的特征图，提取图像的特征信息，使用所提取的特征信息估计用于识别相机的运动的全局运动，通过反映所估计的全局运动来校正输入图像，并使用经校正的图像来检测运动对象。

在本例中，运动对象检测和跟踪单元160通过生成特征图来提取特征信息，该特征图标记图像中每一个与相邻像素之间的变化大于预定阈值的像素。在检测与相邻像素的变化程度时，运动对象检测和跟踪单元160使用像素值的YCbCr域中的Y值。并且，在RGB域像素的情况下，该变化程度通过使用R、G、B中的至少一个来确定。在生成特征图时，运动对象检测和跟踪单元160在通过从第一输入图像的中心排除预定大小的区域而获得的部分中创建特征图，并且从第二输入帧开始，在除了所提取的运动对象的区域之外的剩余部分中创建特征图。

运动对象检测和跟踪单元160通过以下步骤来估计全局运动：将在特征图中被标记为与相邻像素之间的变化大于预定阈值的像素区域划分为具有预定大小N×N的特征块，将所划分的特征块进一步划分为具有预定大小S×S的子块，将属于每个特征块中所包括的每个子块的像素值的和设置为该子块的代表值(representative value)，将子块中具有最大代表值的子块设置为该子块所属特征块的宏块，并将从所输入的先前图像中获得的特征块的宏块与当前图像进行匹配。

运动对象检测和跟踪单元160通过以下步骤来检测运动对象：通过反映所估计的全局运动来校正所输入的先前图像，通过将平均滤波器应用于经校正的先前图像和当前图像来去除噪声，通过将去除噪声的经校正的先前图像与当前图像进行匹配来计算以二值信号表示的差图像，并通过向所计算的差图像应用侵蚀算子(erosion operator)来去除噪声。

在本例中，应用平均滤波器包括在经校正的先前图像和当前图像中将具有预定大小M×M的块的中心像素值设置为其他相邻像素的平均值，并执行滤波以使M×M块在经校正的先前图像和当前图像中不重叠。

运动对象检测和跟踪单元160通过如下步骤来计算差图像：计算亮度信息和色彩信息中的每一个在经校正的先前图像与当前图像之间的图像差，并标记亮度信息的图像差大于关于亮度信息的预定参考图像差、或关于色彩信息的图像差大于关于色彩信息的预定参考图像差的像素。

一旦计算出运动对象的第一区域，则运动对象检测和跟踪单元160在下一输入图像中仅仅在其水平像素长度和垂直像素长度是从所检测的运动对象的区域扩展预定偏移量的区域中计算差图像，从而检测运动对象的区域。

运动对象检测和跟踪单元160通过累计所检测的运动对象的区域来生成外观模型，并且如果由于运动对象停止而没有检测到运动对象，则使用外观模型、在从先前图像中所检测到的运动对象的区域扩展预定偏移量的区域中执行模式匹配，由此来跟踪运动对象。

图2示出了根据本发明的实施例的使用实时相机运动估计检测和跟踪运动对象的终端中的运动对象检测和跟踪单元的详细结构。

参考图2，图1的运动对象检测和跟踪单元160包括特征提取器210、全局运动估计器220、运动对象提取器230、外观模型生成器240以及运动对象跟踪器250。

特征提取器210通过控制器110从相机单元120接收由用户输入的实时图像，或者接收存储在存储器140中的图像，并提取所接收的图像的特征。

在运动对象检测和跟踪过程中，为了迅速和精确地估计相机的运动，要求终端提取图像模式具有显著变化的部分中的特征信息，同时最小化输入图像的特征信息量。为了满足这个要求，使用局部块信息生成特征图，并将与所生成的特征图中的有效范围相对应的部分划分为具有N×N大小的特征块。术语“局部块信息”是指通过输入图像中每个像素的相邻像素获得的信息。例如，如果利用局部块来获取边缘信息或角点信息，则对于图像I的每个像素I(i，j)可以使用包括参考像素I(i，j)和它的相邻像素I(i-1，j)和I(i，j-1)的块。也就是，局部块可以包括在参考像素周围的两个或更多个相邻像素。在使用局部块生成特征图的过程中，使用参考像素和相邻像素之间的变化生成特征图，排除图像中具有较小模式变化的区域，并设置特定阈值Tm以便从特征图中获得有效区域。特征图使用下面的等式(1)生成：

其中M(i，j)代表特征图M的第(i，j)个像素的值，而T_M代表阈值。

考虑到运动估计的精确度和速度，在除了运动对象的区域之外的剩余区域中创建特征图。在第一输入图像中，由于不能得知运动对象的区域，因此假设运动对象位于图像中央，从而在图像的外围部分中创建特征图。也就是，在通过从图像中央排除预定大小的区域而获得的部分中创建特征图，并且从第二输入帧开始，在除了所提取的运动对象的区域之外的剩余部分中创建特征图。

全局运动估计器220使用特征提取器210创建的特征图估计全局运动。为了使用所创建的特征图估计全局运动，全局运动估计器220将特征图中具有非零值的部分划分为N×N块(以下称为“特征块”)。为了选择用来估计全局运动的宏块，每个特征块被进一步划分成S×S子块。计算属于每个所划分的子块的像素值的和并将其确定为该子块的代表值，并且将每个特征块中 具有最大代表值的子块设置为该特征块的宏块。具有较大的代表值可以被解释为图像模式的显著变化。使用下面的等式(2)来创建宏块：

$M_b\left(F_b\right)=\left\{S_b\right|V\left(S_b\right)=\underset{S_b\in F_b}{\mathrm{MAX}}\left(V\left(S_b\right)\right)\}$.........(2)

$V\left(S_b\right)=\underset{x\in S_b}{\Sigma }x$

其中M_b(F_b)代表特征块F_b的宏块，S_b代表特征块F_b的子块，V(S_b)代表属于每个所划分的子块的像素值的和，并且x代表像素值。

然后，使用先前图像I_t-1和当前图像I_t估计相机的全局运动。通过使用从先前图像创建的宏块对当前图像执行块匹配来估计相机运动。

运动对象提取器230通过反映全局运动估计器220所估计的相机运动信息来校正图像，并使用经校正的图像来检测运动对象。一旦估计出相机运动，运动对象提取器230就通过反映所估计的运动信息来校正先前图像，然后计算与当前图像重叠部分的差图像。

一般来说，为了减少噪声的影响，通过向每个图像应用平均滤波器或者高斯滤波器来计算差图像。除了平均滤波器和高斯滤波器，取决于所要求的速度，也可以使用从平均滤波器改进的其他类型的滤波器。例如，在使用3×3块或更多的平均滤波器中，将八个相邻像素的平均值确定为图像中3×3滤波器的中心像素值。然而，如果对通过预览输入的所有帧执行该像素操作，可能增加操作时间。因此，可以彼此不重叠地对3×3块进行滤波，并且可以不仅将3×3块中的中心像素值设置为平均值，而且还将它的八个相邻像素值也相等地设置为该平均值。

另外，如果在使用差图像检测运动对象时只使用灰度图像，则在背景颜色与运动对象的颜色类似的情况下很可能不能检测到运动对象。因此，当计算差图像时，也使用色彩信息。例如，如果图像具有YCbCr格式，则不仅使用Y值的平均、而且还使用Cb和Cr值的平均来计算差图像，并且使用特定阈值T_Y和T_CbCr将该差图像转换为二值图像。甚至在RGB或者其他颜色域中也可以应用相同的方法。使用下面的等式(3)来计算差图像：

$I_Y\left(x\right)=I_{t-1}^{\mathrm{new}}\left(x\right)-I_t\left(x\right),I_{\mathrm{CbCr}}\left(x\right)=I_{t-1}^{\mathrm{new}}\left(x\right)-I_t\left(x\right)$

其中I_Y和I_CbCr分别代表Y和CbCr域中的图像差，I_t-1^new代表通过反映相机运动信息而校正的先前图像，I_B代表二值差图像，而x代表每个域中的坐标。

接下来，利用在形态学中使用的侵蚀算子来去除二值差图像的噪声，并且将去除噪声的部分设置为运动对象的区域。一旦运动对象的区域被确定，则为了提高处理速度，在下一输入图像I_t+1中，在包括先前确定的运动对象的区域的某个扩展区域中计算二值差图像，而不需要计算关于整个区域的差图像。术语“扩展区域”是指通过将先前检测的运动对象的区域的水平区域和垂直区域扩展预定偏移量而获得的区域，并且使用扩展区域使得可以精确地检测以高速运动、并且在对象进行远离或接近相机的运动时形状发生变化的运动对象，如车辆。如果运动对象移动到屏幕边界之外，则用于检测运动对象的区域扩展到整个图像。

外观模型生成器240在运动对象没有运动或者只有微小运动的情况下生成外观模型。通过累计在先前帧中获得的运动对象的区域来生成外观模型。为了生成外观模型，使用下面的等式(4)：

A_t(x)＝αA_t-1(x)+(α-1)I_t(x)如果x∈R    .........(4)

其中A代表外观模型，R代表在在时隙t获得的运动对象的区域，α代表透明度，而x代表像素的坐标。

运动对象跟踪器250使用在外观模型生成器240中生成的外观模型跟踪运动对象。外观模型随着帧的经过而不断地更新，并且如果在时隙t+1运动对象没有运动或者只有微小的运动，则运动对象跟踪器250通过使用在时隙t获得的外观模型、在图像I_t+1中在时隙t的运动对象的区域的周围执行模式匹配操作来跟踪运动对象。

图3示出了根据本发明的实施例的使用实时相机运动估计来检测和跟踪运动对象的方法的流程。

参考图3，在步骤310，特征提取器210通过图1的控制器110从图1 的相机单元120接收由用户输入的实时图像，或者接收存储在图1的存储器140中的图像，并提取所接收的图像的特征。

在步骤320，图2的全局运动估计器220使用由图2的特征提取器210创建的特征图来估计全局运动。在步骤330，图2的运动对象提取器230通过反映在全局运动估计器220中提取的相机运动信息来校正图像，并使用经校正的图像检测运动对象。在步骤340，图2的外观模型生成器240在运动对象没有运动或者有非常微小运动的情况下生成外观模型。在步骤350，图2的运动对象跟踪器250使用所生成的外观模型跟踪运动对象。

图4A和图4B示出了通过根据本发明的实施例的使用实时相机运动估计检测和跟踪运动对象而获得的图像的例子。

通过根据本发明的实施例使用实时相机运动估计检测和跟踪运动对象，可以实时检测和跟踪图像中的运动对象，使得可以如图4所示精确地检测图像中的运动对象的运动。

从前述描述中可以清楚地看出，本发明提供了用于使用通过相机预览获得的图像提取相机的运动信息、并通过反映所提取的运动信息来检测和跟踪运动对象的方法。具体来说，本发明使具有有限存储容量和运算处理能力的便携式终端能够以高速提取相机运动信息，并且校正连续接收的预览图像的相机运动信息，由此自动地、精确地检测和跟踪运动对象，并且使用外观模型提高运动对象的跟踪性能。结果，根据本发明的运动对象检测和跟踪方法可以用于合成捕获的图像的应用中。

虽然已经参考本发明的特定实施例示出和描述了根据本发明的实施例的使用实时相机运动估计检测和跟踪运动对象的方法和终端的操作和结构，但本领域技术人员将理解，可以在其中进行形式和细节上的各种改变而不脱离由权利要求及其等效物定义的本发明的精神和范围。