目标跟踪和图像跟踪设备、操作控制方法及数字摄像机

摘要

本发明提供目标跟踪和图像跟踪设备、操作控制方法及数字摄像机。在目标处于帧外的情况下决定检测区域。如果相机连续地对目标进行成像，则确定该目标是否处于帧外。如果目标处于帧外，则检测相机的移动的幅度和方向。如果相机移动较大，则可以得出相机用户在跟踪目标的同时对其进行成像的结论。因此，可以得出在成像区的中心将再次对目标进行成像的结论。在成像区的中心设置被定义为将在其中检测目标的区域。如果在目标处于帧外的情况下相机移动较小，则可以得出这样的结论，即，用户正在等待目标重新进入成像区，并且因此将成像区的边缘设置为检测区域。

说明书

技术领域

本发明涉及目标跟踪设备、图像跟踪设备、控制该目标跟踪设备和图像跟踪设备的方法、以及数字摄像机。

背景技术

存在这种情况：当诸如特定的人之类的目标被跟踪时，该目标被连续地成像(参见日本专利申请特许公开第2009-17271、8-9277、以及4-281679号的说明书)。在这种成像中，在成像区中被跟踪的目标的附近设置检测区域。在所设置的检测区域内检测目标。当目标移动时，存在目标离开成像区的情况。如果目标离开了成像区，则不能确定应该在成像区中的哪里设置检测区域以跟踪该目标。

此外，当跟踪一个目标时，通常将具有指定特征的图像部分看作目标(参见日本专利申请特许公开第5-30406号的说明书)。如果目标移动，则存在被检测的目标偏离的情况。

发明内容

本发明的一个目的是在目标跟踪时设置检测区域。

本发明的另一个目的是为了防止被检测的目标的偏离。

根据本发明的第一方面的目标跟踪设备包括：目标检测装置(目标检测组件)，用于在被摄对象图像的检测区域内检测被跟踪的目标，所述被摄对象图像由通过连续对被摄对象进行成像而获得的图像数据所表示；检测区域更新装置(检测区域更新组件)，响应于目标检测装置检测到目标，以检测到的目标将占据检测区域的中心的方式来更新检测区域；移动检测装置(移动检测组件)，响应于目标检测装置不再检测到目标，检测在其中不再检测到目标的整个被摄对象图像的移动的方向和幅度；检测区域设置装置(检测区域设置组件)，如果移动检测装置检测到的整个被摄对象图像的移动等于或大于指定的幅度，则在被摄对象图像的中心部分设置检测区域，如果移动检测装置检测到的整个被摄对象图像的移动小于指定的幅度，则在与移动检测装置检测到的被摄对象图像的移动方向相反的方向上的被摄对象图像的边缘设置检测区域；以及控制装置(控制组件)，用于控制目标检测装置、检测区域更新装置、移动检测装置、以及检测区域设置装置，以重复用于检测目标的处理、用于更新检测区域的处理、用于检测移动的幅度和方向的处理、以及用于设置检测区域的处理。

本发明的第一方面还提供了一种适于上述目标跟踪设备的操作控制方法。具体地，控制目标跟踪设备的方法包括以下步骤：在被摄对象图像的检测区域内检测被跟踪的目标，所述被摄对象图像由通过连续对被摄对象进行成像获得的图像数据表示；响应于检测到目标，以检测到的目标将占据其中心的方式来更新检测区域；响应于不再检测到目标，检测在其中不再检测到目标的整个被摄对象图像的移动的幅度和方向；如果检测到的整个被摄对象图像的移动等于或大于指定的幅度，在被摄对象图像的中心部分设置检测区域，如果检测到的整个被摄对象图像的移动小于指定的幅度，则在与检测到的被摄对象图像的移动方向相反的方向上的被摄对象图像的边缘部分设置检测区域；以及重复用于检测目标的处理、用于更新检测区域的处理、用于检测移动的幅度和方向的处理、以及用于设置检测区域的处理。

本发明的第一方面还提供了一种用于执行上述控制目标跟踪设备的操作的方法的计算机可读程序。本发明的第一方面还可以用于提供一种存储了该程序的记录介质。

根据本发明的第一方面，在被摄对象图像的检测区域中检测被跟踪的目标，所述被摄对象图像由表示连续成像的被摄对象图像的图像数据表示。如果检测到目标，则以目标将位于检测区域的中心的方式来更新该检测区域。如果没有检测到目标，则检测不再检测到目标的整个被摄对象图像的移动的幅度和方向。如果检测到的幅度等于或大于指定的幅度，在被摄对象图像(成像区)的中心设置检测区域。如果检测到的幅度小于指定的幅度，则在与检测到的被摄对象图像的移动方向相反的方向上的被摄对象图像的边缘处(成像区的边缘部分)设置检测区域。重复用于检测目标的处理、用于更新检测区域的处理、用于检测移动的处理、以及用于设置检测区域的处理。

如果在整个被摄对象图像移动较大的情况下没有检测到目标，则结论是：尽管数字摄像机的用户在成像时积极地跟随目标，但是目标已离开了成像区。当进行成像时，假设用户希望在成像区的中心捕获目标，并且当进行回放时，假设以目标将占据成像区的中心的方式捕获图像数据。因此，在成像区(被摄对象图像)的中心设置检测区域。在整个被摄对象图像的移动很小的情况下，则得出数字摄像机的用户没有积极地跟随目标的结论。因此，在与整个被摄对象图像的移动方向相反的方向上的成像区的边缘处(被摄对象图像的边缘)设置检测区域。

例如，所述移动检测装置检测到的整个被摄对象图像的移动的幅度越大，则所述检测区域设置装置在越靠近被摄对象图像的中心位置处设置检测区域；以及所述移动检测装置检测到的整个被摄对象图像的移动幅度越小，则设置检测区域的位置，使之越靠近与整个被摄对象图像的移动方向相反的方向上的被摄对象图像的边缘。

此外，例如，移动检测装置根据两帧连续的被摄对象图像之间的偏离量来检测整个被摄对象图像的移动的幅度和方向。此外，可以布置使得通过提供具有加速传感器的数字摄像机来检测成像装置的移动的幅度和方向。

例如，目标检测装置假设检测到目标是因为检测区域中存在具有表示目标的图像特征的图像部分，或检测区域中存在与表示目标的模板图像一致的图像部分。

根据本发明的第二方面的图像跟踪设备包括：特征计算装置(特征计算组件)，用于计算设置在被摄对象图像中的跟踪区域内的图像特征，所述被摄对象图像由通过连续地对被摄对象进行成像获得的图像数据表示；跟踪图像检测装置(跟踪图像检测组件)，用于从在所述特征计算装置计算出其中的特征的被摄对象图像之后捕获的被摄对象图像中，检测具有所述特征计算装置计算出的特征的图像部分作为跟踪图像；；移动确定装置(移动确定组件)，响应于跟踪图像检测装置对所述图像部分的检测，用于确定跟踪图像检测装置在其中检测到所述图像部分的被摄对象图像中的跟踪图像的移动是否变得大于特征计算装置计算出其中的特征的被摄对象图像中的跟踪图像的移动；存储控制装置(存储控制组件)，响应于移动确定装置对移动变得更大的确定，用于控制存储装置以存储特征计算装置计算出的特征；检测控制装置(检测控制组件)，响应于移动确定装置对移动变得更小的确定，用于控制跟踪图像检测装置以从跟踪图像检测装置检测出所述图像部分的被摄对象图像中检测具有存储在存储装置中的特征的图像部分；跟踪区域设置装置(跟踪区域设置组件)，其在移动确定装置已经确定移动变得更大的情况下，用于将跟踪图像检测装置检测到的图像部分的位置设置为特征计算装置的跟踪区域，并且在移动确定装置已经确定移动变得更小的情况下，用于将以下图像部分中更类似于跟踪图像的图像部分的位置设置为特征计算装置的跟踪区域：(a)跟踪图像检测装置在检测控制装置的控制下检测到的并且具有存储在存储装置中的特征的图像部分，或者(b)跟踪图像检测装置检测到的并且具有特征计算装置计算出的特征的图像部分；以及控制装置(控制组件)，用于控制跟踪图像检测装置、移动确定装置、存储控制装置、检测控制装置、以及跟踪区域设置装置，以重复用于计算特征的处理、用于检测图像部分作为跟踪图像的处理、用于确定移动是否变得较大的处理、用于控制存储装置的处理、用于控制跟踪图像检测装置的处理、以及用于将所述图像部分设置为跟踪区域的处理。

本发明的第二方面还提供一种适于上述图像跟踪设备的操作控制方法。具体地，控制图像跟踪设备的方法包括如下步骤：计算设置在被摄对象图像中的跟踪区域内的图像的特征，所述被摄对象图像由通过连续地对被摄对象进行成像获得的图像数据表示；从在计算出其中的特征的被摄对象图像之后捕获的被摄对象图像中检测具有计算出的特征的图像部分，作为跟踪图像；响应于所述图像部分的检测，确定检测出所述图像部分的图像中的跟踪图像的移动是否变得大于计算出所述特征的被摄对象图像中的跟踪图像的移动；响应于对移动已变得更大的确定，控制存储装置以存储计算出的特征；响应于对移动已变得更小的确定，执行跟踪图像检测处理，以从检测出所述图像部分的被摄对象图像中检测具有存储在存储装置中的特征的图像部分；在已经确定移动已变得更大的情况下，将检测出的图像部分的位置设置为特征计算处理的跟踪区域，而在已经确定移动已变得更小的情况下，将以下图像部分中更类似于跟踪图像的图像部分的位置设置为特征计算处理的跟踪区域：(a)在检测控制处理的情况下检测到的并具有存储在存储装置中的特征的图像部分，或者(b)检测到的并具有计算出的特征的图像部分；以及重复用于计算特征的处理、用于检测图像部分以作为跟踪图像的处理、用于确定移动是否已变得更大的处理、用于控制存储装置的处理、用于控制跟踪图像检测处理的处理、以及用于将图像部分设置为跟踪区域的处理。

本发明的第二方面还提供一种存储用于执行上述控制图像跟踪设备的操作的方法的计算机可读程序的记录介质。本发明的第一方面也适于提供该程序。

根据本发明的第二方面，计算设置在被摄对象图像中的跟踪区域内的图像的特征，所述被摄对象图像是通过连续地对被摄对象进行成像获得的，并且从在计算出其中的特征的被摄对象图像之后捕获的被摄对象图像中检测具有计算出的特征的图像部分作为跟踪图像。如果检测到跟踪图像，则确定被摄对象图像的移动是否已变得更大。如果该移动已变得更大，则存储计算出的特征。如果该移动已变得更大，则将已检测出的跟踪图像的位置设置为跟踪区域，并且将已检测出的跟踪图像的位置用于下一被摄对象图像的跟踪图像检测处理。如果该移动已变得更小，则从被摄对象图像中检测具有存储在存储装置中的特征的图像部分。如果该移动已变得更小，则将以下图像部分中更类似于跟踪图像的图像部分设置为下一被摄对象图像的跟踪区域：(a)跟踪图像检测装置在检测控制装置的控制下检测到的并且具有已经存储在存储装置中的特征的图像部分，或者(b)跟踪图像检测装置检测到的并具有特征计算装置计算出的特征的图像部分。

如果移动变得更小，这意味着前一帧被摄对象图像的移动较大。因此，存在这样的情况，即在前一帧被摄对象图像中设置的跟踪区域内的图像部分没有精确地表示跟踪图像。由于利用存储在存储装置中的特征量来执行用于检测所述图像部分的处理，并且将更类似于跟踪图像的图像部分设置为下一帧被摄对象图像的跟踪区域，所以更准确的图像跟踪处理可以持续。

例如，移动确定装置根据成像装置连续捕获的两帧被摄对象图像之间的偏移量来确定成像装置的移动。

例如，跟踪图像检测装置根据表示跟踪图像的模板图像特征的特征来检测跟踪图像。

根据本发明的第三方面的数字摄像机(包含数码相机、电影摄像机、移动电话中包含的电影/照片摄像机和数字摄像机)包括：成像装置，用于连续地对被摄对象进行成像并依次输出表示被摄对象图像的图像数据；目标检测装置(目标检测组件)，用于在由从成像装置输出的图像数据表示的被摄对象图像的检测区域中检测将要跟踪的目标；检测区域更新装置(检测区域更新组件)，响应于目标检测装置检测到目标，用于以检测到的目标将占据检测区域的中心的方式来更新检测区域；移动检测装置(移动检测组件)，响应于目标检测装置不再检测到目标，用于检测成像装置的移动的幅度和方向；检测区域设置装置(检测区域设置组件)，如果移动检测装置检测出的成像装置的移动等于或大于指定的幅度，用于在被摄对象图像的中心部分设置检测区域，而如果移动检测装置检测出的成像装置的移动小于指定的幅度，则用于在与移动检测装置检测出的成像装置的移动方向一致的方向上的被摄对象图像的边缘处设置检测区域；以及控制装置(控制组件)，用于控制成像装置、目标检测装置、检测区域更新装置、移动检测装置、以及检测区域设置装置，以重复用于对被摄对象进行成像的处理、用于检测目标的处理、用于更新检测区域的处理、用于检测移动的幅度和方向的处理、以及用于设置检测区域的处理。

根据本发明的第三方面，连续地对被摄对象进行成像，并且连续地从成像装置输出表示被摄对象图像的图像数据。在由从成像装置输出的图像数据表示的被摄对象图像的检测区域中检测正被跟踪的目标。如果检测到目标，则以该目标将位于检测区域的中心的方式来更新该检测区域。如果没有检测到目标，则检测成像装置的移动的幅度和方向。如果检测到的幅度等于或大于指定的幅度，则在被摄对象图像(成像区)的中心处设置检测区域。如果检测到的幅度小于指定的幅度，则在与检测到的成像装置的移动方向一致的方向上的被摄对象图像的边缘处(成像区的边缘)设置检测区域。重复成像处理、用于检测目标的处理、用于更新检测区域的处理、用于检测移动的处理、以及用于设置检测区域的处理。

如果在整个被摄对象图像的移动较大的情况下没有检测到目标，则结论是：尽管数字摄像机的用户在成像时积极地跟随目标，但是目标已离开成像区。由于假设用户希望捕获成像区中心的目标，所以在成像区的中心处(被摄对象图像的中心)设置检测区域。在成像装置的移动较小的情况下，可以得出数字摄像机的摄像师没有积极地跟随目标的结论。因此，在与成像装置的移动方向一致的方向上的成像区的边缘处(被摄对象图像的边缘部分)设置检测区域。可以在与用户的意愿一致的位置设置检测区域。

根据本发明的第四方面的数字摄像机(包含数码相机、电影摄像机、移动电话中包含的电影/照片摄像机和数字摄像机)包括：成像装置，用于连续地对被摄对象进行成像并依次输出表示被摄对象图像的图像数据；特征计算装置(特征计算组件)，用于计算由从成像装置输出的图像数据表示的被摄对象图像中设置的跟踪区域内的图像的特征；跟踪图像检测装置(跟踪图像检测组件)，用于从在特征计算装置计算出其中的特征的被摄对象图像之后捕获的被摄对象图像中检测具有特征计算装置计算出的特征的图像部分作为跟踪图像；移动确定装置(移动确定组件)，响应于跟踪图像检测装置检测到所述图像部分，用于确定与特征计算装置计算出其中的特征的被摄对象图像被捕获时相比，跟踪图像检测装置在其中检测到了所述图像部分的被摄对象图像被捕获时，成像装置或跟踪图像的移动是否变得更大；存储控制装置(存储控制组件)，响应于移动确定装置对移动变得更大的确定，用于控制存储装置以存储特征计算装置计算出的特征；检测控制装置(检测控制组件)，响应于移动确定装置对移动变得更小的确定，用于控制跟踪图像检测装置，以从跟踪检测装置检测到所述图像部分的被摄对象图像内检测具有存储在存储装置中的特征的图像部分；跟踪区域设置装置(跟踪区域设置组件)，在移动确定装置已经确定移动变得更大的情况下，其用于将跟踪图像检测装置检测出的图像部分的位置设置为特征计算装置的跟踪区域，并且在移动确定装置已经确定移动变得更小的情况下，其用于将以下图像部分中更类似于跟踪图像的图像部分的位置设置为特征计算装置的跟踪区域：(a)跟踪图像检测装置在检测控制装置的控制下检测出的并具有存储在存储装置中的特征的图像部分，或者(b)跟踪图像检测装置检测出的并具有特征计算装置计算出的特征的图像部分；以及控制装置(控制组件)，用于控制成像装置、跟踪图像检测装置、移动确定装置、存储控制装置、检测控制装置、以及跟踪区域设置装置，以重复用于对被摄对象进行成像的处理、用于计算特征的处理、用于检测图像部分作为跟踪图像的处理、用于确定移动是否变得较大的处理、用于控制存储装置的处理、用于控制跟踪图像检测装置的处理、以及用于将图像部分设置为跟踪区域的处理。

根据本发明的第四方面，连续地对被摄对象进行成像并且连续地从成像装置输出表示被摄对象图像的图像数据。计算设置在被摄对象图像中的跟踪区域内的图像的特征，并从在计算出其中的特征的被摄对象图像之后捕获的被摄对象图像中检测具有计算出的特征的图像部分作为跟踪图像。如果检测到跟踪图像，则确定被摄对象图像的移动是否已变得更大。如果移动已变得更大，则存储计算出的特征。如果移动已变得更大，则将检测出的跟踪图像的位置设置为跟踪区域，并且将检测出的跟踪图像的位置用于下一被摄对象图像的跟踪图像检测处理中。如果移动已变得更小，则从被摄对象图像中检测具有存储在存储装置中的特征的图像部分。如果移动已变得更小，则将以下图像部分中更类似于跟踪图像的图像部分设置为下一被摄对象图像的跟踪区域：(a)跟踪图像检测装置在检测控制装置的控制下检测出的并具有存储在存储装置中的特征的图像部分，或者(b)跟踪图像检测装置检测出的并具有特征计算装置计算出的特征的图像部分。

如果移动已变得更小，这意味着前一帧被摄对象图像的移动更大。因此，存在这样的情况，即设置在前一帧被摄对象图像中的跟踪区域内的图像部分没有精确地表示跟踪图像。由于利用存储在存储装置中的特征量来执行用于检测图像部分的处理，并且将更类似于跟踪图像的图像部分设置为下一帧被摄对象图像的跟踪区域，所以更准确的图像跟踪处理可以持续。

根据以下结合附图的描述，本发明的其他特征的优点将显而易见，附图中，相同的参考标号表示所有附图中相同或相似的部分。

附图说明

图1是示出数码相机的电学结构的方框图；

图2和图3是示出数码相机执行的处理的流程图；

图4至图10是被摄对象图像的示例；

图11示出了帧外(out-of-frame，离开屏幕)确定表的示例；

图12至图16是被摄对象图像的示例；

图17示出了子区域中的移动矢量；

图18示出了被摄对象图像的移动矢量；

图19是示出用于设置检测区域的处理的流程图；

图20示出了另一个实施例的概览；

图21和图22是示出由根据该实施例的数码相机执行的处理的流程图；

图23至图26是该实施例中被摄对象图像的示例；

图27是该实施例中存储了GM(全局运动)的表的示例；

图28是该实施例中对特征进行比较的表的示例；

图29是示出由根据一个变型的数码相机执行的处理的流程图；以及

图30至图32是根据该变型的被摄对象图像的示例。

具体实施方式

示出了本发明的优选实施例的图1是示出数码相机1的电学结构的方框图。

数码相机1的整个操作由CPU 2控制。

数码相机1包括其中存储有稍后描述的操作程序和其他数据的存储器23。操作程序可以被写入存储卡28等，可以从存储卡28读出该操作程序并将其安装在数码相机1中，或者可以在相机中预先安装该操作程序。

数码相机1包括快门按钮3和模式开关4。表示按下快门按钮3的信号被输入至CPU 2。选择拍摄模式或回放模式的模式开关4可以选择性地接通开关S1或S2。通过接通开关S1来设置拍摄模式，而通过接通开关S2来设置回放模式。

在诸如CCD之类的固态电子图像感测装置7的前面布置光圈5和变焦透镜6。光圈5的f/光圈系数由电机驱动器10所控制的电机13决定。变焦透镜6的变焦位置由电机驱动器11所控制的电机14决定。

如果模式开关4设置了拍摄模式，则穿过光圈5的、表示被摄对象图像的光通过变焦透镜6在图像感测装置7的感光器表面上形成图像。图像感测装置7由定时发生器12控制，并且以固定周期(例如，1秒的1/30的周期)捕获被摄对象图像。以固定周期从图像感测装置7输出表示被摄对象图像的视频信号，并且将该视频信号输入至CDS(相关二重采样)电路8。在模/数转换电路9中将在CDS电路8中经过相关二重采样的视频信号转换为数字图像数据。

通过图像输入控制器15将数字图像数据输入至图像信号处理电路16，并且对该数字图像数据进行诸如Gamma校正之类的指定的信号处理。将该数字图像数据写入VRAM(视频随机访问存储器)24，然后读出该数据并将其应用于图像显示单元27，从而在图像显示单元27的显示屏上将所述图像数据显示为移动图像。在观看显示在显示屏上的图像时，数码相机的用户决定相机角度。

在根据该实施例的数码相机1中，当目标被一个框或边界包围时，可以跟踪通过成像而获得的被摄对象图像中包含的目标。为了实现该目的，数码相机包括目标跟踪电路18。可以以目标落入成像区的方式决定相机角度。

将通过图像捕获获得的数字图像数据输入至AF(自动聚焦)检测电路21。在AF检测电路21中控制变焦透镜6的变焦位置，以使被摄对象图像聚焦。此外，还将通过图像捕获获得的数字图像数据输入至AE(自动曝光)/AWB(自动白平衡)检测电路22。AE/AWB检测电路22以被摄对象图像将具有适当的亮度的方式决定光圈5的孔径。还在AE/AWB检测电路22中执行白平衡调整。

如果按下快门按钮3，则将通过图像捕获获得的图像数据输入至压缩处理电路17。将在压缩处理电路17中经过指定的压缩处理的图像数据输入至视频编码器20，从而对其进行编码。在存储卡控制器26的控制下将编码后的图像数据记录在存储卡28中。

如果模式开关4设置了回放模式，则读取已记录在存储卡28中的图像数据。在图像显示单元27的显示屏上显示由读取的图像数据表示的图像。

图2和图3是示出由数码相机1执行的处理的流程图。如上所述，当数码相机1被设置为拍摄模式并且连续地对被摄对象进行成像时执行该处理。该处理决定数码相机1的相机角度。

在该实施例中，可以以描述的方式(可以显示包围目标的框或边界)在通过连续成像获得的被摄对象图像中跟踪期望的目标。不是在通过成像获得的整个被摄对象图像内检测目标，而是在假定目标存在的检测区域内检测目标。如果在特定帧被摄对象图像中检测到了目标，则将对应于检测区域(其中心为检测目标的位置)的区域设置为下一帧被摄对象图像中的检测区域。如果没有在特定帧被摄对象图像中检测到目标，则将对应于检测区域的区域的被认为目标将在下一帧被摄对象图像中出现的中心部分或边缘部分处设置为下一帧被摄对象图像的检测区域。从而在设置的检测区域内执行目标检测。

对被摄对象进行成像，并将通过该成像获得的被摄对象图像显示在显示单元27的显示屏上(图2中的步骤31)。用户从被摄对象的显示图像中设置包含被跟踪被摄对象的目标区域(图2中的步骤32)。如果在显示单元27的显示屏上形成有触摸感应板，则可以通过触摸目标来设置目标区域。可以在图像显示单元27的显示屏上显示多个目标区域，并且可以通过触摸这些目标区域或通过使用按钮(未示出)来设置一个目标区域。接着，开启跟踪标志(图2中的步骤33)。

图4是通过成像获得的被摄对象图像的示例。

被摄对象图像50包含人的图像51。人的图像51的周围显示背景图像54。假设用户已将人的图像51的脸图像部分52设置为目标区域。如果这样设置了目标区域，则围绕该脸图像部分52显示目标框(目标区域)53。当然，不仅是人，动物或物体等都可以作为目标。

再次参考图2，检查跟踪标志是否已开启(图2中的步骤34)。如果该标志已开启，则意味着在将要尝试在其中检测目标的帧的前一帧中检测到了目标。因此，如图5所示，检测区域55被设置为以目标框53作为其中心(图2中的步骤35)。图5中示出了检测区域55，以方便理解。但是，这与检测区域55是否显示在显示单元27的显示屏上无关。例如，检测区域55是其每个边均为目标框53的相应边的两倍大小的矩形区域。

如果再次对被摄对象进行成像，则将下一帧被摄对象图像60(背景图像64)显示在显示单元27的显示屏上，如图6所示。在显示的被摄对象图像中，在与设置在前一帧被摄对象图像50中的检测区域55相对应的区域(称其为检测区域55)内执行目标检测处理(图3中的步骤37)。利用目标框53内的目标特征(表示与目标一致性的特征，例如，表示为数值形式的目标的亮度图像，或者由已表示为数值形式的特征点所表示的目标的形状)，目标检测处理将其特征等于或大于指定阈值的图像部分检测为目标。

如图6所示，如果检测区域55内包含目标52，则检测目标52(图3中的步骤38为“YES”)并且重置计数器(图3中的步骤39)。在目标已离开成像区的情况下，当目标连续指定次数未落入成像区时，计数器用于使目标跟踪处理暂停。跟踪标志开启(图3中的步骤40)以响应于检测到目标。以被检测目标52将处于检测区域中心的方式来更新检测区域55，并且获得更新的检测区域65，如图7所示(图4中的步骤41)。然后，提取目标52的特征(图3中的步骤42)。

如果对下一帧进行成像并且获得被摄对象图像70，如图8所示，则以目标52将占据检测区域中心的方式设置检测区域75，如图9所示(图2中的步骤35)。在这样设置的检测区域75内执行目标检测(图3中的步骤37)。之后，如果检测到目标52，则以上述方式，以检测到的目标52将占据检测区域中心的方式来设置检测区域，并且在该检测区域中检测下一帧被摄对象图像中的目标。

如果人的图像51离开被摄对象图像80(背景图像84)，如图10所示，并且不能从被摄对象图像80(检测区域)中检测到目标52(图3中的步骤38为“NO”)，则确定目标52是否已离开成像区(例如，是否已发生帧外(out-of-frame，离开屏幕))(图3中的步骤43)。

图11是在帧外确定中使用的表的示例。

对于每个被摄对象图像，帧外表包含目标框坐标、目标移动矢量、估计的目标框坐标、以及跟踪状态。在图11中，表包含与图7所示的被摄对象图像60、图9所示的被摄对象图像70、以及图10所示的被摄对象图像80有关的数据。

目标框坐标通过目标中心的坐标来表示目标框的位置。目标移动矢量通过矢量来指示目标52的移动。坐标相对于前一帧的改变表示移动矢量。估计的目标框坐标通过目标中心的坐标来表示估计出的下一帧被摄对象图像中目标框所处的坐标。跟踪状态表示目标跟踪是否成功。

根据计算出的目标矢量和目标框坐标，计算目标矢量和估计下一帧中目标框的位置的估计的目标框坐标。如果估计的目标框坐标离开了成像区并且目标不再被跟踪，则确定“帧外已发生”这一结果。

再次参考图3，如果确定了目标处于帧外，则递增计数器(图3中的步骤44)。如果计数器中的值超出阈值(图3中的步骤45为“YES”)，则停止目标跟踪处理。如果计数器中的值没有超出阈值(图3中的步骤45为“NO”)，则关掉跟踪标志(图3中的步骤46)。接着，检测相机移动的幅度和方向(不能再在其中检测到目标的整个被摄对象图像的移动的幅度和方向)(图3中的步骤47)。

利用两帧被摄对象图像来检测相机移动的幅度和方向。具体地，使用其中目标52最先处于帧外的被摄对象图像80(如图10所示)以及在被摄对象图像80之后对被摄对象进行成像获得的被摄对象图像90(如图12所示)。从被摄对象图像80和90这两帧中检测相机移动的幅度和方向。以下将详细描述如何执行检测。

当检测相机移动的幅度和方向时，检测跟踪标志是否开启(图2中的步骤34)。如果目标52离开成像区，则关掉跟踪标志(步骤34为“NO”)，并且因此在符合相机移动的幅度和方向的位置处设置检测区域(图2中的步骤36)。

如果相机移动较大，则可以得出相机的用户正积极地跟随移动目标52(即，用户正移动相机以便能够对目标52进行成像)的结论。因此，如果目标52离开成像区，则可以得出将以目标52将占据成像区中心的方式来移动相机的结论。因此，在该实施例中，如果目标52在相机移动较大的情况下离开成像区，则设置检测区域55以占据成像区的中心，如图13所示。如果对被摄对象进行成像并获得被摄对象图像110，则在设置在被摄对象图像110的中心处的检测区域55内执行对目标52进行检测的处理(图2中的步骤36)。在这种情况下，例如，假设检测区域55为其各边为目标框的边的两倍大小的矩形。

如果相机移动较小，可以得出相机的用户没有积极地跟随移动目标52的结论(即，用户没有为了能够对目标52进行成像而移动相机)。因此，如果目标52在相机移动较小的情况下离开成像区，则可以得出将在相机移动的方向上(与整个被摄对象图像移动的方向相反的方向)的成像区的边缘处设置检测区域55的结论，如图14所示。在图14中，可以得出这样的结论，即相机正从用户的有利位置向右侧移动，并且检测区域55已设置在成像区的右侧。但是，不言而喻的是，在得出相机正从用户有利位置向左移动的结论的情况下，则检测区域55将被置在成像区的左侧。在这样设置的检测区域55中执行用于检测目标52的处理(图2中的步骤36)。这种情况下，检测区域55是具有两倍于目标框的宽度并从成像区的上侧完全地延伸至其下侧的区域。

图15至图18用于描述相机移动的幅度和方向的检测。

图16和图17示出了目标处于帧外时获得的两帧被摄对象图像80和90。

在被摄对象图像80中设置多个子区域81。类似地，在被摄对象图像90中设置与子区域81具有相同大小的多个子区域91。针对已设置的每个子区域81检测特征。从多个子区域91中找出具有与检测出的子区域81中的特征一致的特征的子区域91(即，执行子区域跟踪)。对所有的子区域81执行处理，以找出具有相同特征的子区域91。从多个子区域81中挑出与已找出的子区域91相对应的子区域82(参见图17)。这些被挑出的子区域82是成功进行了子区域81的跟踪的那些子区域。根据这些挑出的子区域82，计算各区域的移动矢量83。根据计算出的所有移动矢量83来计算平均矢量93，如图18所示。计算出的平均矢量93表示相机移动的幅度和方向(其中不再能检测到目标的整个被摄对象图像的移动的幅度和方向)。

图19是示出了用于在符合相机移动的幅度和方向的位置处设置检测区域的处理的流程图。

检查以确定上述检测到的相机移动的幅度是否等于或大于指定的阈值(步骤101)。

如果相机移动的幅度等于或大于指定的阈值(步骤101处为“YES”)，如上所述，则推断相机的用户在跟随目标的同时对目标进行成像。因此，将检测区域设置在成像区的中心处(步骤102)。如果相机移动的幅度小于指定的阈值(步骤101处为“NO”)，则推断相机的用户正等待目标重新进入成像区，而没有跟随目标并对其进行成像。因此，将检测区域设置在相机移动方向上的成像区的边缘处(步骤103)。

图20至图32示出了本发明的另一个实施例。该实施例也可用于具有图1所示的框图的数码相机。

图20示出了该实施例的概览。

以类似于第一实施例的方式，对被摄对象进行成像并获得被摄对象图像110。在被摄对象图像110中设置了跟踪区域111，并且从跟踪区域111内提取目标的特征112。存储提取的特征112。

在接下来通过成像获得的被摄对象图像120中，将具有提取的特征112的图像部分(跟踪图像)的区域121设置为跟踪区域121。在接下来通过成像获得的另一被摄对象图像130中，将具有在前一帧被摄对象图像120中检测到的跟踪区域121内的特征121的图像部分的区域131设置为跟踪区域131。

假设当被摄对象图像从被摄对象图像120改变为被摄对象图像130时，被摄对象的移动减速。在这种情况下，由于被摄对象图像120是模糊的，从被摄对象图像120中提取到的目标的特征121可能并没有精确地表示目标的特征。因此，通过使用存储的特征112(假设，从移动小于被摄对象图像120的移动的被摄对象图像110中获得该特征)来根据被摄对象图像130设置跟踪区域132。

将使用从前一帧被摄对象图像120中提取的特征121而设置的跟踪区域131内的图像、与使用存储的特征112而设置的跟踪区域132内的图像进行比较，并且将跟踪区域131、132中表示更类似于目标的图像(更类似于被跟踪图像部分的图像部分)的跟踪区域设置为被摄对象图像130的跟踪区域133。在目标移动的情况下，如果移动变得小于针对前一帧被摄对象图像的移动，则执行用于使用从前一帧被摄对象图像中提取的特征来检测目标的处理、以及用于使用从被摄对象图像中提取的并且当目标移动较小时存储的特征来检测目标的处理，并且选定表示更类似于目标的图像的区域作为跟踪区域。

根据以下描述，该操作的细节将变得显而易见。

图21和图22是示出由根据该实施例的数码相机执行的处理的流程图。图23至图26是通过成像获得的被摄对象图像的示例。

通过对被摄对象进行成像获得图23所示的被摄对象图像110。在显示单元27的显示屏上显示获得的被摄对象图像110(图21中的步骤141)。用户设置目标，并且显示围绕目标的框(目标区域)111(图21中的步骤142)。计算跟踪区域111内的图像特征(图21中的步骤143)。

如果跟踪处理没有结束(图21中的步骤144处为“NO”)，则检查这是否是跟踪处理的第一回合(图21中的步骤145)。如果这是第一次(图21中的步骤145处为“YES”)，则仅有一帧被摄对象图像，并且因此不能利用在先前捕获的被摄对象图像中设置的跟踪区域内的图像来执行跟踪处理。因此，捕获下一帧，并且接着执行跟踪处理(图21中的步骤145处为“NO”)。

再次对被摄对象进行成像，并获得图24所示的被摄对象图像120(步骤146)。根据获得的被摄对象图像120，检测具有设置在前一帧被摄对象图像110中的跟踪区域111内的图像的特征的图像部分(跟踪图像部分)(图21中的步骤146)。如上所述，当检测到该图像部分时(图21中的步骤147处为“YES”)，计算被称为“全局移动(GM)”的值，以检查当被摄对象图像从被摄对象图像110改变为被摄对象图像120时被摄对象的移动是否减速(图22中的步骤148)。

使GMold表示前一帧被摄对象图像的GM，并且使GM表示前一帧被摄对象图像之后的一帧被摄对象图像的GM。如果|GM|＞|GMold|+th1成立，则确定整个被摄对象图像的移动从小移动变为大移动。如果|GM|＞|GMold|+th1不成立，而|GM|＜|GMold|+th2成立，则确定整个被摄对象图像的移动从大移动变为小移动。

如上所述，如果|GM|＞|GMold|+th1(图21中的步骤149处为“YES”)，则存储当移动较小时占优势的被摄对象图像110的跟踪区域111内的图像的图像特征(图22中的步骤150)。此外，将GMold更新为新的GM(图21中的步骤151)。而且，将检测到的图像部分的位置更新为新的跟踪区域121(图22中的步骤152)。从更新的跟踪区域121内的图像中计算特征，以用于下一帧的目标检测中(图21中的步骤143)。

假设通过下一次图像捕获获得图25所示的被摄对象图像130。关于被摄对象图像130，假设具有从更新的跟踪区域121内的图像中计算出的特征的图像部分被检测，并且获得跟踪区域131(图21中的步骤146)。为了计算被摄对象图像130的移动与被摄对象图像130的前一帧被摄对象图像120的移动之间的移动幅度的改变，再次以上述方式计算GM(图22中的步骤148)。

如果|GM|＞|GMold|+th1不成立而|GM|＜|GMold|+th2成立(图22中的步骤153处为“YES”)，这意味着被摄对象的移动从大变小。在这种情况下，使用被摄对象移动较小时获得并存储的目标的特征，并检测具有该特征的图像部分(图22中的步骤154)。从而，从被摄对象图像130中获得表示图26所示的检测出的图像部分的跟踪区域132。

然后，对(a)图像部分和(b)图像部分进行比较，其中(a)图像部分是根据从设置在前一帧被摄对象图像120中的跟踪区域121内的图像计算出的特征获得的跟踪区域131(图25)内的图像部分，并且其中前一帧被摄对象图像120是在被摄对象移动较大时获得的，(b)图像部分是根据从设置在被摄对象图像110中的跟踪区域111内的图像计算并存储的特征获得的跟踪区域132(图26)内的图像部分，，并且其中被摄对象图像110是在被摄对象移动较小时获得的(图22中的步骤155)。根据比较结果，将具有较高评估值的图像部分选定为表示目标(图22中的步骤156)。具体地，计算比较的两个图像部分的特征，并将具有较高特征值的图像部分选定为具有较高评估值的图像部分。

在检测到目标的情况下，如果将会利用从运动较大的被摄对象图像中检测出的图像部分的特征，则使用从先前捕获的并且呈现较小移动的被摄对象图像中检测出的图像部分的特征。这可以防止由于被摄对象图像的模糊而导致的目标检测的减小。

图27是用于评估移动幅度的改变的表的示例。

如上所述，根据GM决定移动幅度的改变。在该表中，目标区域表示目标区域的中心坐标；|GM|是特定被摄对象图像的GM；以及|GMold|、|GMold|+th1和|GMold|+th2表示针对特定被摄对象图像的上述表达式中使用的值。Status指示移动的改变。该表指示th1＝60、th2＝-60成立的情况。通过将这些应用到上述表达式，可以理解的是，被摄对象图像120的移动从小变大，而被摄对象图像130的移动从大变小。

图28是示出图25所示的被摄对象图像130的跟踪区域131内的图像的特征和图26所示的被摄对象图像130的跟踪区域132内的图像的特征的表。

跟踪区域132内的图像部分的特征大于跟踪区域131内的图像部分的特征。因此，选择区域132作为跟踪区域。

图29至图32示出了一个变型。

图29是示出由数码相机执行的一部分处理的流程图，该流程图对应于图22。与图22所示的处理步骤一致的图29中的处理步骤由类似的步骤标号标识，并且无需再次描述。图30至图32是被摄对象图像的示例。

在上述实施例中，根据整个被摄对象图像的移动幅度来改变处理。但是，在该变型中，根据目标的移动幅度而不是整个被摄对象图像的移动幅度来改变处理。

如图30所示，从通过成像获得的被摄对象图像160中检测已设置的目标的特征的图像部分，并且设置跟踪区域161。以类似于上述方式的方式存储所设置的跟踪区域161内的图像的特征。

如图31所示，针对下次成像的被摄对象图像170执行目标检测处理，并检测跟踪区域171。计算与跟踪区域161内的图像有关的移动矢量VM和与跟踪区域171内的图像有关的移动矢量VM。如果|VM|＞|VMold|+th1成立(步骤149A处为“YES”)，则确定下一帧被摄对象图像170中的目标的移动大于前一帧被摄对象图像160中的目标的移动。存储在前一帧被摄对象图像160中设置的跟踪区域161内的图像的特征(步骤150)。

如图32所示，通过成像获得下一帧被摄对象图像180。以上述方式，如果|VM|＜|VMold|+th2成立(步骤153A处为“YES”)，则得出这样的结论，即，下一帧被摄对象图像180的移动小于前一帧被摄对象图像170的移动。由于在前一帧被摄对象图像170中设置的跟踪区域171内的图像被认为更模糊，因此，以上述方式，根据使用在前一帧被摄对象图像170中设置的跟踪区域171内的图像而设置的跟踪区域182内的图像、或者根据存储的前一帧被摄对象图像160的跟踪区域161内的图像来决定具有较高评估值的图像部分，并且设置跟踪区域。

根据该实施例的本发明不仅可用于数码相机，还可用于电影摄像机、移动电话中包含的电影/照片摄像机和数字摄像机。此外，不仅当捕获图像时本发明可用，而且本发明还可用于对通过连续地拍摄获得的图像数据进行再现的电影图像回放设备。例如，本发明可用于以下情况：电影图像回放期间跟踪目标等的情况，以及以获得目标的适当构成的方式对电影图像进行剪切、放大或缩小处理的情况。

在不脱离本发明的本意及范围的情况下，本发明的许多大不相同的实施例是显而易见的，因此应该理解的是，本发明不限于除了所附权利要求所限定的之外的具体实施例。