图像中的移动物体的跟踪方法及装置

摘要

一种图像中移动物体跟踪方法，为以很少的暂时存储的时序图像跟踪移动物体，对于时序图像中连续的N图像(N≥2)进行：(a)通过向相邻的区块的移动向量之差的绝对值在规定值以内的区块上付与相同识别符号，向在图像上相互重叠的移动物体付与相互不同的识别符号；(b)在该N图像的各图像中，作为付与了第1识别符号的区块群的第1目标和作为付与了第2识别符号的区块群的第2目标相接，且对于该N图像判断时间上相邻的图像的第1目标间的相关度是否为规定值以上；和(c)在该步骤(b)进行肯定判断后，随时间跟踪该第1目标和该第2目标。

说明书

技术领域

本发明涉及通过对时序图像进行处理而跟踪图像中的移动物体(汽车、自行车、动物等可移动物体)的移动物体跟踪方法及装置。

背景技术

交通事故的早期发现，不仅可以通过迅速的救助行动提高人命救助的成功率，还可通过警察迅速进行实地检测等缓和事故范围，因此期待着各种交通事故的识别自动化。为提高交通事故的识别率，需要对通过摄像机拍摄的图像进行处理而准确地跟踪移动物体。

图28为示意性表示通过设置于高速公路的中央线上方的摄像机拍摄的时刻t＝1～4的图像。

在图像中车辆彼此之间频繁重叠，因此难以通过图像处理而跟踪各车辆。为解决这种问题，需要沿着道路设置多部摄像机，从而综合地对这些图像进行处理。

但是，需要具备多部摄像机和图像处理装置，因此成本升高。并且，必须将各摄像机的拍摄图像以相关顺序综合地进行处理，因此处理变得复杂。

为此，本申请的发明者们根据如下的随时间跟踪移动物体的方法解决了这种问题(特开2002-133421)。

将时刻t＝1～4的时序图像暂时进行存储，并从t＝4开始识别车辆M1和M2，求出车辆M1和M2的移动向量，并根据该移动向量，移动t＝4的图像中的车辆M1和M2，假设车辆M1和M2已被识别的t＝3的图像，从而根据此图像与t＝3的实际的图像的相关关系，识别出t＝3的图像中的车辆M1和M2。

接着，通过对t＝3和t＝2的图像的相同处理，识别t＝2的图像中的车辆M1和M2。接着，通过对t＝2和t＝1的图像的相同处理，识别t＝1的图像中的车辆M1和M2。

通过这种处理，能够以1台摄像机跟踪车辆M1和M2。

然而，实际上，例如，由下述现象：由于处理12帧/秒的图像，而使时序图像的存储量变大，同时处理时间变长。

此外，为提高移动物体的边界识别精度，减小区块大小，则难以通过区块匹配而确定移动向量。

进而，在上述特开2002-133421中，各图像被分割为8×8像素组成的区块，并通过对各区块与背景图像对应的区块进行比较，判断是否存在移动物体。

该背景图像并非为恒定的，因此必须更新。例如，对于过去10分钟之内的全部图像，作成对应的像素的像素值的直方图，将其最频值(模式)作为该像素的像素值的图像作为背景图像。

发明内容

本发明鉴于这种问题，其目的在于提供一种能以更少数量的暂时存储的时序图像跟踪移动物体的图像中的移动物体的跟踪方法及装置。

本发明的另一目的在于无需艰难地确定移动向量而可提高移动物体的边界识别精度的图像中的移动物体的跟踪方法及装置。

本发明的又一目的是无需利用特别的背景图像的图像中的移动物体的跟踪方法及装置。

在本发明的一个实施方式中，在处理时序图像而跟踪图像中的移动物体的图像上移动物体跟踪方法中，各图像被分割成由多个像素组成的区块，移动物体的识别符号以区块单位被付与，并且该移动物体的移动向量以区块单位求出的情况下，(a)通过向相邻的区块的移动向量之差的绝对值在规定值以内的区块上付与相同个识别符号，向在图像上相互重叠的移动物体付与相互不同的识别符号。

根据该构成，在1簇分离成多个目标之前，可随时间而对各个目标进行跟踪，因此当随时间而跟踪各移动物体时，可降低图像存储器的存储容量，且减少图像处理量，从而减轻CPU的负担。

在本发明的另一实施方式中，在处理时序图像而跟踪图像中的移动物体的图像上移动物体跟踪方法中，各图像被分割成由多个像素组成的区块，移动物体的移动向量以区块单位求出，且存在未确定移动向量的第1区块的情况下，(a)抽出该第1区块周围的已确定的移动向量，(b)将该抽出的移动向量分组为相互的向量之差成为规定值以下，(c)将包括在向量数最大的组中的移动向量的大致平均向量推测为该第1区块的移动向量。

根据这种算法，即使未确定的移动向量较多，也可合理地推测该未确定移动向量。由此，可根据移动向量对包括多个目标的1簇进行分割。

在本发明的另一实施方式中，在处理时序图像而跟踪图像中的移动物体的图像上移动物体跟踪方法中，各图像被分割成由多个像素组成的区块，移动物体的识别符号以区块单位被付与，并且该移动物体的移动向量以区块单位求出的情况下，(a)将时刻t1的图像的区块大小的区域至时刻t2的图像的关注区块的移动向量推测为MV，将该关注区块的识别符号推测为ID，(b)求出有关包括该时刻t2的图像的该关注区块周围的区块中识别符号为ID的至少1个区块的移动向量和该关注区块的移动向量MV之差的绝对值的相关度的量，(c)在规定范围内移动该第1区域并对各区域求出包括有关该相关度的量的评价函数的值，并根据该值的大致的最佳值确定该移动向量MV和该识别符号ID。

根据该方法，即使因关注区块的纹理信息量较少而无法以简单的区块匹配求出移动向量，也能够合理地同时确定移动向量和识别符号ID。

另外，也可取代步骤(b)，采用步骤(b’)，即求出有关将该关注区块-MV移动量的区域的中心所属的包括时刻t1的图像的区块BLK周围的区块中识别符号为ID的至少1个区块的移动向量和该关注区块的移动向量MV之差的绝对值的相关度的量。在这种情况下，该步骤(c)的有关相关度的量为例如∑|MV-MVneigher|/L，其中，Mvneigher为该区块BLK周围的区块中具有与该区块BLK的识别符号ID相同ID的区块的移动向量，∑为意味着具有该相同ID的区块的总和，L为具有该相同ID的区块的数量。

在本方的另一实施方式中，在处理时序图像而跟踪图像中的移动物体的图像上移动物体跟踪方法中，各图像被分割成由多个像素组成的区块，移动物体的识别符号以区块单位被付与，并且该移动物体的移动向量以区块单位求出的情况下，将时刻t1的图像的区块大小的区域至时刻t2的图像的关注区块的移动向量推测为MV，求出有关大于该区块大小的区域而与该区块大小的区域成为同心的第1区域的图像和与该第1区域相同形状而与该关注区块成为同心的第2区域的图像的相似度的量；将包括有关该相似度的量的评价函数的值，在规定范围内移动该第1区域并对各区域求出，根据该值的大致最佳值，确定该移动向量MV。

根据该构成，通过减小区块大小，不必艰难地确定移动向量便能提高移动物体的边界识别精度。

本发明的又一实施方式中，在处理时序图像而跟踪图像中的移动物体的图像上移动物体跟踪方法中，(a)将各图像分割为由多个像素组成的区块，(b)将背景图像也看作是移动物体的一种，以区块单位付与移动物体的识别符号，并且以区块单位求出该移动物体的移动向量。

根据该构成，无需利用特别的背景图像，且即使摄像机晃动，也可识别背景图像。

本发明的又一实施方式中，在处理时序图像而跟踪图像中的移动物体的图像上移动物体跟踪方法中，各图像被分割成由多个像素组成的区块，将以区块单位求出某一时刻的移动物体的移动向量的目标映象，在相互不同的时刻存储多张，(a)对于该多张目标映象中的1个，求出关注区域的移动向量；(b)只将求出移动向量的该关注区域向正或向负移动后的的区域的移动向量，根据移动后的时刻的目标映象求出；将该移动后的区域作为该移动后的时刻的目标映象上的关注区域，通过反复进行该步骤(b)，跟踪该关注区域。

根据该构成，即使将图像分成区块，以区块单位求出目标的移动向量，也能跟踪与区块边界无关的移动物体的局部(关注区域)。由此，能够例如对关注区域的移动图形进行解析或分类，或判断为特定的移动图形。且可对多个关注区域之间的相对位置的移动图形进行解析或分类，或判断为特定的移动图形。

本发明的其他目的和构成及效果由以下说明会更加明了。

附图说明

图1为表示交差点和配置于此的本发明的第1实施方式的移动物体跟踪装置的概略的图。

图2为图1中的移动物体跟踪装置的功能框图。

图3为表示帧图像内的付与到分别设定在指向交差点的4个入口和出自交差点的4个出口的边缘和区块的移动物体的ID的说明图。

图4(A)和(B)为分别与区块边界线一起表示时刻t1-1和t的图像的示意图。

图5(A)和(B)为分别与区块边界线一起表示时刻t1-1和t的图像的示意图。

图6(A)和(B)为分别与付与到区块的移动向量一起表示时刻t1-1和t的图像的示意图

图7(A)和(B)为分别表示将付与到时刻t1-1和t的目标映象的移动向量和目标边界的示意图。

图8为表示未确定移动向量的推测方法的流程图。

图9(A)和(B)为表示用于说明图8的处理过程的、付与到目标映象的移动向量和目标边界的示意图。

图10(A)～(C)为表示用于说明图8的处理过程的、付与到目标映象的移动向量和目标边界的示意性。

图11为表示本发明的第2实施方式的目标映象形成方法的流程图。

图12(A)和(B)为时空性纹理相关度的说明图。

图13(A)和(B)为空间性ID相关度的说明图。

图14(A)和(B)为时空性移动向量相关度的说明图。

图15为表示本发明的第2实施方式的实验结果的图，(A)和(B)为分别表示交差点上的拍摄图像及其ID的目标映象的图。

图16为表示本发明的第2实施方式的实验结果的图，(A)和(B)为分别表示高速公路上的低角度拍摄图像及其ID的目标映象的图。

图17为表示本发明的第2实施方式的实验结果的图，(A)和(B)为分别表示横行步道上的拍摄图像及该图像与ID的目标映象的ID付与部的网格重叠的图像的图。

图18为表示本发明的第3实施方式的对于是否确定了分割成簇的目标边界进行判断的方法的流程图。

图19(A)～(C)为用于说明图18的处理过程的图。

图20为本发明的第4实施方式的区块匹配说明图，(A)和(B)分别与区块边界线一起表示时刻t-1和t的图像的示意图。

图21(A)和(B)为用于说明本发明的第5实施方式的图，(A)为示意性表示图像的图，(B)为表示在第1阶段求得的移动向量的目标映象的图。

图22(A)和(B)为用于说明该第5实施方式的图，(A)表示在第2阶段求得的移动向量的目标映象的图，(B)为表示ID的目标映象的图。

图23为表示用于说明跟踪关注区域的本发明的第6实施方式的时序目标映象的图。

图24(A)～(C)为随时间跟踪关注区域的方法的说明图。

图25(A)和(B)为本发明的第7实施方式的目标边界识别方法说明图。

图26为表示对于1簇的移动向量的绝对值的直方图的图。

图27为表示本发明的第8实施方式的目标边界识别方法的流程图。

图28为表示由设置于道路中央线上方的摄像机拍摄的时序图像的示意图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。多个对应于图中的相同或类似的构成要素标以相同或类似的符号。

(第1实施方式)

图1为表示交差点和配置于此的本发明的第1实施方式的移动物体跟踪装置的概略的图。

该装置具有：拍摄交差点而输出图像信号的电子摄像机10、和处理该图像而跟踪移动物体的移动物体跟踪装置20。

图2为该移动物体跟踪装置20的功能框图。移动物体跟踪装置20的构成要素中，除了存储部以外，可由计算机软件、专用的硬件、或计算机软件和专用的硬件的组合而构成。

由电子摄像机10拍摄的时序图像例如为12帧/秒的速率储存于图像存储器21，且最早的帧被新帧图像所替换。

图像转换部22，对于图像存储器21内的各帧图像，将其复制到帧缓冲存储器23，并利用被复制的图像的数据，将与图像存储器21内的对应的帧图像转换为空间性差分帧图像。该转换以两阶段进行。

将原来的帧图像的第i行第j列的像素值(灰度值)设为G(i，j)，则第1阶段中的转换后的第i行第j列的像素值H(i，j)可由下式表示。

H(i，j)＝∑_{neighberpixcels}|G(i+di，j+dj)-G(i，j)|    (1)

其中，∑_{neighberpixcels}，将c设为自然数时，表示di＝-c～c和dj＝-c～c的总和，例如，当c＝1时，为与第i行第j列的像素相邻的像素的总和。若改变照度，像素值G(i，j)及其附近的像素值G(i+di，j+dj)同样发生变化，故H(i，j)的图像不随照度的变化而变。

其中，相邻的像素的差分的绝对值在一般像素值越大时而越大。为提高移动物体跟踪的成功率，在像素值较小而差分较小的情况下，优选与像素值和差分较大的情况大致等价地取得边缘信息。因此，可将H(i，j)规定为如下形式。

H(i，j)＝∑_{neighberpixcels}|G(i+di，j+dj)

         -G(i，j)|/(Gi，j，max/Gmax)       (2)

其中，Gi，j，max为用于H(i，j)计算的原来像素值的最大值，例如当c＝1时，为以第i行第j列的像素为中心的3×3像素的最大值，Gmax为像素值G(i，j)所取的最大值，例如当像素值以8位表示时，为255。下面，对于c＝1、Gmax＝255情况进行说明。

H(i，j)可取的最大值，每个移动物体都不同。例如，当G(i，j)＝Gmax而与第i行第j列的像素相邻的8像素的值均为0时，H(i，j)＝8Gmax，从而H(i，j)可由8位表示。

另一方面，若制作移动物体的边缘部的H(i，j)的值的直方图，可知频度的大部分包括在H＝50～110的范围内。即，H的值越比大致110大，用于移动物体跟踪的边缘信息的数量越少，因此重要度降低。

因此，优选通过限制H值较大的部分而缩短转换像素的位长，对图像进行高速处理。因此，在第2阶段，使该H(i，j)通过利用了S形(Sigmoid)函数的下式，转换为I(i，j)。

    I＝Gmax/{1+exp[-β(H-α)]}       (3)

S形函数的线性在H＝α附近良好。因此，将阈值α的值设为具有边缘信息的H的频度分布的最频值，例如为80。

图像转换部22根据上式(2)和(3)，将图像值G(i，j)的图像转换为图像值I(i，j)的空间性差分帧图像，将其储存于图像存储器21。

背景图像生成部24、ID生成/削减部25和移动物体跟踪部27根据图像存储器21中的空间性差分帧图像进行处理。下面，将空间性差分帧图像简单称作帧图像。

背景图像生成部24具有存储部和处理部，处理部对图像存储器21进行存取，对例如过去10分钟的全部帧图像所对应的像素制作像素值的直方图，将其最频值(模式)作为该像素的图像生成为移动物体不存在的背景图像，储存于该存储部。背景图像通过定期进行该处理而更新。

在ID生成/消除部25中预先设定了图3所示的帧图像内的分别配值于指向交差点的4个入口和出自交差点的4个出口的槽EN1～EN4和EX1～EX4的位置及大小的数据。ID生成/消除部25从图像存储器21中读入入口槽EN1～EN4内的图像数据，并通过区块单位判断这些入口槽内是否存在移动物体。图3中的网格的单位为区块，1区块例如为8×8像素，1帧为480×640像素时，1帧被分割为60×80区块。某个区块中是否存在移动物体，通过该区块内的各像素和背景图像所对应的像素之差的总和是否为规定值以上而进行判断。该判断也在移动物体跟踪部中进行。

ID生成/消除部25，在判断为区块内存在移动物体时，向该区块付与新的目标识别符号(ID)。ID生成/消除部25，在判断为与已付与ID的区块相邻的区块中存在移动物体时，向该相邻区块付与和已付与区块相同的ID。该ID已付与区块还包括与入口槽相邻的区块。例如，在图3中的入口槽EN1内的区块中付与ID＝1。

ID的付与对于目标映象(Object map)存储部26内的所对应的区块进行。目标映象存储部26为用于存储上述的情况60×80区块的目标映象(Object map)，在各区块中作为区块信息而被付与了是否付与了ID的标志、付与了ID时为付与了该编号和后述的区块移动向量。另外，也可不利用该标志，在ID＝0时判断为ID未被付与。并且，也可将ID最上位的位作为特征。

对于通过入口槽的簇，通过移动物体跟踪部27，进行对于移动方向的区块ID付与和与移动相反方向的区块的ID削减，即簇的跟踪处理。利用移动物体跟踪部27的跟踪处理在各簇中进行至出口槽内。

ID生成/消除部25还查出是否在根据目标映象存储部26的内容的出口槽EX1～EX4内的区块上付与了ID，若以被付与，当簇通过出口槽时消除该ID。例如，从图3中的出口槽EX1内的区块中付与了ID＝3的状态变化至未付与ID的状态时，消除ID＝3。消除ID可用作下一个生成ID。

移动物体跟踪部27根据储存于目标映象存储部26的时刻(t-1)的目标映象和储存于图像存储器21的时刻(t-1)和t的帧图像，在存储部26内制作时刻t的目标映象。下面，对此进行说明。

图4～图7均示意性表示时刻t-1和t的图像。图4、图6和图7中的虚线为区块的边界线，图5中的虚线为像素的边界线。

第i行第j列的区块表示为B(i，j)，时刻t的第i行第j列的区块表示为B(t：i，j)。设区块B(t-1：1，4)的移动向量为MV。查找与将区块B(t-1：1，4)MV移动的区域最为对应的时刻t的区块。当图4(B)时，该区块为B(t：1，5)。如图5所示，对于规定范围AM内将区域AX每移动1像素时求出区块B(t：1，5)的图像和时刻t-1的区块大小的区域AX的图像的相关度(区块匹配)。

范围AM大于区块，其一边例如为区块的一边的像素数的1.5倍。范围AM的中心为将区块B(t：1，5)的中心大致MV移动后的位置的像素。

相关度为例如时空性纹理(texture)相关度，且区块B(t：1，5)和区域AX对应的像素值之差的绝对值的总和的评价值UD越小，则越大。

求出在范围AM内相关度成为最大的区域AX，并将该区域的中心为始点且以区块B(1，5)的中心为中点的向量确定为区块B(t：1，5)的移动向量。并且，将与相关度成为最大的区域AX最接近的时刻t-1的区块的ID确定为区块B(t：1，5)的ID。

移动物体跟踪部27向相邻的区块的移动向量之差的绝对值为规定值以下的区块付与相同的ID。由此，即使通过1簇，也能分割为具有互不相同的ID的多个目标(移动物体)。在图6中，以粗线表示目标间的边界。

在目标映象中虽然不存在移动物体的图像，但在图6中为便于理解，在目标映象中示意性地示出了移动物体。图7为在目标映象上以粗线表示了目标的边界的图，并于图6对应。

例如，通过图3的入口槽EN1检测1簇，不分割为多个目标，然后，如上所述地在时刻t1分割为多个目标时，从时刻t1随时间，通过与时间为正向的情况相同地求出目标映象，将靠前于时刻t1的目标映象分割成多个目标。由此，可对无法分割的目标进行分割而进行识别，可以跟踪各个目标。

在专利文献1中1簇分成多个簇后随时间跟踪各个目标，但根据本实施方式，在分成多个簇之前，例如从图28的比t＝4靠前的t＝2，可随时间跟踪各个目标，因此可降低图像存储器21的存储容量，且减少图像处理量而减轻CPU的负担。

在上述说明中，对于可求出簇内的区块的移动向量的情况进行了说明，但如图9(A)所述，存在无法求得移动向量的区块时，根据其位置难以断定该区块属于哪个目标。当属于某移动物体的区块内的各像素的颜色大致相同时，无法由上述的区块匹配法确定移动向量。例如，将图像(空间性差分帧图像)转换为二进制图像，若在区块内‘1’的像素的数为规定值以下，便判断为不适合用上述方法求出移动向量的区块。

通过图8所示的方法推测这种区块的移动向量。

(S1)若存在未确定的移动向量便进入步骤S2，否则便结束未确定移动向量推测处理。

(S2)在未确定移动向量的区块B(i，j)周围的8个区块中取出已被确定的移动向量MV1～MVn。

(S3)若存在由步骤S2已确定的移动向量，便进入步骤S4，否则进入步骤S6。

(S4)将移动向量MV1～MVn分成向量之间的差的绝对值为规定值以内的组。

(S5)将移动向量数最大的组的移动向量的平均值推测为区块B(i，j)的移动向量。当存在多个移动向量数最大的组时，将任1个组的移动向量的平均值推测为区块B(i，j)的移动向量。接着进入步骤S1。

另外，相同组的移动向量相互大致相等，因此也可将该相同组的移动向量的任1个推测为区块B(i，j)的移动向量。

(S6)将由步骤S5推测的移动向量看作已被确定的移动向量，返回步骤S1。

根据这种处理，可唯一地推测未确定移动向量。

接着，说明具体例。在图9(A)中，将第i行第j列的区块B(i，j)的移动向量表示为MV(i，j)。在图9(A)中，未确定区块B(2，2)、B(2，4)和B(3，3)的移动向量。

区块B(2，2)周围的区块的移动向量被分成MV(2，1)、MV(3，1)、MV(3，2)以及MV(2，3)组；和MV(1，2)以及MV(1，3)的组，因此选择前组，可推测为，

MV(2，2)＝(MV(2，1)+MV(3，1)+MV(3，2)+MV(2，3))/4。

区块B(2，4)周围的区块的移动向量被分成MV(2，3)、MV(3，4)、以及MV(3，5)组；和MV(1，3)、MV(1，4)、MV(1，5)以及MV(2，5)的组，因此选择后组，可推测为，

MV(2，4)＝(MV(1，3)+MV(1，4)+MV(1，5)+MV(2，5))/4。

区块B(3，3)周围的区块的移动向量为MV(2，3)、MV(3，2)、MV(4，2)、MV(4，4)以及MV(3，4)的1组，因此可推测为，

MV(3，3)＝(MV(2，3)+MV(3，2)+MV(4，2)+MV(4，4)+MV(3，4))/5。

就这样，生成如图9(B)所示的目标映象。在图9(B)中以粗线表示了目标的边界。

如图10(A)所示地未确定移动向量的数量较多时，到步骤S3进行否定判断之前，反复进行步骤S1～S5，则也可唯一地推测移动向量而成为图10(B)所示的状态。接着，将由步骤S6推测的移动向量看作是以被确定的移动向量，通过再次进行步骤S1～S5，唯一地推测区块B(3，4)的移动向量，成为图10(C)的状态。接着，通过向相邻的区块的移动向量的差的绝对值为规定值以下的区块付与相同的ID，使1簇分割为具有相互不同的ID的多个目标。

另外，移动物体跟踪部27将储存于目标映象26的目标映象的时序作为跟踪结果储存到未图示的硬盘中。

(第2实施方式)

在上述第1实施方式中，由于仅根据其周围的区块的移动向量确定了未确定移动向量，因此当未确定移动向量较多时，这些区块的ID和移动向量的确定精度变低。

为提高该精度，在本发明的第2实施方式中，根据后述的评价函数的值，同时确定全部区块的ID和移动向量。在该第2实施方式中也与上述第1实施方式一样，图2的移动物体跟踪部27，根据储存于目标映象存储部26的时刻(t-1)的目标映象和储存于图像存储器21的时刻(t-1)及t的帧图像，将时刻t的目标映象形成于存储部26内。

首先，对于包括移动物体的局部的任意的区块B(t：i，j)的评价函数U(i，j)进行说明。评价函数U(i，j)可表示为如下式的4个辅助评价函数的一阶结合。

U(i，j)＝aUD+bUM+cUN+fUV    (1)

其中，a～c和f为常数，由试行错误决定。

下面，将1区块设为m×m像素，并以G(t：g，h)表示时刻t的图像的第g行第h列的像素的值，以(MVX，MVY)表示区块B(t：i，j)的推测动态像量MV。且设i≥0、j≥0。

(1)表示时空性纹理相关度的辅助评价函数UD

辅助评价函数UD表示时空性纹理相关度，并与上述第1实施方式中说明相同，可由下式表示。

UD(i，j，MV)＝∑|G(t：mi+x，mj+y)-

            G(t-1：mi+x-MVX，mj+y-MVY)|     (2)

其中，∑为表示x＝0～m-1和y＝0～m-1的总和。

在图12中，虚线为区块边界线，打斜线的部分表示移动物体。图12(B)为表示关注区块B(t：1，2)的推测移动向量为MV的情况，图12(A)为表示将区块B(t-1：1，2)移动-MV的区域AX。在这种情况下，算出区块B(t：1，2)的图像和区域AX的图像的评价函数UD(1，2，MV)。MV发生变化时UD的值发生变化，且UD的值越小，区块B(t：1，2)的图像和区域AX的图像之间的纹理相关度越大。UD为最小值时的MV为最准确的移动向量。移动物体的速度没有限制，因此从关注区块B(t：1，2)的中心至规定范围内例如上下±25像素、左右±25像素的范围内，移动区域AX而求出UD的最小值。该规定范围也可以，如第1实施方式所述，利用时刻t-1的移动向量进行预测的范围AM。

(2)表示时空性ID相关度的辅助评价函数UM

图13(A)和(B)分别对应于图12(A)和(B)，且打斜线的部分表示判断为存在移动物体的区块。

当推测为关注区块B(t：1，2)的ID为ID1时，将包括于上述区域AX内的ID＝ID1的像素数设为M。在图13(A)时，区域AX内的打斜线的部分的像素数为M。但是，关注区块B(t：1，2)的推测ID与区域AX内的ID全部不同时，成为M＝0。M的最大值为m²。

辅助评价函数UM表示时空性ID相关度，由下式表示。

UM(i，j，MV)＝(M-m²)²    (3)

UM的值越小，时间性ID相关度越高。

从关注区块B(t：i，j)的中心在上述规定范围内移动区域AX求出aUD+bUM的最小值，由此，可同时确定关注区块的ID和MV。

(3)表示空间性ID相关度的辅助评价函数UN

在图13(B)中，推测为关注区块B(t：1，2)的ID为ID1时，将关注区块周围的8个区块B(t：0，1)、B(t：0，2)、B(t：0，3)、B(t：1，3)、B(t：2，3)、B(t：2，2)、B(t：2，1)、和B(t：1，1)中ID为ID1的区块的个数设为N。当图13(B)的打斜线的部分的ID全部相同时，关注区块B(t：1，2)的N的值为5。

辅助评价函数UN表示空间性ID相关度，由下式表示。

UN(i，j)＝(N-8)²     (4)

UN的值越小，空间性ID相关度越高。

(4)表示空间性MV相关度的辅助评价函数UV

从关注区块B(t：i，j)的中心在上述规定范围内移动区域AX而求出aUD+bUM+cUN的最小值，由此，可同时确定关注区块的ID和MV。

然而，移动了区域AX时，存在多个与关注区块相同纹理的区域的情况下，移动向量MV无法确定。该移动向量MV可推测为大致与关注区块附近且相同ID的区块的移动向量MV相同。因此，定义了表示空间性MV相关度的如下的辅助评价函数UV。

UV(i，j)＝∑|MV-MVneigher|/L       (5)

其中，MV为上述(1)式中所述的关注区块B(t：i，j)的推测移动向量，MVneigher为关注区块B(t：i，j)周围的8个区块中具有与关注区块B(t：i，j)的推测ID相同ID的区块的移动向量，∑表示具有该相同ID的区块的总和，L为具有该相同ID的区块的个数。

在图14(A)的情况下，若打斜线的区块为相同ID，为

UV(1，2)＝(|MV-MV1|+|MV-MV2|+|MV-MV3|

          +|MV-MV4|+|MV-MV5|)/5。

当时刻t-1的上述区域AX为图14(B)的情况时，UV(1，2)的值变大，推测移动向量MV的准确程度较小。UV的值越小，空间性MV相关度越高。

从关注区块B(t：i，j)的中心在上述规定范围内移动区域AX即改变MV，从而可同时确定关注区块的ID和MV，使上式(1)的评价函数U成为最小值。

另外，MVneigher可以为关注区块B(t：i，j)周围的区块，例如也可以为上下左右4个区块、关注区块B(t：i，j)周围(1周)的8个区块中任意的1个区块或关注区块B(t：i，j)周围(2周)的24个区块中，具有与关注区块B(t：i，j)的推测ID相同ID的区块的移动向量。并且，MVneigher还可由时刻t-1所对应的移动向量近似。即，若将关注区块B(t：i，j)-MV移动的区域的中心所属的区块设成B(t-1：p，q)，则可以为区块B(t-1：p，q)附近的区块中具有与关注区块B(t：i，j)的推测ID相同ID的区块的移动向量。

辅助评价函数UN和UV均与时刻t的空间性相关度有关，因此通过求出全部区块的评价函数U的总和的最小值，同时确定时刻t的全部区块的ID和MV较为理想。实际上，为了缩短处理时间而能够进行实时处理，根据图11所示的近似法确定ID和MV。

(S11)对于在时刻t包括了移动物体的局部的各区块，求出使上式(2)的评价函数UD的值成为最小的移动向量MV。但是，对于不适合求出上述移动向量的区块，则不求移动向量MV。接着，对于适合求出移动向量的各区块，求出使上式(5)的评价函数UV的值成为最小的移动向量MV。在这种情况下，也可通过添加图18的步骤S1～S3和S6的处理，唯一地确定移动向量MV。

(S12)对于具有移动向量MV的各区块，确定ID使上式(3)的评价函数UM成为最小。该移动向量MV由步骤S11求出，且为固定值。对于在时刻t-1未付与ID的最初的图像，向相邻的区块的移动向量MV的差为规定值以内的区块付与相同ID。

(S13)求出ID和MV所求得的各区块的评价函数U的值的总和UT。

(S14)为求出使总和UT更小的ID和MV的分布，改变该分布。

(S15)若判断为反复进行规定次数的步骤S13和S14，或判断为总和UT收敛，则结束处理，否则返回步骤S15。

就这样，可实时地求出使总和UT大致成为最小的ID和MV的分布。

例如，在步骤S16中，若将1个区块的MV在规定范围内偏离1像素或改变1个区块的ID，且回到步骤S15使总和UT大于前值，而在步骤S16中，使改变的MV或ID恢复成原来的值而变小，则对于下一个区块也进行相同的改变。该规定范围例如对于上下左右各个为+4像素。

此外，改变1个区块的MV或ID，其影响也不涉及全部区块的评价函数，因此也可不求总和UT，使全部区块中受影响的区块的评价函数U的值的总和UTportion大致成为最小。在这种情况下，暂时存储各区块的评价函数U的值，并通过将其前次的值和此次的值进行比较，可判断有无影响。

进而，也可取代进行步骤S13～S15的反复处理，预先推测使总和UT变小的处理，通过该处理计算总和UT或UTportion，若该值小于处理前，则采用其目标映象，否则采用处理前的目标映象。该推测处理例如为基于上式(5)的移动向量的空间性平均化。即，通过将式(5)中的MV成为MV＝∑MVneigher/L，可使式(5)的值成为最小，因此利用已求出的MVneigher，使MV成为MV＝∑MVneigher/L。

此外，在步骤S11中，也可不求出不适于求出移动向量的区块的移动向量，而通过步骤S13～S15的处理或代替该处理的前述处理，确定不适于求出移动向量的区块的移动向量。

接着，说明第2实施方式的实验结果。

常数a～c和f因试行错误而被确定为，a＝32/1000000、b＝1/256、c＝1/2、f＝1/4。并且，取代进行步骤S13～S15的反复处理，进行上述移动向量的空间性平均化处理。

图15(A)和(B)分别表示交差点上的拍摄图像及其ID的目标映象。图中的粗线表示包括了相同ID的矩形(以下相同)。

图16(A)和(B)分别表示高速公路上的低角度拍摄图像及其ID的目标映象。

图17(A)和(B)分别表示横行步道上的拍摄图像及将其与ID的目标映象的ID付与部的网格重叠的图像。

图16(A)和图17(B)中的矩形所付与的编号为目标的ID。

可以跟踪这种复杂重叠的移动物体。

(第3实施方式)

如图10(C)所示，在目标边界两侧推测的移动向量的个数较多，且边界两侧的移动向量的差的绝对值较小时，目标边界的精度变差。在这种情况下，随时间而跟踪目标，则跟踪精度也变差。

通过将对于相邻的区块的移动向量MV的差在规定值以内的区块付与相同ID的规则中的该规定值增大，可解决这类问题，但在这种情况下，随时间的跟踪处理的开始时点延迟。

因此，在本发明的第3实施方式中，为解决这些问题，通过进行图18所示的方法，确定了随时间的跟踪处理的开始时点。在该方法中，对于连续的N图像、例如3图像，在时间上相邻的图像中的相同目标间的相关度(目标的时空性相关度)为规定值以上时，判断为目标边界的可靠性高。

例如假设图19(A)所示的时刻t-1的目标映象已被制作。

(S21)向计数器CNT中代入初始值0。

(S22)将时刻t的目标映象以上述第1实施方式所述的方法形成。图19(B)表示时刻t的目标映象。

(S23)当在1簇中包括多个目标时，进入步骤S24，否则，进入步骤S27。

(S24)对于时刻t-1和t的目标映象，求出目标的时空性相关度。

例如，求出将图19(A)的一个目标OBJ1(t-1)移动该目标的平均移动向量的量的图形和将图19(B)的该一个所对应的目标OBJ1(t)的图形的图形逻辑积(图19(C)中打斜线的图形)的面积A1，并求出目标OBJ1(t-1)的图形的面积A0，从而将其比A1/A0作为相关度求出。面积A0也可为目标OBJ1(t)的图形的面积A0。

(S25)若A1/A0为规定值r0以上，便进入步骤S26，否则进入步骤S27。

(S26)对计数器CNT加1，进入步骤S28。

(S27)将计数器CNT清零。

(S28)若CNT＜N-1，则进入步骤S29，否则进入步骤S30。

(S29)将下一时刻t+1设成t，返回步骤S21。

(S30)判断为目标的时空性相关度高，从时间t跟踪目标。

(第4实施方式)

图20为本发明的第4实施方式的目标映象说明图。

若减小区块大小，目标的边界精度就提高。但是，越减小区块大小，就越难由区块匹配确定移动向量。

为解决这种问题，在本发明的第4实施方式中，使得用于确定付与ID和移动向量MV的各区块B(i，j)的移动向量的区块B’(i，j)的大小大于区块B(i，j)的大小。区块B’(i，j)与区块区块B(i，j)同心，且在区块B’(i，j)内包括了区块B(i，j)。

例如在图20中，区块B’(t：3，10)用于求出B(t：3，10)的移动向量。与图5的情况相同，在规定范围AM内，区域AX每移动1像素时，求出B’(t：3，10)的图像和时刻t-1的区块大小的区域AX的图像的纹理相关度。

其它方面与上述第1、第2或第3实施方式相同。

(第5实施方式)

在上述实施方式中，通过以区块单位与背景图像进行比较，可查出是否存在目标，因此必须特别采集背景图像。并且，例如根据过去10分钟的拍摄图像生成背景图像，因此当摄像机晃动时，无法将该晃动情况反映到背景图像上。

因此，在本发明的第5实施方式中，为了解决这种问题，将背景图像也看作目标来形成目标映象。目标映象生成方法除了与背景图像进行比较而判断在区块中是否存在移动物体的方面以外，与上述第1、第2或第3实施方式相同。且因背景图像也看作目标，故通过对于全部的区块进行区块匹配，付与ID，且确定MV。

接着，参照图21和图22，对于通过图11的处理形成时刻t的目标映象的过程的概略进行说明。

(S11)在时刻t对于各区块，求出使上式(2)的评价函数UD的值成为最小的移动向量MV。但是，对于不适于求出上述的移动向量的区块，则不求出移动向量MV。

对于图21(A)所示的图像，通过进行该处理，得出图21(B)所示的移动向量的目标映象。在图21(B)中，虚线为区块的边界线，点表示移动向量为0。

接着，对不适于求出移动向量的各区块，求出使上式(5)的评价函数UV的值成为最小的移动向量MV。由此，得出图22(A)所示的移动向量的目标映象。

步骤S12～S15的处理与第2实施方式相同。

通过步骤S12的处理，得出如图22(B)所示的ID的目标映象。

由此，无需利用特别的背景图像，且即使摄像机晃动，也可识别背景图像。并且，无需在图像上设置入口槽。进而，通过消除从图像的边框得出的目标的ID，也可不利用出口槽。

(第6实施方式)

在以上的实施方式中，将图像分割为区块，以区块单为确定目标的ID和MV，因此无法跟踪与区块的边界无关的移动物体的局部例如区块大小的区域。

在本发明的第6实施方式中，将图像分割为区块，以区块单为确定目标的ID和MV，并且跟踪与区块的边界无关的移动物体的局部。

在图2的目标映象存储部26，如图23所示，储存有对应于时刻t～t-5的时序图像的目标映象OM(t)～OM(t-5)。

在下一时刻，成为t→t-1，即目标映象OM(t)～OM(t-5)分别成为OM(t-1)～OM(t-6)。并且，最早的目标映象OM(t-6)更新为新的目标映象OM(t)。

在图2的移动物体跟踪部27中，移动物体的局部的跟踪由以下形式进行。

如图24(A)所示，设目标映象OM(t)上的关注区域A(t)的移动向量为MV。图24(A)中的虚线为区块的边界，在该例中，关注区域A(t)与1个区块一致。

如图24(B)所示，求出将关注区域A(t)-MV移动(t)的区域所对应的目标映象OM(t-1)的关注区域A(t-1)。

根据如下的叠加平均法求出关注区域A(t-1)的移动向量MV(t-1)。

MV(t-1)＝(MV1·S1+MV2·S2+MV3·S3+

         MV4·S4)/(S1+S2+S3+S4)

其中，MV1～MV4为与关注区域A(t-1)重叠的第1～4区块的移动向量，S1～S4为与关注区域A(t-1)重叠的第1～4区块的重叠部分像素数。

如图24(C)所示，求出将关注区域A(t-1)-MV(t-1)移动的区域所对应的目标映象OM(t-2)的关注区域A(t-2)。

与上述同样的方法求出关注区域A(t-2)的移动向量MV(t-2)。

通过反复进行这种关注区域的移动和移动后的关注区域的移动向量计算的处理，可与区块边界无关地跟踪关注区域。即，对于时刻t关注区域A(t)，可以求出时刻t-1～t-5的关注区域A(t-1)～A(t-5)。

根据本发明的第6实施方式，可跟踪作为移动物体的局部的关注区域，例如可以对关注区域的移动图形进行解析或分类，或者判断为特定的移动图形。并且，可对多个关注区域的移动图形进行解析或分类，或者判断为特定的移动图形。

在上述例中，对于时刻t的关注区域与1个区块一致的情况进行了说明，但也可如图24(B)所示，关注区域与1个区块不一致。这种情况下的关注区域的移动向量如上所述地由叠加平均法求出。

此外，在上述的例中，也可对于随时间跟踪关注区域的情况进行了说明，但从目标映象OM(t-5)上的关注区域A(t-5)出发向移动向量的正向移动关注区域，由此，跟踪关注区域。在这种情况下，通过在每求得新的目标映象OM(t)时求出关注区域A(t)，可跟踪关注区域。

进而，关注区域也可大于或小于区块大小。

(第7实施方式)

接着，将在目标边界识别上利用了上述第6实施方式的方法的例子作为第7实施方式而进行说明。

在图25(A)中，设目标映象OM(t)上的相邻的关注区域Ai(t)和Aj(t)的移动向量分别为MVi(t)和MVj(t)。即使区域Ai(t)和Aj(t)为互不相同的移动物体的局部，在|MVi(t)-MVj(t)|较小时，也无法将两者识别为不同的移动物体。特别是感觉距摄像机较远的多个移动物体相互重叠时，产生这种问题。

因此，通过上述第6实施方式的方法，确定目标映象OM(t-5)上的相邻的关注区域Ai(t-5)和Aj(t-5)。作为较早发出的移动向量MVi(t-5，t)求出区域Ai(t-5)的中心至Ai(t)的中心的移动向量。同样，作为较早发出的移动向量MVj(t-5，t)求出区域Aj(t-5)的中心至Aj(t)的中心的移动向量。并且，若|MVi(t-5，t)-MVj(t-5，t)|的值超过规定值ε，可识别为关注区域Ai(t)和Aj(t)的边界为互不相同的移动物体的边界。

通过将这种处理适用到目标映象OM(t)上的1簇内的全部相邻的区块，可分割识别包括在该簇内的多个移动物体。

在上述例子中，对于|MVi(t-k，t)-MVj(t-k，t)|的k为5的情况进行了说明，但优选看似重叠的移动物体间的图像上的相对速度越小使k的值越大的方法。

因此，对于1个簇，制作图26所示的移动向量的绝对值的直方图。存在多个波峰时，可推测为在该簇中包括有多个移动物体。对于波峰间的距离ΔV，将k值确定为，

k＝[αΔV]。

其中，α为由试行错误而定的常数，[]表示通过四舍五入的整数化。

(第8实施方式)

图27为表示本发明的第8实施方式的移动体边界识别方法的流程图。

在该方法中，未制作上述直方图，而对图25(A)的2个关注区域，如下地将k的值由0改变至最大值kmax。Kmax例如在10帧/秒时为5。

(S31)将初始值0代入k。

(S32)若|MVi(t-k，t)-MVj(t-k，t)|＞ε，则进入步骤S33，否则进入步骤S34。

(S33)识别为关注区域Ai(t)和Aj(t)的边界为互不相同的移动物体的边界。

(S34)对k值加1。

(S35)若k＞kmax，便进入步骤S36，否则返回步骤S32。

(S36)识别为关注区域Ai(t)和Aj(t)属于相同移动物体。

其它方面与上述第7实施方式相同。

根据该第8实施方式，不制作上述直方图而自动地确定k值。

另外，本发明除此以外也包括各种变形例。

例如，在上述实施方式中对于处理空间性差分图像而跟踪移动物体的情况进行了说明，但本发明还可以为处理各种边缘图像和原始图像而跟踪移动物体(包括移动物体的局部)的构成。