运动物体检测装置、运动物体检测方法、运动物体检测程序、运动物体跟踪装置、运动物体跟踪方法以及运动物体跟踪程序

摘要

采用图像检测运动物体的运动物体检测装置(1)，具备：取得图像帧间的像素的运动度的运动度取得部(11)；取得上述图像帧所包含的像素的颜色的颜色取得部(13)；按上述颜色取得部所取得的颜色根据上述运动度来计算表示颜色的运动程度的评价得分的评价得分计算部(14)；以及根据每一颜色的上述评价得分来检测上述运动物体的运动物体检测部(15)。

说明书

技术领域

本发明涉及运动物体检测装置、运动物体检测方法以及运动物体检测程序和运动 物体跟踪装置、运动物体跟踪方法以及运动物体跟踪程序。

背景技术

目前公知有采用图像来检测运动物体的装置或采用图像来跟踪运动物体的装置 (例如，参照专利文献1、2)。专利文献1记载的装置将图像帧分割为多个小块， 将每个小块的运动矢量的累计值的最小值定义为背景运动矢量，并从原图像帧中减 去，由此来分离背景，检测运动物体。专利文献2记载的装置按种类来预先设定运动 物体的颜色，在图像的对象区域内求出运动物体颜色的含有率以及方差，在含有率以 及方差满足规定条件的情况下，判定为存在与所设定颜色对应的种类的运动物体。另 外，专利文献2记载的装置预先估计背景颜色的分布，根据与背景颜色的差异来检测 异颜色图像组，采用该异颜色图像组来进行移动体的场所确定。

现有技术文献

专利文献

【专利文献1】日本特开2003-319387号公报

【专利文献2】日本特开2007-213264号公报

发明内容

发明要解决的课题

但是，在专利文献1记载的装置中，当背景杂乱运动时难以区别背景的运动与运 动物体的运动。因此，运动物体的检测有可能不稳定。另外，在专利文献2记载的装 置中，因为需要预先确定运动物体的颜色，预先估计背景颜色的分布，所以当产生照 明变化或服装变化等环境变化时，有可能无法检测运动物体。

因此，本发明是为了解决这样的技术课题而作出的，其目的是提供不用事先设定 与运动物体或背景相关的信息就能够稳定地检测运动物体的运动物体检测装置、运动 物体检测方法以及运动物体检测程序和运动物体跟踪装置、运动物体跟踪方法以及运 动物体跟踪程序。

用于解决课题的手段

即，本发明的运动物体检测装置采用图像来检测运动物体，其构成为具备运动度 取得部，其取得图像帧之间的像素的运动度；颜色取得部，其取得上述图像帧所包含 的像素的颜色；评价得分计算部，其按上述颜色取得部所取得的颜色，根据上述运动 度来计算表示颜色的运动程度的评价得分；以及运动物体检测部，其根据每一颜色的 上述评价得分来检测上述运动物体。

在本发明的运动物体检测装置中，利用运动度取得部来取得图像帧间的像素的运 动度，利用颜色取得部来取得图像帧所包含的像素的颜色，利用评价得分计算部根据 运动度按颜色来计算表示颜色的运动程度的评价得分，利用运动物体检测部根据每一 颜色的评价得分来检测运动物体。这样，可通过评价颜色的运动程度来检测运动物体。 因此，不用事先设定与运动物体或背景相关的信息就能够检测运动物体。另外，无需 采用运动矢量来分离运动物体和背景就能够检测运动物体，所以可稳定地检测运动物 体。

这里，上述评价得分计算部可按颜色来累积上述图像帧内的像素数以及该像素的 运动度，并根据上述图像帧内的累积像素数以及累积运动度来计算该颜色的上述评价 得分。通过这样的结构，可提高每一颜色的评价得分的精度。

另外，上述评价得分计算部可按颜色累积像素的位置信息，上述运动物体检测部 根据每一颜色的上述累积像素数以及累积位置信息来确定上述运动物体的位置。通过 这样的结构，可提高运动物体的位置的精度。

另外，本发明的运动物体检测方法，采用图像来检测运动物体，该运动物体检测 方法的特征是具有以下的步骤：取得步骤，取得第1图像帧与上述第1图像帧之后输 入的第2图像帧之间的像素的运动度以及上述第2图像帧所包含的像素的颜色；评价 得分计算步骤，按上述取得步骤所取得的颜色，根据上述运动度来计算表示颜色的运 动程度的评价得分；以及运动物体检测步骤，根据每一颜色的上述评价得分来检测在 上述第2图像帧内描绘出的上述运动物体。

根据本发明的运动物体检测方法，得到与上述本发明的运动物体检测装置同样的 效果。

另外，本发明的运动物体检测程序使计算机发挥功能以采用图像来检测运动物 体，其特征在于，该运动物体检测程序使计算机发挥以下部件的功能：运动度取得部， 其取得图像帧之间的像素的运动度；颜色取得部，其取得上述图像帧所包含的像素的 颜色；评价得分计算部，其按上述颜色取得部所取得的颜色，根据上述运动度来计算 表示颜色的运动程度的评价得分；以及运动物体检测部，其根据每一颜色的上述评价 得分来检测上述运动物体。

根据本发明的运动物体检测程序，得到与上述本发明的运动物体检测装置同样的 效果。

另外，本发明的运动物体跟踪装置采用图像来跟踪运动物体，该运动物体跟踪装 置的特征是具备：运动度取得部，其取得图像帧之间的像素的运动度；颜色取得部， 其取得上述图像帧所包含的像素的颜色；评价得分计算部，其按上述颜色取得部所取 得的颜色，根据上述运动度来计算表示颜色的运动程度的评价得分；运动物体检测部， 其根据像素的颜色以及每一颜色的评价得分，生成将上述评价得分作为像素值的第1 似然度图像来检测上述运动物体；以及运动物体跟踪部，其跟踪所检测的上述运动物 体。

在本发明的运动物体跟踪装置中，利用运动度取得部来取得图像帧间的像素的运 动度，利用颜色取得部来取得图像帧所包含的像素的颜色，利用评价得分计算部根据 运动度按颜色来计算表示颜色的运动程度的评价得分，利用运动物体检测部，根据像 素的颜色以及每一颜色的评价得分，生成将评价得分作为像素值的第1似然度图像来 检测运动物体，利用运动物体跟踪部跟踪所检测出的上述运动物体。这样，通过评价 颜色的运动程度来检测运动物体。并且，根据所检测出的运动物体的颜色来跟踪运动 物体。因此，不用事先设定与运动物体或背景相关的信息就能够跟踪运动物体。另外， 无需采用运动矢量来分离运动物体和背景就能够跟踪运动物体，所以可稳定地跟踪运 动物体。

这里，上述运动度取得部将上述图像帧分割为规定的块，并根据块单位的运动来 计算上述图像帧整体的运动，从上述图像帧所包含的像素的运动减去上述图像帧整体 的运动来计算运动度。通过这样的结构，可从与整体运动的差分中取得局部的运动。

另外，上述运动物体跟踪部可根据上述运动物体检测部所检测出的上述运动物体 的颜色来跟踪上述运动物体。通过这样的结构，可将所检测出的运动物体的颜色作为 基准进行跟踪。

另外，上述运动物体跟踪部可根据上述评价得分来确定上述运动物体的代表颜 色，根据所确定的代表颜色来跟踪上述运动物体。在此情况下，上述运动物体跟踪部 可根据与上述运动物体的代表颜色的颜色类似度按颜色计算似然度，作成将像素的似 然度作为像素值的第2似然度图像来跟踪上述运动物体。这样通过采用第2似然度图 像，可高精度地区别与运动物体的代表颜色相同或类似的颜色和其它颜色。

另外，上述评价得分计算部可按颜色计算对运动度是规定值以上的像素数进行累 积而得到的前景像素数以及对运动度不是规定值以上的像素数进行累积而得到的背 景像素数，上述运动物体跟踪部针对上述前景像素数小于上述背景像素数的颜色减小 似然度。通过这样的结构，可避免在与运动物体的颜色接近的颜色中将运动少的背景 等作为运动物体进行跟踪。

另外，上述运动物体跟踪部在将上次运动物体的位置作为基准的像素的相对位置 矢量与像素的运动矢量的内积为负的情况下，可减小该像素中的似然度。通过这样的 结构，可避免将以与运动物体的颜色接近的颜色运动的不同的背景等作为运动物体进 行跟踪。

另外，上述运动物体跟踪部可将小于上述第2似然度图像的区域作为跟踪矩形， 并使该跟踪矩形移动，使得上述第2似然度图像的上述跟踪矩形内的像素值的分布重 心为上述跟踪矩形的中心，由此来跟踪上述运动物体。通过这样的结构，可利用简易 的结构来适当跟踪运动物体。

另外，上述运动物体跟踪部采用背景似然度图像与上述图像帧的上述第2似然度 图像的差分图像来跟踪上述运动物体，上述背景似然度图像根据上次输入的上述图像 帧的上述第2似然度图像以及上述跟踪矩形而作成。通过这样的结构，可避免将与运 动物体的颜色接近的颜色背景等作为运动物体进行跟踪。

另外，本发明的运动物体跟踪方法采用图像来跟踪运动物体，其特征是具有以下 的步骤：取得步骤，取得图像帧间的像素的运动度以及上述图像帧所包含的像素的颜 色；评价得分计算步骤，按上述取得步骤所取得的颜色，根据上述运动度来计算表示 颜色的运动程度的评价得分；运动物体检测步骤，根据像素的颜色以及每一颜色的评 价得分，生成将上述评价得分作为像素值的第1似然度图像来检测上述运动物体；以 及运动物体跟踪步骤，跟踪所检测到的上述运动物体。

根据本发明的运动物体跟踪方法，可得到与上述本发明的运动物体跟踪装置同样 的效果。

另外，本发明的运动物体跟踪程序使计算机发挥功能以采用图像来检测运动物 体，其特征在于，该运动物体跟踪程序使计算机发挥以下部件的功能：运动度取得部， 其取得图像帧之间的像素的运动度；颜色取得部，其取得上述图像帧所包含的像素的 颜色；评价得分计算部，其按上述颜色取得部所取得的颜色，根据上述运动度来计算 表示颜色的运动程度的评价得分；运动物体检测部，其根据像素的颜色以及每一颜色 的评价得分，生成将上述评价得分作为像素值的第1似然度图像来检测上述运动物 体；以及运动物体跟踪部，其跟踪所检测出的上述运动物体。

根据本发明的运动物体跟踪程序，可得到与上述本发明的运动物体跟踪装置同样 的效果。

发明效果

根据本发明，不用事先设定与运动物体或背景相关的信息就能够稳定地检测运动 物体。

附图说明

图1是搭载有第1实施方式的运动物体检测装置的设备的功能框图。

图2是图1所示的设备的硬件结构图。

图3是说明图1所示的运动物体检测装置的整体动作的流程图。

图4是说明图1所示的运动物体检测装置的检测区域设定动作的流程图。

图5是说明检测区域的一例的概要图。

图6是说明图1所示的运动物体检测装置的手检测动作的流程图。

图7是说明图1所示的运动物体检测装置的手检测动作的流程图。

图8是示出对于检测区域的像素中的颜色ID的度数的直方图的一例。(A)是 累积出现数，(B)是累积位置信息(x座标)，(C)是累积位置信息(y座标)， (D)是累积运动量(x方向)，(E)是累积运动量(y方向)。

图9(A)是示出对于本次图像帧中的颜色ID的评价得分的直方图的一例。(B) 是示出对于颜色ID的累积评价得分的直方图。

图10是说明评价得分的概要图。

图11是搭载有第2实施方式的运动物体检测装置的设备的功能框图。

图12是说明图11所示的运动物体检测装置的运动物体检测动作的流程图。

图13是说明运动度取得处理的概要图。

图14是说明第1似然度图像的概要图。

图15是说明运动物体检测区域的概要图。

图16是搭载有第3实施方式的运动物体跟踪装置的设备的功能框图。

图17是说明图16所示的运动物体跟踪装置的整体动作的流程图。

图18是说明图16所示的运动物体跟踪装置的初始化动作的流程图。

图19是示出对于颜色ID的度数的跟踪用似然度直方图的一例。(A)示出颜色 类似的似然度，(B)示出检测时的评价得分，(C)示出前景度以及背景度，(D) 示出最终的似然度。

图20是说明图16所示的运动物体跟踪装置的似然度计算动作的流程图。

图21是说明运动物体跟踪中的已采用光流的似然度计算的概要图。

图22是第2似然度图像的一例。

图23是说明图16所示的运动物体跟踪装置的跟踪动作的流程图。

图24是说明跟踪动作的概要图。

图25是说明图16所示的运动物体跟踪装置的背景似然度计算动作的流程图。

图26是说明背景似然度计算动作的概要图。(A)是上次图像帧的第2似然度 图像，(B)是背景似然度图像，(C)是本次图像帧的第2似然度图像，(D)是考 虑背景的似然度图像。

具体实施方式

以下，参照附图来说明本发明的实施方式。此外，在各个图中对相同或相当的部 分标注同一符号，并省略重复的说明。

(第1实施方式)

本实施方式的运动物体检测装置是采用图像来检测运动物体的装置。本实施方式 的运动物体检测装置例如适用于在识别手的运动的手势识别装置或检测侵入者的监 视照相机等检测动态物体的装置。以下，考虑说明理解的容易性，作为本发明的运动 物体检测装置的一例，说明检测运动的手的手检测装置。

图1是具有本实施方式的手检测装置(运动物体检测装置)1的装置2的功能框 图。图1所示的装置2例如是数码相机、便携终端、游戏终端或电视等家庭用电气产 品，具有图2所示的硬件结构。图2是装置2的硬件结构图。如图2所示，装置2 物理上构成为包含CPU(Central Processing Unit：中央处理器)100、ROM(Read Only Memory：只读存储器)101以及RAM(Random Access Memory：随机存取存储器) 102等主存储装置、照相机或键盘等输入设备103、显示器等输出设备104、硬盘等 辅助存储装置105等的通常计算机系统。通过在CPU100、ROM101、RAM102等硬 件上读入规定的计算机软件来根据CPU100的控制使输入设备103以及输出设备104 运动，并且进行主存储装置及辅助存储装置105中的数据读出以及写入，由此实现后 述的装置2以及手检测装置1的各个功能。此外，上述说明对装置2的硬件结构进行 了说明，但手检测装置1可构成为包含CPU100、ROM101以及RAM102等主存储装 置、输入设备103、输出设备104、辅助存储装置105等的通常计算机系统。另外， 装置2可具备通信模块等。

如图1所示，装置2具备照相机20、手检测装置1、面部检测部21以及显示部 22。照相机20具有对图像或动态图像进行摄像的功能。例如，采用摄像元件等作为 照相机20。照相机20具有将所摄像的多个图像或动态图像作为图像帧向手检测装置 1输出的功能。

手检测装置1具备图像输入部10、运动度取得部11、检测区域设定部12、颜色 取得部13、评价得分计算部14以及手检测部(运动物体检测部)15。

图像输入部10与照相机20连接。图像输入部10例如具有将照相机20所摄像的 多个图像或动态图像作为图像帧输入的功能。图像输入部10具有将所输入的图像帧 保存在装置2所具备的存储区域的功能。

运动度取得部11构成为可参照由图像输入部10输入并保存的图像帧。并且，运 动度取得部11具有按像素来取得图像帧之间的像素(像点)运动度的功能。例如， 运动度取得部11采用光流等现有技术按像素来取得运动量作为运动度。或者，运动 度取得部11可取得帧间像素的差分作为运动度。运动度取得部11具有将像素的运动 度向评价得分计算部14输出的功能。

面部检测部21构成为可参照由图像输入部10输入并保存的图像帧。并且，面部 检测部21具有检测人的面部位置的功能。面部检测部21例如利用已采用Haar-Like 特征的识别器及图形匹配等来检测面部的位置信息。面部检测部21具有将面部的位 置信息向检测区域设定部12输出的功能。

检测区域设定部12构成为可参照由图像输入部10输入并保存的图像帧。并且， 检测区域设定部12具有采用面部检测部21的检测结果来设定检测手的对象区域即检 测区域的功能。即，检测区域设定部12利用面部的位置信息来设定检测区域。例如， 检测区域设定部12具有将与面部左右邻接的规定大小的区域设定为手的检测区域的 功能。并且，检测区域设定部12具有将所设定的检测区域向颜色取得部13输出的功 能。

颜色取得部13具有取得图像帧所包含的像素的颜色的功能。例如，颜色取得部 13具有与像素各自的位置信息(座标)对应着取得检测区域设定部12所设定的检测 区域所包含的像素颜色的功能。此外，颜色取得部13具有考虑后述的处理将所取得 的像素值变换为唯一的颜色ID的功能。例如，颜色取得部13用YUV颜色空间来表 现像素值，在Y、U以及V的分量值分别是0～255(8比特)范围的情况下，输出 与所取得的像素值对应的一维的颜色ID。这里，颜色取得部13可根据需要适当变更 像素值与颜色ID的对应关系。例如，删除YUV分量(各自是8比特)的下位4比 特来进行变换，成为0～4095的12比特。并且，颜色取得部13具有将像素各自的颜 色ID向评价得分计算部14输出的功能。

评价得分计算部14具有按颜色取得部13所取得的颜色ID根据运动度来计算评 价得分的功能。这里，所谓评价得分就是用于评价是否是运动物体(这里为手)的颜 色的指标。例如，评价得分计算部14将运动度取得部11所取得的像素运动度作为该 像素的得分。然后，评价得分计算部14根据得分以及颜色取得部13所取得的像素颜 色ID，按颜色ID来累积得分以及显示频度(像素数)。并且，评价得分计算部14 根据累积得分以及累积像素数来计算评价得分。例如，通过将累积得分除以累积像素 数来计算该颜色ID的评价得分。即，所谓评价得分可以说是表示颜色的运动程度的 量。此外，评价得分计算部14具有为了取得手的位置而按颜色ID累积0像素的位置 信息(例如x座标以及y座标)的功能。并且，评价得分计算部14具有将已计算的 按颜色ID的评价得分以及累积位置信息向手检测部15输出的功能。

手检测部15具有根据评价得分计算部14所输出的按颜色ID的评价得分来检测 运动的手的功能。如上述那样，因为评价得分表示颜色的运动程度，手检测部15将 在图像中评价得分比其它部分高的部分检测为物体。并且，手检测部15针对所确定 的的颜色ID，根据评价得分计算部14所输出的累积位置信息以及累积像素数来确定 手的位置。例如，手检测部15通过将累积位置信息除以累积像素数来估计手的中心 位置。并且，手检测部15具有将与检测到的手相关的信息向显示部22输出并显示的 功能。

另外，手检测部15例如可具有根据每个颜色ID的评价得分来确定手的颜色的功 能。手检测部15例如以评价得分越大成为代表颜色的可能性越高的方式来选定代表 颜色。例如，将评价得分最大的颜色ID确定为是手的颜色(代表颜色)。此外，可 选择多个包含评价得分最大值的范围的颜色ID来确定为手的颜色。

显示部22例如具有在显示当前的图像帧时以强调手检测部15所检测出的手的方 式进行显示的功能。例如采用液晶显示器等来作为显示部22。

接着，对本实施方式的手检测装置1的动作进行说明。图3是表示本实施方式的 手检测装置1的动作的流程图。例如，在开通的定时执行装置2的摄像功能，以规定 的周期反复执行图3所示的控制处理。此外，考虑到说明理解的容易性，在图3的执 行之前说明手检测装置1输入第1图像帧进行记录的内容。另外，还说明所检测的物 体是手。

如图3所示，首先，图像输入部10输入图像帧(第2图像帧)(S10)。当S10 的处理结束时，向运动度取得处理转移(S12)。在S12的处理中，运动度取得部11 根据光流等来取得在S10的处理中已取得的图像帧的像素的运动度。当S12的处理结 束时，向面部检测处理转移(S14)。

在S14中，面部检测部21检测在图像帧内描绘出的面部的位置信息。这里，面 部检测部21可检测多个面部。当S14的处理结束时，转移到检测区域设定处理(S16)。

在S16的处理中，检测区域设定部12在图像帧内设定检测区域。检测区域设定 部12将与检测区域相关的信息记录到检测区域表中。后面详细叙述该处理。当S16 的处理结束时，向检测区域选择处理转移(S18)。

S18的处理是颜色取得部13参照在S16的处理中记录的检测区域表来选择1个 检测区域的处理。当S18的处理结束时，向手检测处理转移(S20)。

S20的处理是颜色取得部13、评价得分计算部14以及手检测部15检测在S18 的处理中选择出的检测区域内的手的处理。后面叙述此处理。当S20的处理结束时， 向结束判定处理转移(S22)。

在S22的处理中，颜色取得部13判定是否对检测区域表所记录的全部检测区域 执行手检测处理。在S22的处理中，当判定为没有对全部检测区域执行手检测处理时， 再次向S18的处理转移。在S18的处理中，颜色取得部13参照检测区域表来再次选 择新的检测区域。这样，反复执行S18～S22的处理，直到在检测区域表所记载的全 部检测区域执行手检测处理为止。另一方面，在S22的处理中，当判定为对全部检测 区域执行手检测处理时，向显示处理转移(S24)。

在S24的处理中，显示部22显示以矩形等包围手部分的方式来强调的图像帧。 此外，在S20的处理中没能检测到手的情况下，显示部22显示通常的图像帧。当S24 的处理结束时，结束图3所示的控制处理。

接着，对图3中的各处理进行详细说明。首先，采用图4来详细说明检测区域设 定处理(S16)。图4是示出本实施方式的手检测装置1的检测区域设定动作的流程 图。此外，考虑到说明理解的容易性，参照图5说明检测区域设定动作。图5是说明 检测区域的一例的概要图。

如图4所示，首先，检测区域设定部12从在S14的处理检测到的面部中选择一 个面部(S30)。例如图5所示，在S14的处理中在图像帧F₁内检测多个面部K₁、 K₂。此时，检测区域设定部12例如选择面部K₁。当S30的处理结束时，向面部判定 处理转移(S32)。

在S32的处理中，检测区域设定部12判定在S30的处理中选择出的面部K₁是否 是最初选择的面部。在S32的处理中，当判定为在S30的处理中选择出的面部K₁是 最初选择的面部时，转移到检测区域表追加处理(S34)。

在S34的处理中，检测区域设定部12根据在S30的处理中选择出的面部位置来 设定检测区域。例如图5所示，检测区域设定部12将与面部K₁左右邻接的规定大小 的矩形区域设定为检测区域R₁、R₂。检测区域R₁、R₂的位置根据面部K₁的位置和 大小来相对地决定。检测区域设定部12在检测区域表中追加设定的检测区域R₁、R₂。 当S34的处理结束时向结束判定处理转移(S36)。

另一方面，在S32的处理中，当判定为在S30的处理中选择出的面部K₁不是最 初选择的面部时，因为在过去已经设定了检测区域，所以不用追加到检测区域表就向 结束判定处理转移(S36)。

在S36的处理中，检测区域设定部12判定是否对在S14的处理中检测出的全部 面部执行了检测区域的设定。在S36的处理中，当判定为没有对全部面部执行检测区 域的设定时，再次向S30的处理转移。在S30的处理中，检测区域设定部12再次选 择新的面部K₂。并且，检测区域设定部12在S32的处理中执行面部判定，在S32的 处理中设定检测区域R₃、R₄。这样，反复执行S30～S36的处理，直到对S14的处理 中检测出的全部面部执行检测区域的设定处理为止。另一方面，在S36的处理中，当 判定为对全部检测区域执行了检测区域的设定处理时，向检测区域的选择处理转移 (S38)。在以下的S38～S44的处理中，进行检测区域表的重新观察。

在S38的处理中，检测区域设定部12参照检测区域表，选择一个检测区域。当 S38的处理结束时，向对应判定处理转移(S40)。

在S40的处理中，检测区域设定部12判定是否存在与在S38的处理中选择出的 检测区域对应的面部。在S40的处理中，当判定为不存在与检测区域对应的面部时， 向删除处理转移(S42)。

在S42的处理中，检测区域设定部12从检测区域表中删除在S38的处理选择出 的检测区域。当S42的处理结束时，向结束判定处理转移(S44)。

另一方面，在S40的处理中，当判定为存在与检测区域对应的面部时，不用从检 测区域表中删除该检测区域就向结束判定处理转移(S44)。

在S44的处理中，检测区域设定部12针对全部检测区域判定重新观察处理是否 已结束。在S44的处理中，当针对全部检测区域判定为重新观察处理没有结束时，再 次向S38的处理转移。由此，在S38的处理中，检测区域设定部12再次选择新的检 测区域。并且，检测区域设定部12在S38的处理中执行对应判定处理。这样，反复 执行S38～S44的处理，直到对检测区域表的全部检测区域执行重新观察处理为止。 另一方面，在S44的处理中，当针对全部检测区域判定为重新观察处理已结束时，结 束图4所示的控制处理。

以上结束图4所示的控制处理。能够通过执行图4所示的控制处理，在所检测的 面部两侧设定检测区域，并且从检测区域表中删除与在图像帧内没有描绘的面部对应 的检测区域。

接着，对图3中的手检测处理(S20)进行详细说明。图6、7是示出本实施方式 的手检测装置1的手检测动作的流程图。此外，考虑到说明理解的容易性，参照图8～ 10说明检测区域设定动作。图8是示出对于检测区域像素中的颜色ID的度数的直方 图的一例，(A)是累积出现数，(B)是累积位置信息(x座标)，(C)是累积位 置信息(y座标)，(D)是累积运动量(累积运动度，x方向)，(E)是累积运动 量(累积运动度，y方向)。图9(A)是示出对于本次图像帧中颜色ID的权重的直 方图的一例。图9(B)是示出对于颜色ID的累积评价得分的直方图的一例。在图8、 9中，各直方图的横轴是同一标尺，各直方图中的颜色ID是共用的。图10是说明颜 色ID以及评价得分的概念的概要图。

如图6所示，首先，评价得分计算部14选择检测区域内的1个像素(S60)。例 如，选择检测区域内左上的像素。当S60的处理结束时，向运动度取得处理转移(S62)。

在S62的处理中，运动度取得部11取得在S60的处理中选择出的像素的运动度。 运动度取得部11根据例如在图3的S12的处理中取得的光流来取得像素单位的运动 量(dx、dy)。当S62的处理结束时，向层级确定处理转移(S64)。

在S64的处理中，颜色取得部13将在S60的处理中选择出的像素颜色(例如YUV 值)向唯一的颜色ID变换。如后所述，评价得分计算部14如图8(A)～(E)所 示，准备将颜色ID作为横轴(层级)的直方图进行运算。因此，通过向颜色ID变换， 来确定该颜色ID所属的直方图的层级。当S64的处理结束时，向直方图更新处理转 移(S66)。

在S66的处理中，评价得分计算部14对在S64的处理中确定的直方图的层级累 积该像素的信息。评价得分计算部14在例如图8(A)所示的出现数的直方图中对在 S64的处理中确定的层级加1，更新累积出现数X_A。另外，评价得分计算部14在例 如图8(B)、(C)所示的位置信息(x、y)的直方图中，对在S64的处理中确定 的层级加上该像素的位置信息(x、y)，并更新累积位置信息I_x、I_y。另外，评价得 分计算部14例如在图8(D)、(E)所示的运动量(dx、dy)的直方图中，对在S64 的处理中确定的层级加上该像素的运动量(dx、dy)，更新累积运动量D_x、D_y。此 外，不仅已确定的颜色ID的直方图，还可以在邻接的颜色ID的直方图中累积结果， 由此能够使信息平滑化。当S66的处理结束时，向结束判定处理转移(S68)。

在S68的处理中，评价得分计算部14判定是否已选择检测区域内的全部像素。 在S68的处理中，当判定为没有选择检测区域内的全部像素时，再次向S60的处理转 移。在S60的处理中，评价得分计算部14选择检测区域内的一个其它像素。例如， 选择从检测区域内左上的像素向右移动1个位置的像素。这样，反复执行S60～S68 的处理，直到选择检测区域内的全部像素为止。另一方面，在S68的处理中，当判定 为已选择检测区域内的全部像素时，向层级选择处理转移(S70)。

在S70的处理中，评价得分计算部14从与当前的图像帧对应的直方图中选择一 个层级。例如，从图8所示的直方图的层级中选择一个层级。当S70的处理结束时， 向权重决定处理转移(S72)。

在S72的处理中，评价得分计算部14计算在S70的处理中选择出的层级的权重。 例如，评价得分计算部14计算在S66的处理中计算出的累积运动量D_x、D_y的绝对值 平均值，作为在S70的处理中选择出的层级的评价得分(权重)。即，利用下式1 来计算某颜色ID中的权重w。

【式1】

$w=\frac{\left|D_x\right|+\left|D_y\right|}{X_A}···\left(1\right)$

此外，图9(A)表示采用式1计算的权重w的直方图。当S72的处理结束时， 向累积用直方图更新处理转移(S74)。

在S74的处理中，评价得分计算部14根据在S72的处理中计算的权重w来更新 累积用的直方图。这里，累积用的直方图是表示与颜色ID对应的评价得分的图，其 存储上次之前的计算值(初始值全部是0)。例如，评价得分计算部14通过计算权 重w与累积用的直方图的移动平均来更新累积用的直方图。例如，当将某颜色ID中 的累积用直方图的评价得分设为H_R、将时间常数设为t时，评价得分计算部14采用 下式2进行计算。

【式2】

H_R←t·H_R+(1-t)·w    …(2)

此外，图9(B)示出采用式2更新的累积用的直方图。当S74的处理结束时， 向中心位置确定处理转移(S76)。

在S76的处理中，评价得分计算部14估计颜色的中心位置。评价得分计算部1 根据在S66的处理中计算的累积位置信息I_x、I_y来估计该颜色的中心位置(C_x、C_y)。 例如，采用下式3进行计算。

【式3】

$(C_x,C_y)=(\frac{I_x}{X_A},\frac{I_y}{X_A})···\left(3\right)$

当S76的处理结束时，向结束判定处理转移(S78)。

在S78的处理中，评价得分计算部14判定是否针对全部层级来选择并执行了处 理。在S78的处理中，当判定为没有针对全部层级选择并执行处理时，再次向S70 的处理转移。评价得分计算部14在S70的处理中选择一个其它层级，在S72的处理 中确定权重，在S74的处理中采用移动平均进行更新，在S76的处理中确定中心位置。 这样，当判断为没有针对全部层级选择并执行处理时，反复执行S70～S78的处理， 直到全部层级被选择为止。因此，通过反复上述处理，将图9(A)所示的权重w反 映到图9(B)所示的评价得分。另一方面，在S78的处理中，当判定为针对全部层 级执行了处理时，向代表颜色确定处理转移(图7的S80)。

在S80的处理中，手检测部15根据评价得分来确定手。评价得分随着颜色的运 动而值变高。手检测部15在图像中将评价得分比其它部分高的部分检测为物体。例 如，手检测部15生成将评价得分作为亮度值的图像，将高亮度部分检测为是物体。 当S80的处理结束时，向颜色确认处理转移(S82)。

在S82的处理中，手检测部15确定运动物体的代表颜色，判定所确定的手的代 表颜色是否是与上次图像帧中的代表颜色不同的颜色。手检测部15例如将图9(B) 所示的评价得分值最高的颜色ID确定为手的代表颜色。例如图10所示，在检测区域 R₂中颜色ID＝3450为得分最高的情况下，将该颜色ID识别为是当前的手的代表颜色。 在S82的处理中，当判定为在S80的处理中确定的手的代表颜色不是与上次图像帧中 的代表颜色不同的颜色时，向轨跡表更新处理转移(S86)。

在S86的处理中，手检测部15更新手的轨跡表。例如，手检测部15针对在S80 的处理中取得的代表颜色取得在S76的处理中计算的中心位置(C_x、C_y)，更新手的 轨跡表。当S86的处理结束时，结束图6、7所示的控制处理。

另一方面，在S82的处理中，当判定为在S80的处理中确定的手的代表颜色是与 上次图像帧中的代表颜色不同的颜色时，向轨跡表初始化处理转移(S84)。在S84 的处理中，手检测部15对轨跡表进行初始化。当S84的处理结束时，向轨跡表更新 处理转移(S86)。

以上，结束图6、7所示的控制处理。通过执行图6、7所示的控制处理，将在检 测区域内评价得分比其它部分高的部分检测为是运动物体。并且，将在检测区域内运 动最多的颜色检测为是手的代表颜色，将代表颜色的中心位置检测为是手的位置。并 且，只要颜色不较大地变化就作为同一个手生成轨跡表。这样，可着眼于像素的颜色 来检测运动的手。此外，S62的处理对应于取得步骤，S70～S78的处理对应于评价 得分计算步骤，S80的单独处理或者使S80以及S86的处理合并后的处理对应于运动 物体检测步骤。

接着，说明用于使装置(计算机)2作为上述手检测装置1发挥功能的手检测程 序(运动物体检测程序)。

手检测程序具备主模块、输入模块以及运算处理模块。主模块是集中地控制图像 处理的部分。输入模块使装置2动作，来取得输入图像。运算处理模块具备运动度取 得模块、检测区域设定模块、颜色取得模块、评价得分计算模块以及运动物体检测模 块。通过执行主模块、输入模块以及运算处理模块来实现的功能分别与上述手检测装 置1的图像输入部10、运动度取得部11、检测区域设定部12、颜色取得部13、评价 得分计算部14以及手检测部15的功能相同。

例如，通过ROM等存储介质或半导体存储器来提供手检测程序。另外，手检测 程序可作为数据信号经由网络进行提供。

以上，在本实施方式的手检测装置1中，利用运动度取得部11来取得图像帧间 的像素的运动度，利用颜色取得部13来取得图像帧所包含的像素的颜色，利用评价 得分计算部14根据运动度按每一颜色来计算表示颜色的运动程度的评价得分，利用 手检测部15，根据每个颜色的评价得分来检测作为运动物体的手。这样，通过评价 颜色的运动程度来检测进行动作的手。因此，不用事先设定与手或背景相关的信息就 能够检测手。即，不需要预先设定特定颜色来作为背景颜色或手的颜色，所以可与颜 色分布灵活地对应，并且即使在变更照明、变更场所或者变更服装的情况下，也能够 始终检测手的代表颜色。例如还能够检测戴着手套的手。因此，可针对环境变化来非 常稳定地进行手的检测。另外，即使在相同帧中存在手以外的具有同样色彩的静止物 体，也可以在同样的色彩以外将手所使用的颜色作为代表颜色，所以能够准确地检测 进行动作的手。另外，如现有装置那样，在事先设定手的颜色来检测手的情况下，需 要背景与手所差的颜色大到某种程度。与此不同，在本实施方式的手检测装置1中， 如果直方图的区间(层级)不同，则即使在背景与手所差的颜色小的情况下原理上也 能够进行检测。另外，因为不用分离手和背景就能够利用颜色信息来检测进行动作的 手，所以不需要为了背景分离而设定阈值等的处理。另外，因为利用颜色信息以及运 动程度来检测手，所以检测精度不依赖于运动的连续性及正确性。因此，还可以适当 检测快速动作的手。

另外，在本实施方式的手检测装置1中，利用评价得分计算部14按颜色ID来累 积检测区域内的像素数以及该像素的运动度，并根据检测区域内的累积像素数以及累 积运动度来计算该颜色ID的评价得分。这样通过使运动度的累积值平均化，能够按 每个颜色计算精度高的评价得分。

另外，在本实施方式的手检测装置1中，利用评价得分计算部14按颜色ID来累 积像素的位置信息，利用手检测部15根据每个颜色ID的累积像素数以及累积位置信 息来确定手的位置。这样通过使位置信息的累积值平均化，能够高精度地确定手的位 置。

此外，根据本实施方式的手检测方法(运动物体检测方法)以及手检测程序来起 到与上述手检测装置1同样的效果。

(第2实施方式)

第2实施方式的手检测装置(运动物体检测装置)3是检测作为运动物体的手的 装置，作为构成要素包含第1实施方式的手检测装置1的一部分。因此，以与手检测 装置1的不同点为中心进行说明，省略与第1实施方式重复的说明。另外，本实施方 式的运动物体检测装置3与第1实施方式同样不被运动物体的种类所限定。这里，考 虑到说明理解的容易性，以运动物体检测装置检测移动的动物(兔子)的情况为例进 行说明。

图11是具有第2实施方式的运动物体检测装置3的装置2的功能框图。图11 所示的装置2与第1实施方式所说明的内容相同。

如图11所示，装置2具备照相机20、运动物体检测装置3以及显示部22。照相 机20以及显示部22与第1实施方式所说明的内容相同。运动物体检测装置3具备图 像输入部10、运动度取得部11、颜色取得部13、评价得分计算部14以及运动物体 检测部(手检测部)15。图像输入部10、颜色取得部13以及评价得分计算部14的 功能与第1实施方式的手检测装置1相同。运动度取得部11以及运动物体检测部15 的一部分功能与第1实施方式的手检测装置1的运动度取得部11以及手检测部15 一部分不同。

运动度取得部11具有取消照相机20整体的运动仅提取局部运动的功能。运动度 取得部11例如进行块单位的运动检测，根据块单位的运动检测结果求出整体图像的 运动。并且，运动度取得部11通过从块单位的运动检测结果减去整体图像的运动来 计算局部的运动。

运动物体检测部15具有根据各像素中的颜色ID和评价得分计算部14所输出的 评价得分，生成将与图像帧所包含的像素各自的颜色对应的评价得分作为该像素值的 似然度图像(第1似然度图像)的功能。另外，运动物体检测部15具有根据所生成 的似然度图像来检测运动物体的功能。

接着，说明本实施方式的手检测装置3的动作。图12是说明本实施方式的手检 测装置3的动作的流程图。图12所示的控制处理例如在开通装置2的摄像功能的定 时执行，并以规定的周期反复执行。此外，考虑到说明理解的容易性，说明在图12 的执行之前手检测装置1输入第1图像帧进行记录的内容。另外，说明所检测的物体 是手。

如图12所示，首先图像输入部10输入图像帧(第2图像帧)(S200)。当S200 的处理结束时，向运动度取得处理转移(S202)。

在S202的处理中，运动度取得部11根据第1图像帧以及第2图像帧来取得图像 帧的像素的运动度。运动度取得部11取消照相机20整体的运动，仅提取局部的运动。 如以下这样具体地说明上述处理。首先，运动度取得部11在各个特征点以块为单位 (例如20×15分割、160×120像素区域)匹配所输入的图像帧和上次输入的图像帧。 运动度取得部11进行块匹配，并取得块单位的运动。运动度取得部11根据块单位的 运动来取得图像帧整体的运动。并且，运动度取得部11从块单位的运动减去图像帧 整体的运动，从没有噪音等干扰要素的块单位的运动(局部运动)中取得运动度。例 如，图13(a)示出块单位的运动，图13(b)示出减去图像整体运动的局部运动。 当S202的处理结束时，向图像变换处理转移(S204)。

在S204中，颜色取得部13将图像帧所包含的像素的颜色与位置信息(座标)对 应着取得，并变换为唯一的颜色ID。例如，颜色取得部13与第1实施方式同样地计 算将YUV的值(24bit)压缩为12bit后的颜色ID。当S204的处理结束时，向初始 处理转移(S206)。

在S206中，评价得分计算部14执行用于按图像帧所包含的颜色ID来计算评价 得分的初始处理。评价得分计算部14准备用于记录最终结果的结果直方图和用于累 计运算的2个累计用直方图。各个直方图的层级(横轴)是颜色ID。评价得分计算 部14在已准备的3个直方图的全部层级的值中代入0来进行初始化。另外，将为了 使似然度图像中表示运动物体的区域占整体的比例保持恒定而采用的计数器即X_offset设为0。另外，作为运动物体检测区域的中心位置RC_x、RC_y、宽度RS_w、高度RS_h的初始值代入图像的中心位置、图像的宽度以及高度。当S206的处理结束时，向累 计处理转移(S208)。

在S208中，评价得分计算部14累积每个颜色ID的像素数以及权重。评价得分 计算部14按每个帧来计算两个将颜色ID作为层级的累计用直方图。评价得分计算部 14采用第1累计用直方图将每个颜色ID的频度(同一颜色ID的像素数的累计)作 为度数进行计数。另外，评价得分计算部14采用第2累计用直方图将每个颜色ID的 权重作为度数进行计数。这里，权重w反映了像素的运动度，根据除去整体图像的 运动后的像素本身的运动度w₁和以图像帧中的物理位置关系(基于图像帧的中心位 置(C_x、C_y)、图像帧的宽度S_x、高度S_y等的位置)为基准的运动度w₂进行计算。 评价得分计算部14利用下式4来计算表示某座标(x、y)的像素中的运动度的权重 w(x、y)。

【式4】

w(x，y)＝w₁+w₂       …(4)

w₁＝dx·dx+dy·dy

$w_2=\exp (-\frac{{(x-C_x)}^2}{S_x}-\frac{{(y-C_y)}^2}{S_y})$

评价得分计算部14根据已计算的像素的权重w(x、y)和像素的颜色ID采用第 2累计用直方图按颜色ID来累积权重w(x、y)。针对像素帧所包含的全部像素执 行此处理。当S208的处理结束时，转移到结果直方图更新处理(S210)。

在S210中，评价得分计算部14采用第1累积用直方图以及第2累计用直方图来 更新结果直方图。当将第1累积用直方图设为hist、将第2累计用直方图设为whist 时，评价得分计算部14采用下式5来更新结果直方图ahist。

【式5】

$\mathrm{ahist}\left[\mathrm{id}\right]\leftarrow \tau ·\mathrm{ahist}\left[\mathrm{id}\right]+\frac{(1-\tau )·\mathrm{whist}\left[\mathrm{id}\right]}{\mathrm{hist}\left[\mathrm{id}\right]}···\left(5\right)$

这里，id是颜色ID(层级的识别编号)，并采用整数。另外，hist[id]、whist[id] 以及ahist[id]是某id中的各直方图的度数。另外，τ是时间常数，这里，采用τ＝1/64 作为一例。当S210的处理结束时，向似然度图像生成处理转移(S212)。

在S212中，运动物体检测部15采用在S210的处理中取得的结果直方图ahist 来生成似然度图像。首先，运动物体检测部15进行阈值计算，使得在似然度图像中 被检测为运动物体的区域(运动物体检测区域)相对于图像整体所占的比例恒定。首 先，运动物体检测部15以结果直方图的度数从大到小的顺序对层级进行排序。接着， 将从第1名到规定位次s的结果直方图的度数作为偏移量X_offset进行累积。运动物体 检测部15采用下式6来计算最终的偏移量SX_offset。

【式6】

SX_offset←τ-SX_offset+(1-τ)·X_offset    …(6)

τ是时间常数，这里采用τ＝0.6作为一例。接着，手检测部采用下式7来计算各 像素的像素值。

【式7】

p(x，y)←ahist[id]-SX_offset    …(7)

即，可通过采用式子7，将根据反映运动度的权重与显示频度而评价的得分(评 价得分)作为像素值来生成似然度图像。另外，通过减去偏移量SX_offset，使后述被摄 体位置的收敛变得容易。图14(a)是减去偏移量SX_offset之前的似然度图像，图14 (b)是减去偏移量SX_offset之后的似然度图像。图14(b)与图14(a)相比，清楚 地显示黑白分明。当S212的处理结束时，向运动物体位置确定处理转移(S214)。

在S214中，运动物体检测部15采用在S212的处理中生成的似然度图像来确定 运动物体的位置。运动物体检测部15通过反复多次以下的动作，来更新并且确定表 示运动物体的矩形(运动物体检测区域)的大小以及位置。首先，运动物体检测部 15对整体图像采用下式8来计算权重pw。

【式8】

pw＝w₁·w₂      …(8)

$w_2=\exp (-\frac{{(x-{\mathrm{RC}}_x)}^2}{{\mathrm{RS}}_x}-\frac{{(y-{\mathrm{RC}}_y)}^2}{{\mathrm{RS}}_y})$

这里，(x、y)是像素的位置，z₁是位置(x、y)的像素的似然度，RC_x、RC_y是运动物体检测区域的中心位置，RS_w是运动物体检测区域的宽度，RS_h是运动物体 检测区域的高度。

接着，运动物体检测部15采用所求出的权重pw来计算似然度图像的规定像素 中的加权0次矩m₀₀、加权1次矩m₁₀、m₀₁、加权2次矩m₂₀、m₀₂，对全部像素进行 累积。运动物体检测部15采用下式9进行运算。

【式9】

m₀₀←m₀₀+pw

m₁₀←m₁₀+pw·x

m₀₁←m₀₁+pw·y    …(9)

m₂₀←m₂₀+pw·x²

m₀₂←m₀₂+pw·y²

然后，运动物体检测部15采用所求出的矩来更新运动物体检测区域的中心位置 RC_x、RC_y、宽度RS_w、高度RS_h。运动物体检测部15采用下式10进行运算。

【式10】

$({\mathrm{RC}}_x,{\mathrm{RC}}_y)=(\frac{m_{10}}{m_{00}},\frac{m_{01}}{m_{00}})$

${\mathrm{RS}}_w=\sqrt{\frac{m_{20}}{m_{00}}-{{\mathrm{RC}}_x}^2}···\left(10\right)$

${\mathrm{RS}}_h=\sqrt{\frac{m_{02}}{m_{00}}-{{\mathrm{RC}}_y}^2}$

运动物体检测部15通过反复多次上述处理来确定运动物体位置。当S214的处理 结束时，向显示处理转移(S216)。

在S216的处理中，显示部22用矩形等来表现在S214中计算的运动物体检测区 域并与图像帧重叠显示。图15示出显示例。图15示出多次显示用白颜色表示的矩形 区域、每次缩小大小以收敛至运动物体附近的图像。此外，随着收敛，从暗颜色逐渐 向亮颜色显示。此外，在S202的处理中没能检测到运动物体的情况下，显示部22 显示通常的图像帧。当S216的处理结束时，结束图12所示的控制处理。

以上，结束图12所示的控制处理。通过执行图12所示的控制处理，来将图像帧 内评价得分比其它部分高的部分检测为运动物体。此外，S202的处理对应于取得步 骤，S204～S210的处理对应于评价得分计算步骤，S212以及S214的处理对应于运 动物体检测步骤。

接着，说明用于将装置(计算机)2作为上述运动物体检测装置3发挥功能的运 动物体检测程序。

运动物体检测程序具备主模块、输入模块以及运算处理模块。主模块是集中控制 图像处理的部分。输入模块使装置2动作，以取得输入图像。运算处理模块具备运动 度取得模块、颜色取得模块、评价得分计算模块以及运动物体检测模块。通过执行主 模块、输入模块以及运算处理模块来实现的功能与上述手检测装置1的图像输入部 10、运动度取得部11、颜色取得部13、评价得分计算部14以及手检测部15的功能 分别相同。

例如，由ROM等存储介质或半导体存储器来提供运动物体检测程序。另外，运 动物体检测程序可作为数据信号经由网络进行提供。

以上，在本实施方式的运动物体检测装置3中，可利用运动度取得部11来取得 图像帧间的像素的运动度，利用颜色取得部13来取得图像帧所包含的像素的颜色， 利用评价得分计算部14根据运动度按颜色来计算表示颜色的运动程度的评价得分， 利用手检测部15根据每一颜色的评价得分来检测运动物体。这样，通过评价颜色的 运动程度来检测运动物体。因此，不用事先设定与运动物体或背景相关的信息就能够 检测运动物体。即，不需要预先设定特定颜色来作为背景颜色或运动物体的颜色，所 以能够与颜色分布灵活对应，并且即使在变更照明、变更场所或者变更服装的情况下 也能够检测运动物体。因此，相对于环境变化能够非常稳定地进行运动物体的检测。 另外，如现有装置那样，在事先设定运动物体的颜色来检测手的情况下，需要背景与 运动物体所差的颜色大到某种程度。与此不同，在本实施方式的运动物体检测装置3 中，只要直方图的区间(层级)不同，即使在背景与运动物体所差的颜色小的情况下 原理上也能够进行检测。另外，不用分离运动物体与背景，就能够以颜色信息来检测 进行动作的运动物体，因此不需要为了背景分离而设定阈值等的处理。另外，因为利 用颜色信息以及运动程度来检测运动物体，所以检测精度不依赖于运动的连续性及正 确性。因此，还能够适当检测快速动作的运动物体。此外，即使对象物从帧中脱离， 只要将所关注的颜色信息存储一定时间，就能够在对象物再次进入帧时跟踪其运动。

另外，在本实施方式的手检测装置3中，根据块单位的运动来计算图像帧整体的 运动，从图像帧所包含的像素的运动减去图像帧整体的运动，计算各像素中的运动度。 通过这样构成，可以从与整体运动的差分中取得局部的运动。

此外，根据本实施方式的运动物体检测方法以及运动物体检测程序，能够起到与 上述手检测装置3同样的效果。

(第3实施方式)

第3实施方式的手跟踪装置(运动物体跟踪装置)3是跟踪作为运动物体的手的 装置，作为构成要素包含第1实施方式的手检测装置1或第2实施方式的运动物体检 测装置3。因此，以手检测装置1和运动物体检测装置3的不同点为中心进行说明， 省略与第1实施方式以及第2实施方式重复的说明。另外，本实施方式的手跟踪装置 4与第1实施方式同样不被运动物体的种类所限定。这里，考虑到说明理解的容易性， 以运动物体跟踪装置跟踪进行动作的手的情况为例进行说明。

图16是具备第3实施方式的手跟踪装置4的装置2的功能框图。图16所示的装 置2与第1实施方式所说明的内容相同。

如图16所示，装置2具备照相机20、手跟踪装置4、面部检测部21以及显示部 22。照相机20、面部检测部21以及显示部22与第1实施方式所说明的内容相同。 手跟踪装置4具备图像输入部10、运动度取得部11、检测区域设定部12、颜色取得 部13、评价得分计算部14、手检测部15、似然度计算部(运动物体跟踪部)16以及 手跟踪部(运动物体跟踪部)17。即，在第1实施方式的手检测装置1中追加似然度 计算部16以及手跟踪部17来构成手跟踪装置4。此外，评价得分计算部14的一部 分功能与第1实施方式的手检测装置1的评价得分计算部14一部分不同。

评价得分计算部14具有按颜色ID来计数运动像素数以及没有运动的像素数的功 能。例如，评价得分计算部14将运动度是规定值以上的像素作为运动像素，将运动 度不是规定值以上的像素作为没有运动的像素。评价得分计算部14例如将运动像素 数作为前景度进行计数，将没有运动的像素数作为背景度进行计数。此外，评价得分 计算部14在图6的S66的处理时执行计数。

似然度计算部16具有根据与手检测部15所确定的手的颜色的颜色类似度按每个 颜色ID来计算似然度的功能。似然度是表示接近跟踪对象颜色的程度。例如，对象 像素的颜色ID与手的颜色ID越接近，类似度计算得越大。因此，类似度越大的颜色， 似然度计算部16计算的似然度越大。另外，评价得分越大的颜色，越是具有运动的 颜色。因此，评价得分越大的颜色，似然度计算部16计算的似然度越大。并且，似 然度计算部16具有如下的功能：参照评价得分计算部14的输出结果，因为前景像素 数小于背景像素数的颜色是背景像素的可能性高，所以减小似然度。或者，似然度计 算部16可针对前景像素数小于背景像素数的颜色将似然度设为0。似然度计算部16 具有将每个颜色ID的似然度向手跟踪部17输出的功能。

手跟踪部17具有根据似然度计算部16所输出的每个颜色ID的似然度以及图像 帧来作成将像素的似然度作为像素值的似然度图像(第2似然度图像)以跟踪手的功 能。另外，手跟踪部17具有如下的功能：在以上次手的位置为基准的像素的相对位 置矢量与像素的运动矢量的内积为负的情况下，因为是手的可能性极低，所以减小该 像素中的似然度。或者，手跟踪部17可将该像素中的似然度设为0。此外，手跟踪 部17具有如下的功能：通过将小于似然度图像的区域作为跟踪矩形、并以似然度图 像的跟踪矩形内的像素值的分布重心为跟踪矩形中心的方式进行移动，来跟踪手。此 外，手跟踪部17还具有如下的功能：根据上次输入的图像帧的似然度图像以及跟踪 矩形来作成背景似然度图像，并采用图像帧的似然度图像与背景似然度图像的差分图 像来跟踪手。背景似然度图像是表示成为背景的可能性的图像。另外，手跟踪部17 具有为了生成背景似然度图像而生成工作用的背景似然度更新用图像的功能。

手跟踪装置4的其它结构与第1实施方式的手检测装置1相同。

接着，说明本实施方式的手跟踪装置4的动作。图17是示出本实施方式的手跟 踪装置4的动作的流程图。图17所示的控制处理例如在手检测装置1的动作结束的 定时执行，并以规定的周期反复执行。即，在处理开始时，确定运动物体的颜色ID。

如图17所示，首先似然度计算部16执行跟踪初始化处理(S90)。似然度计算 部16按颜色ID计算似然度。后面对此处理进行叙述。当S90的处理结束时，向图像 帧输入处理转移(S92)。

在S92的处理中，图像输入部10输入新的图像帧。当S92的处理结束时，向对 象像素选择处理转移(S94)。

在S94的处理中，似然度计算部16从在S92的处理中输入的图像帧内选择作为 计算似然度的对象的像素。当S94的处理结束时，向像素单位的似然度计算处理转移 (S96)。

在S96的处理中，似然度计算部16针对在S94的处理中选择出的像素计算似然 度。后面详细叙述此处理。当S96的处理结束时，向全部像素结束判定处理转移(S98)。

在S98的处理中，似然度计算部16判定是否已计算在S92的处理中输入的图像 帧内的全部像素的似然度。当在S98的处理中判定为没有针对全部像素计算似然度的 情况下，向S94的处理再次转移。似然度计算部16在S94的处理中再次选择新的像 素，在S96的处理中计算像素单位的似然度。这样，反复执行S94～S98的处理，直 到计算图像帧内的全部像素的似然度为止。另一方面，当在S98的处理中判定为已计 算图像帧内的全部像素的似然度时，向跟踪处理转移(S100)。

在S100的处理中，手跟踪部17根据在S98的处理中计算的像素的似然度来生成 似然度图像，并根据似然度图像来检测运动的手。后面对此处理进行叙述。当S100 的处理结束时，向背景似然度计算处理转移(S102)。

在S102的处理中，手跟踪部17根据在S100的处理中计算的似然度图像来计算 表示接近背景程度的背景似然度。后面对此处理进行叙述。当S102的处理结束时， 向轨跡记录处理转移(S104)。

S104的处理是手跟踪部17将S100的处理中的跟踪结果作为轨跡进行记录的处 理。当S104的处理结束时，向显示处理转移(S106)。

在S106的处理中，显示部22将手的轨跡与图像帧重叠显示。当S106的处理结 束时向结束判定处理转移(S108)。

在S108的处理中，手跟踪部17判定是否已结束图像帧的输入。当在S108的处 理中判定为具有新的图像帧的输入时，向S92的处理转移。由此，反复执行S92～S108 的处理，直到图像帧的输入结束为止。另一方面，当在S108的处理中判定为没有新 的图像帧输入时，结束图17所示的控制处理。

以上，结束图17所示的控制处理。如图17所示，本实施方式的手跟踪装置4 以第1实施方式的手检测装置1所检测出的手的颜色为基准，跟踪在输入图像帧中描 绘出的手。此外，S96的处理对应于似然度计算步骤，S100的处理对应于运动物体跟 踪步骤。

接着，对图17中的各个处理进行详细说明。首先，采用图18来详细说明跟踪初 始化处理(S90)。图18是示出本实施方式的手跟踪装置4的跟踪初始化动作的流程 图。此外，考虑到说明理解的容易性，参照图19说明跟踪初始化动作。图19是表示 对于颜色ID的度数的跟踪用似然度直方图的一例，(A)表示颜色类似的似然度， (B)表示检测时的评价得分，(C)表示前景度以及背景度，(D)表示最终的似然 度。

如图18所示，首先，似然度计算部16利用0使背景似然度图像初始化(S110)。 背景似然度图像是在后述的跟踪处理中使用的图像。当S110的处理结束时，向层级 选择处理转移(S112)。

在S112的处理中，似然度计算部16从颜色ID的直方图中选择一个层级。采用 图19来详细说明此处理。图19是与使用第1实施方式的手检测装置1的直方图相同 横轴为颜色ID的直方图。此外，这里作为一例，将颜色ID设为10个(即10个层级)。 似然度计算部16从10个颜色ID中选择一个颜色ID。当S112的处理结束时，向背 景可能性判定处理转移(S114)。

在S114的处理中，似然度计算部16参照评价得分计算部14所计数的前景度以 及背景度，判定在S112的处理中选择出的颜色ID的前景度是否大于背景度。例如， 在手检测时，评价得分计算部14如图19(C)所示对前景度以及背景度进行计数。 在此情况下，似然度计算部16例如在所选择的颜色ID是图19所示的颜色ID4000 的情况下，判定为前景度大于背景度。当在S114的处理中判定为前景度大于背景度 时，该颜色ID是背景的可能性低，所以向类似度计算处理转移(S116)。

在S116的处理中，似然度计算部16将在S112的处理中选择出的颜色ID与手 的颜色(代表颜色)在视觉上相似到何种程度作为类似度计算。例如图19所示，手 的颜色是颜色ID3534，该颜色是跟踪对象颜色。在此情况下，如图19(A)所示， 似然度计算部16将跟踪对象颜色的颜色ID作为峰值，计算类似度，使得类似度随着 与跟踪对象颜色的颜色ID相远离而变小。在图19(A)中，为了方便而显示全部颜 色ID的类似度，但在S116的处理中，仅计算在S112的处理中选择出的颜色ID的 类似度。当S116的处理结束时，向评价得分取得处理转移(S118)。

在S118的处理中，似然度计算部16取得手颜色检测时的评价得分。例如，似然 度计算部16参照评价得分计算部14所输出的评价得分。由此，例如图19(B)所示， 可取得手检测时的评价得分。此外，在图19(B)中为了方便而显示全部颜色ID的 评价得分，但在S118的处理中仅取得在S112的处理选择出的颜色ID的评价得分。 当S118的处理结束时，向最终似然度设定处理转移(S120)。

在S120的处理中，似然度计算部16根据在S116的处理中计算的类似度以及在 S118的处理中取得的评价得分来决定该颜色ID的最终似然度。例如，似然度计算部 16将类似度与评价得分的加权平均值作为该颜色ID的最终似然度。由此例如图19 (D)所示，可取得最终的似然度。此外，在图19(D)中为了方便而显示出全部颜 色ID的最终似然度，但在S120的处理中仅取得在S112的处理中选择出的颜色ID 的评价得分。当S120的处理结束时，向最终层级确认处理转移(S122)。

另一方面，在S114的情况下，例如当所选择的颜色ID是图19所示的颜色ID3434 时，似然度计算部16判定为前景度不大于背景度。在此情况下，该颜色ID是背景的 可能性高。由此，向背景处理转移(S124)。在S124的处理中，似然度计算部16 针对该颜色ID的直方图将似然度设定为0。例如图19(D)所示，将颜色ID3434的 最终似然度设为0。当S124的处理结束时，向最终层级确认处理转移(S122)。

在S122的处理中，似然度计算部16判定是否针对全部层级进行似然度的计算。 当在S122的处理中判定为全部层级的计算没有结束时，向S112的处理转移。由此， 反复执行S112～S124的处理，直到针对全部层级的似然度的运算结束为止。另一方 面，当在S122的处理中判定为全部层级的计算已结束时，结束图18所示的控制处理。

以上结束图18所示的控制处理。通过执行图18所示的控制处理来生成跟踪用的 直方图(例如图19(D))。

接着，对图17中的像素单位的似然度计算处理(S96)进行详细说明。图20是 示出本实施方式的手跟踪装置4的似然度计算动作的流程图。此外，考虑到说明理解 的容易性，参照图21、17说明似然度计算动作。图21是说明在运动物体跟踪中采用 光流的似然度计算的概要图。图22是似然度图像的一例。

如图20所示，手跟踪部17取得输入图像帧中的对象像素的信息(S130)。手跟 踪部17取得对象像素的座标(x、y)、对象像素的运动量(dx、dy)、对象像素的 运动矢量(光流)、上次手的中心位置(C_x、C_y)以及颜色ID。此外，手跟踪部17 评价对象像素的高度方向的位置。因为进行手势的手位于手腕或臂的上侧的可能性 高，所以能够采用y座标对作为手的似然度进行加权。例如，当将输入图像帧的y 方向的高度作为I_H、将评价值作为yw时，手跟踪部17采用下式11来评价对象像素 的高度方向的位置。

【式11】

$\mathrm{yw}=1+\frac{I_H-y}{I_H}···\left(11\right)$

y座标小的一方评价值yw高。当S130的处理结束时，向相对位置矢量计算处理 转移(S132)。

在S132的处理中，手跟踪部17计算从上次手的中心位置到对象像素的位置的相 对位置矢量。手跟踪部17根据在S130的处理中取得的中心位置(C_x、C_y)与对象像 素的座标(x、y)来计算相对位置矢量。当S132的处理结束时，向内积判定处理转 移(S134)。

在S134的处理中，手跟踪部17计算在S132的处理中计算的相对位置矢量与在 S130的处理中取得的运动矢量(光流)的内积。采用图21来详细说明此处理。图21 示出上次手的中心位置(C_x、C_y)、对象像素的座标(x₁、y₁)。并且，图中的箭头 是光流。在区域E₁、E₃、E₄中检测光流，在区域E₂中没有检测光流。因为基本上在 检测出光流的区域检测出运动，所以将似然度相加。另外，在以上次手的中心位置(C_x、 C_y)为基准的对象像素的相对位置矢量的方向是光流方向的逆方向时，该像素显示出 进行动作的手的可能性低。例如图中所示，当对象像素的座标(x₁、y₁)存在于区域 E₄时，以上次手的中心位置(C_x、C_y)为基准的对象像素的相对位置矢量的方向与光 流的方向不矛盾。另外，存在于区域E₁的其它像素的情况也是同样的。此外，在存 在于区域E₂的其它像素的情况下，虽然没有检测到光流，但也有可能显示出进行动 作的手。不过，在存在于区域E₃的其它像素的情况下，相对位置矢量的方向为光流 方向的逆方向。在此情况下，该像素显示进行动作的手的可能性低。即，采用相对位 置矢量与光流的内积可判定是否是进行动作的手。在S134的处理中，当判定为内积 为负时，向似然度变更处理转移(S150)。

在S150的处理中，手跟踪部17将该像素的似然度设定为0。当S150的处理结 束时，向背景似然度更新处理转移(S142)。

另一方面，在S134的处理中判定为内积不是负的情况下，向似然度计算处理转 移(S136)。在S136的处理中，手跟踪部17采用通过执行图18所示的控制处理而 作成的跟踪用似然度直方图来计算对象像素的似然度。例如，参照图19(D)所示的 直方图，根据对象像素的颜色ID来确定似然度。当S136的处理结束时，向权重计算 处理转移(S138)。

在S138的处理中，手跟踪部17计算运动的权重。手跟踪部17采用在S130的处 理中取得的运动量(dx、dy)，采用例如下式12来计算运动的权重mw。

【式12】

mw＝|dx|+|dy|    …(12)

当S138的处理结束时，向似然度决定处理转移(S140)。

在S140的处理中，手跟踪部17采用在S136计算的似然度、在S130的处理中 计算的评价值yw以及在S138的处理中计算的运动的权重mw来决定最终的似然度。 当将在S136计算的似然度设为w时，手跟踪部17例如采用下式13来决定最终的似 然度P。

【式13】

P＝(w+mw)·yw    …(13)

当S140的处理结束时，向背景似然度更新处理转移(S142)。

在S142的处理中，手跟踪部17向背景似然度的更新用图像代入在S140或S150 的处理中决定的似然度。所谓背景似然度的更新用图像就是为了从上次背景似然度的 图像中获得本次图像帧的背景似然度的图像所需的图像。后面详细叙述背景似然度图 像。手跟踪部17例如将似然度作为像素值代入背景似然度的更新用图像中。当S142 的处理结束时，向背景似然度取得处理转移(S144)。

S144的处理是手跟踪部17取得与对象像素对应的上次图像帧的背景似然度的处 理。例如，可采用后述的背景似然度图像来取得。当S144的处理结束时，向背景似 然度减法处理转移(S146)。

在S146的处理中，手跟踪部17从在S140的处理中决定的似然度P减去在S144 的处理中取得的背景似然度。当S146的处理结束时，向似然度图像作成处理转移 (S148)。

在S148的处理中，手跟踪部17向跟踪用的似然度图像代入在S146的处理中计 算的似然度。当S148的处理结束时，结束图20所示的控制处理。

以上结束图20所示的控制处理。可通过在全部像素中执行图20所示的控制处理， 来作成将似然度作为像素值的似然度图像。图22示出似然度图像的一例。在图22 中，白的部分是运动的区域(似然度高的区域)，黑的部分是静止的区域(似然度低 的区域)。

接着，对图17中的跟踪处理(S100)进行详细说明。图23是表示本实施方式的 手跟踪装置4的跟踪动作的流程图。此外，考虑到说明理解的容易性，参照图24说 明跟踪动作。图24是说明跟踪动作的概要图。

如图23所示，手跟踪部17将上次图像帧中的跟踪对象区域的信息(位置信息等) 作为初始值取得(S160)。跟踪对象区域是小于图像帧以及似然度图像的区域，其被 设定为包含图22所示的似然度高的区域这样的大小。当S160的处理结束时，向初始 值设定处理转移(S162)。

在S162的处理中，手跟踪部17将用于运算中心座标的参数(mx、my)初始化 为(0、0)。另外，将累积似然度m初始化为0。当S162的处理结束时，向像素选 择处理转移(S164)。

在S164的处理中，手跟踪部17在图20所示的控制处理所作成的似然度图像内 从与跟踪对象区域对应的全部像素中选择一个处理对象的像素。当S164的处理结束 时，向似然度取得处理转移(S166)。

在S166的处理中，手跟踪部17从图20所示的控制处理所作成的似然度图像中 取得在S164的处理中选择出的像素的似然度w。当S166的处理结束时，向位置信息 取得处理转移(S168)。

在S168的处理中，手跟踪部17取得在S164的处理中选择出的像素的位置信息 (座标信息(x、y))。当S168的处理结束时，向累积处理转移(S170)。

在S170的处理中，手跟踪部17根据在S166的处理中取得的似然度w以及在 S168的处理中取得的位置信息(x、y)来更新累积位置信息(mx、my)以及累积似 然度m。手跟踪部17例如将似然度w与累积似然度m相加。此时，手跟踪部17可 根据像素的位置信息与跟踪矩形的中心座标的距离对似然度进行加权，并将已加权的 似然度与累积似然度m相加。例如，可准备将跟踪矩形的中心座标作为1的高斯分 布，将与中心座标的距离对应的高斯分布的值和似然度相乘。另外，将位置信息(x、 y)乘以似然度w所得的值(w·x、w·y)与累积位置信息(mx、my)相加。当S170 的处理结束时，向结束判定处理转移(S172)。

在S172的处理中，手跟踪部17判定针对跟踪对象区域所包含的全部像素处理是 否已结束。当在S172的处理中判定为针对全部像素处理没有结束时，再次向S164 的处理转移。由此，反复执行S164～S172的处理，直到针对跟踪对象区域所包含的 全部像素处理结束为止。另一方面，当在S172的处理中判定为针对全部像素处理已 结束时，向重心计算处理转移(S174)。

在S174的处理中，手跟踪部17根据累积位置信息(mx、my)以及累积似然度 m来估计像素值的分布重心(即作为运动物体的手的中心位置(C_x、C_y))。例如， 手跟踪部17采用下式14来估计中心位置(C_x、C_y)。

【式14】

$(C_x,C_y)=(\frac{\mathrm{mx}}{m},\frac{\mathrm{my}}{m})···\left(14\right)$

当S174的处理结束时，向跟踪对象区域的中心变更处理转移(S176)。

在S176的处理中，手跟踪部17将跟踪对象区域的中心设定为在S174的处理中 计算的(C_x、C_y)。当S174的处理结束时，向变更判定处理转移(S178)。

在S178的处理中，手跟踪部17判定跟踪对象区域的中心是否与上次的中心相同。 当在S178的处理中判定为跟踪对象区域的中心与上次的中心不相同时，再次向S162 的处理转移。由此，反复执行S162～S178的处理，直到跟踪矩形内的像素值的重心 收敛于矩形中心为止。通过执行该反复处理，例如，可使图24所示的跟踪矩形Z₁(中 心C₁)与跟踪矩形Z₂(中心C₂)、跟踪矩形Z₃(中心C₃)以及跟踪矩形Z₄(中心 C₄)如箭头所示向左上移动来跟踪作为运动物体的手的位置。另一方面，当在S178 的处理中判定为跟踪对象区域的中心与上次的中心相同时，结束图23所示的控制处 理。

以上结束图23所示的控制处理。通过执行图23所示的控制处理，能够采用似然 度图像以及跟踪矩形来跟踪作为运动物体的手。

接着，对图17中的背景似然度的计算处理(S102)进行详细说明。图25是示出 本实施方式的手跟踪装置4的背景似然度的计算动作的流程图。此外，考虑到说明理 解的容易性，参照图26说明背景似然度的计算动作。图26是说明背景似然度的计算 动作的概要图。

如图25所示，手跟踪部17将上次图像帧中的跟踪对象区域的信息(位置信息等) 作为初始值取得(S180)。该处理与图23的S160的处理相同。当S180的处理结束 时，向区域扩展处理转移(S182)。

在S182的处理中，手跟踪部17扩展在S180的处理中取得的跟踪对象区域。例 如，手跟踪部17未变更在S180的处理中取得的跟踪对象区域的中心位置仅将大小扩 大2倍。当S182的处理结束时，向像素选择处理转移(S184)。

在S184的处理中，手跟踪部17从背景似然度图像的全部像素中选择作为处理对 象的一个像素。当S184的处理结束时，向位置判定处理转移(S186)。

在S186的处理中，手跟踪部17判定在S184的处理中选择的像素位置是否是在 S182的处理中扩展的跟踪对象区域内。当在S186的处理中判定为所选择的像素不是 跟踪对象区域内时，向像素值取得处理转移(S188)。

在S188的处理中，手跟踪部17参照在图20的S142的处理中作成的背景似然度 更新用图像，从背景似然度更新用图像中取得与在S184的处理中选择出的像素位置 对应的像素值。当S188的处理结束时，向像素值设定处理转移(S190)。

在S190的处理中，手跟踪部17根据在S184的处理中选择的像素的像素值与在 S188的处理中取得的像素值来设定背景似然度图像的像素值。当将在S184的处理中 选择的像素的像素值设为G₁、将在S188的处理中取得的像素值设为G₂时，手跟踪 部17通过求出加权平均来设定最终的像素值G_F。具体地说，采用下式15进行计算。

【式15】

$G_F=\frac{G_1+G_2}{2}···\left(15\right)$

当S190的处理结束时，向结束判定处理转移(S192)。

另一方面，当在S186的处理中判定为已选择的像素是跟踪对象区域内时，向结 束判定处理转移(S192)。

在S192的处理中，手跟踪部17判定针对背景似然度图像内的全部像素是否结束 处理。当判定为在S192的处理中针对全部像素没有结束处理时，再次向S184的处理 转移。由此，反复执行S184～S192的处理，直到针对背景似然度图像的全部像素处 理结束为止。由此，生成背景似然度图像。例如图26(A)所示，在上次图像帧的似 然度图像中设定跟踪矩形Z₅。通过反复执行S184～S192的处理，来生成图26(B) 所示的背景似然度图像。如图26(B)所示，在背景似然度图像中，将对应于跟踪矩 形Z₅的位置且构成跟踪矩形Z₅的2倍大小的区域设定为黑区域Y₁(即是背景的可能 性低的区域)。另一方面，当在S192的处理中判定为针对全部像素已结束处理时， 结束图25所示的控制处理。

以上结束图25所示的控制处理。通过执行图25所示的控制处理，生成背景似然 度图像。由此，如图20的S146的处理所说明的那样，可采用背景似然度图像来进一 步适当进行运动物体的检测。当将本次图像帧的似然度图像设为图26(C)、将背景 似然度图像设为图26(B)时，可通过图20的S146的处理来生成已考虑图26(D) 所示的背景的似然度图像(差分图像)。通过采用差分图像，即使在与运动物体的手 类似的颜色作为背景存在时，也不会跟踪背景颜色，能够准确地跟踪手。

接着，说明用于使装置(计算机)2作为上述手跟踪装置4发挥功能的手跟踪程 序(运动物体跟踪程序)。

手跟踪程序具备主模块、输入模块以及运算处理模块。主模块是集中控制图像处 理的部分。输入模块使装置2动作，以取得输入图像。运算处理模块具备运动度取得 模块、检测区域设定模块、颜色取得模块、评价得分计算模块、运动物体检测模块、 似然度计算模块以及运动物体跟踪模块。通过执行主模块、输入模块以及运算处理模 块来实现的功能与上述手跟踪装置4的图像输入部10、运动度取得部11、检测区域 设定部12、颜色取得部13、评价得分计算部14、手检测部15、似然度计算部16以 及手跟踪部17的功能分别相同。

例如，可由ROM等存储介质或半导体存储器来提供手跟踪程序。另外，手跟踪 程序也可以作为数据信号经由网络来提供。

以上，根据第3实施方式的手跟踪装置4，利用运动度取得部11来取得图像帧 间的像素的运动度，利用颜色取得部13来取得图像帧所包含的像素的颜色，利用评 价得分计算部14根据运动度按颜色来计算表示颜色的运动程度的评价得分，利用手 检测部15根据每一颜色的评价得分来确定手的颜色，利用似然度计算部16根据与所 确定的手的颜色的颜色类似度按颜色来计算似然度，利用手跟踪部17根据每一颜色 的似然度以及图像帧作成将像素的似然度作为像素值的似然度图像来跟踪手。这样， 通过评价颜色的运动程度来检测手。并且，根据所检测的手的颜色来跟踪手。因此， 与第1实施方式相同，不用事先设定与手或背景相关的信息就能够检测并跟踪手。即， 因为不需要预先设定特定颜色作为背景颜色或者手的颜色，所以能够与颜色分布灵活 对应，并且即使在变更照明、变更场所或者变更服装的情况下也始终能够检测手的代 表颜色。例如，还可以检测并跟踪戴手套的手。因此，相对于环境变化能够非常稳定 地进行手的检测。另外，即使在相同帧中存在手以外的具有同样色彩的静止物体，也 可以在同样的色彩以外将手所使用的颜色作为代表颜色，所以能够准确地检测进行动 作的手。另外，如现有装置那样，在事先设定手的颜色来检测手的情况下，需要背景 与手所差的颜色大到某种程度。与此不同，在本实施方式的手检测装置1中，如果直 方图的区间(层级)不同，则即使在背景与手所差的颜色小的情况下原理上也能够检 测并跟踪。另外，因为不用分离手和背景就能够利用颜色信息来检测并跟踪进行动作 的手，所以不需要为了背景分离而设定阈值等的处理。另外，因为利用颜色信息以及 运动程度来检测并跟踪手，所以检测精度不依赖于运动的连续性及正确性。因此，还 可以适当检测并跟踪快速动作的手。

另外，根据第3实施方式的手跟踪装置4，可根据第1实施方式的手检测装置1 检测出的运动物体的颜色或第2实施方式的物体检测装置3检测出的区域内的颜色来 跟踪运动物体。

另外，根据第3实施方式的手跟踪装置4，利用评价得分计算部14，按每一颜色 来计算对运动度是规定值以上的像素数进行累积的前景像素数以及对运动度不是规 定值以上的像素数进行累积的背景像素数，利用似然度计算部16针对前景像素数小 于背景像素数的颜色减小似然度。因此，可避免在与手的颜色接近的颜色中将运动少 的背景等作为手进行跟踪。

另外，根据第3实施方式的手跟踪装置4，在将上次手的位置作为基准的像素的 相对位置矢量与像素的运动矢量的内积为负的情况下，利用手跟踪部17减小该像素 中的似然度。因此，可避免在与手的颜色接近的颜色中将运动不同的背景等作为手进 行跟踪。

另外，根据第3实施方式的手跟踪装置4，利用手跟踪部17使跟踪矩形以似然 度图像的跟踪矩形内的像素值的分布重心为跟踪矩形的中心的方式进行移动，由此来 跟踪手。因此，可利用简易的结构来适当跟踪手。

另外，根据第3实施方式的手跟踪装置4，利用手跟踪部17根据上次输入的图 像帧的似然度图像以及跟踪矩形来作成背景似然度图像，并采用图像帧的似然度图像 与背景似然度图像的差分图像来跟踪手。因此，可避免将与手的颜色接近的颜色的背 景等作为手进行跟踪。

此外，根据本实施方式的手跟踪方法(运动物体跟踪方法)以及手跟踪程序，得 到与上述手跟踪装置4同样的效果。

此外，上述实施方式示出本发明的运动物体检测装置以及运动物体跟踪装置、它 们的方法以及程序的一例，但不仅限于实施方式的装置、方法以及程序，还可以进行 变形，或者应用于其它方式。

例如，在上述实施方式中说明了图像输入部10从照相机20输入图像的例子，但 也可以是从其它设备经由网络发送的图像。

另外，在上述各个实施方式中说明了手检测装置1具有检测区域设定部12例子， 但也可以根据需要而具备检测区域设定部12。

符号说明

1...运动物体检测装置，3...手跟踪装置，10...图像输入部，11...运动度取得部， 12...检测区域设定部，13...颜色取得部，14...评价得分计算部，15...手检测部(运动 物体检测部)，16...似然度计算部(运动物体跟踪部)，17...手跟踪部(运动物体跟 踪部)。