检测用信息登录装置、对象物体检测装置、电子设备、检测用信息登录装置的控制方法、对象物体检测装置的控制方法、检测用信息登录装置控制程序、对象物体检测装置控制程序

摘要

本发明的数码相机(1)具有：存储部(2)，保存信息；帧图像取得部(51)，取得动画影像中的帧图像；特征点提取部，从帧图像中提取追踪用特征信息，并保存在存储部(2)中，所述追踪用特征信息是追踪拍摄的动画影像中所包含的对象物体，且向对象物体赋予特征的信息；追踪对象区域计算部，根据特征点提取部提取的追踪用特征信息与、存储部(2)中所保存的涉及帧图像的过去的追踪用特征信息之间的变化，检测对象物体的图像区域；检测用特征量提取部(52)，从追踪对象区域计算部检测出的对象物体的图像区域中，提取检测用特征信息；登录部(54)，将检测用特征量提取部(52)提取的检测用特征信息的一部分或全部登录在存储部(2)。

说明书

技术领域

本发明涉及进行物体登录和检测中的至少一方的装置，特别涉及登录物体的信息后根据登录的信息来检测物体的检测用信息登录装置、对象物体检测装置、电子设备、检测用信息登录装置的控制方法、对象物体检测装置的控制方法、检测用信息登录装置控制程序以及对象物体检测装置控制程序。

背景技术

近年，对于数码相机(digital still camera)、数码摄像机等摄像器材来说，为了获得最佳图像，对自动识别拍摄对象的要求越来越高。例如，已存在具有自动检测出人脸并根据检测出的人脸调整最佳焦点及曝光等功能的数码相机。

在用相机进行拍摄时，宠物等动物作为拍摄对象的情况也很多。其与检测出人脸的功能一样，也需要自动检测出作为拍摄对象的动物进而对焦点及曝光进行修正的功能。

然而，在现有技术中，检测人脸的技术虽然已经达到实用的程度，但检测人以外的动物的技术却很有限。其中1个理由如下所述。即，在检测某拍摄对象时，首先，需要预先对该拍摄对象的特征进行定义。在这一点上，对于人脸来说，由于具有共通特征的部分很多，所以较容易定义。然而，动物与人相比种类多种多样，很难预先定义。例如，在定义狗时，即使同为狗，也会因种类不同而导致其脸形、体型、颜色、毛的长度、耳朵的形状等都与检测人时相比有很大差别。因此，很难预先定义狗的特征，也因此很难自动检测出不能预先定义的狗。此外，在拍摄时，动物并不会都像人一样正对着拍摄者，有时朝向各种不同的方向，有时摆出各种不同的姿势。在这一点上，造成了在技术上更加难以实现自动识别。

自动识别物体的技术有如下几种。在专利文献1中，公开了一种在具有脸部识别功能的电子相机上，根据识别的被摄体的信息进行各种处理的技术。

在专利文献2中，记载了一种将多台相机拍摄的图像输入共通的图像处理装置，且在该图像处理装置中，通过对数据库中登录的模型数据与相机拍摄的图像进行对照，来检测物体的存在位置、物体的种类、以及距离物体的大致距离的技术。

在专利文献3中，记载了一种推测物体的视角上的效果变化，并进行模型化，进而对模型化的数据与输入的图像数据进行对照的技术。

在专利文献4中，记载了一种对监视空间中存在的检测对象进行监视的图像识别装置，该图像识别装置在背景图像与输入图像发生变化时，利用小动物的指标，对该变化是否由小动物造成进行判断的技术。

在专利文献5中，公开了一种利用热感图像进行车辆识别，来判断/区分其种类的技术。

在专利文献6中，公开了一种从动物鼻子的整体图像中提取鼻子的轮廓、以及2个鼻孔各自的轮廓，生成识别动物的信息的技术。

专利文献1：日本国专利申请公开公报，“特开2007-282119号公报”；2007年10月25日公开。

专利文献2：日本国专利申请公开公报，“特开2002-83297号公报”；2002年3月22日公开。

专利文献3：日本国专利申请公开公报，“特开2001-307096号公报”；2001年11月2日公开。

专利文献4：日本国专利申请公开公报，“特开2006-155167号公报”；2006年6月15日公开。

专利文献5：日本国专利申请公开公报，“特开平8-16987号公报”；1996年1月19日公开。

专利文献6：日本国专利申请公开公报，“特开2007-135501号公报”；2007年6月7日公开。

发明内容

然而，根据上述以往的技术结构，会产生下述问题。即，专利文献1中记载的技术为识别人脸的技术。如上所述，原本很难预先定义动物，所以很难与检测人脸时一样来检测动物。

将专利文献2中记载的技术应用于动物时，需要登录大量的模型数据。此外，就登录来说，需要登录各种朝向、各种位置时的数据，用户不清楚哪个朝向上或哪个位置上需要登录多少数据，因此对于用户来说，登录并不是容易的。

专利文献3中记载的技术在登录时为了进行模型化，需要对拍摄环境(朝向、姿势等)的信息进行精确的计算，因此，需要截取出对象物。然而，很难从静止的图像中截取对象物，因此用于截取的工作很费工夫，登录也并不容易。

本发明就是鉴于上述问题而进行的，其目的在于，实现一种用户可以容易地登录成为检测对象的动物的装置以及从输入的图像中检测出登录动物的装置，即检测用信息登录装置、对象物体检测装置等。

为了解决上述问题，本发明的检测用信息登录装置为一种登录检测用特征信息的检测用信息登录装置，该检测用特征信息是用于对拍摄的动画影像中所包含的对象物体进行检测且向该对象物体赋予特征的信息，该检测用信息登录装置的特征在于：存储部，保存信息；图像取得单元，取得上述动画影像中的帧图像；追踪用特征提取单元，从上述帧图像中提取追踪用特征信息，并保存在上述存储部中，其中，所述追踪用特征信息是用于对拍摄的动画影像中所包含的对象物体进行追踪且向该对象物体赋予特征的信息；对象物体区域检测单元，根据上述追踪用特征提取单元所提取的追踪用特征信息与、上述存储部中保存的涉及上述帧图像的过去的上述追踪用特征信息之间的变化，检测上述对象物体的图像区域；检测用特征提取单元，从上述对象物体区域检测单元所检测出的上述对象物体的图像区域中，提取上述检测用特征信息；检测用特征登录单元，将上述检测用特征提取单元所提取的上述检测用特征信息的一部分或全部登录在上述存储部中。

此外，本发明的检测用信息登录装置的控制方法的特征在于包含有：图像取得步骤，取得上述动画影像中的帧图像；追踪用特征提取步骤，从上述帧图像中提取追踪用特征信息，并保存在存储部中，其中，所述追踪用特征信息是用于对拍摄的动画影像中所包含的对象物体进行追踪且向该对象物体赋予特征的信息；对象物体区域检测步骤，根据在上述追踪用特征提取步骤中提取的追踪用特征信息与、存储部中保存的涉及上述帧图像的过去的上述追踪用特征信息之间的变化，检测上述对象物体的图像区域；检测用特征提取步骤，从在上述对象物体区域检测步骤中检测出的上述对象物体的图像区域中，提取上述检测用特征信息；检测用特征登录步骤，将在上述检测用特征提取步骤中提取的上述检测用特征信息的一部分或全部登录在存储部中。

根据上述结构及方法，从动画影像中取得帧图像。然后，从取得的帧图像中，提取用于追踪动画影像中的对象物体的追踪用特征信息，并保存在存储部中。然后，根据存储部中所保存的过去的追踪用特征信息与现在的追踪用特征信息之间的变化，检测出对象物体的图像区域。然后，从对象物体的图像区域中提取检测用特征信息，并保存在存储部中。

由此，由于登录了用于检测出对象物体的检测用特征信息，只需以动画形式拍摄对象物体，就能够容易地登录对象物体的特征。

本发明的检测用信息登录装置可以具有：运动变化量计算单元，根据上述追踪用特征提取单元所提取的追踪用特征信息与、上述存储部中保存的涉及上述帧图像的过去的上述追踪用特征信息之间的变化，且根据上述对象物体区域检测单元所检测出的对象物体区域的信息，计算上述对象物体在上述帧图像中的运动变化量；类似度计算单元，计算上述检测用特征提取单元所提取的检测用特征信息与上述存储部中保存的检测用特征信息之间的类似度；充足度计算单元，根据上述运动变化量计算单元计算出的运动变化量以及上述类似度计算单元计算出的类似度，计算出充足度，其中，该充足度是指上述存储部中保存的检测用特征信息的量相对于检测用特征信息的推测必要量的比例程度，该推测必要量是为了从含有上述对象物体的任意的被摄体拍摄图像中检测出上述对象物体而需要的量。

根据上述结构，运动变化量计算单元根据追踪用特征提取单元所提取的追踪用特征信息与、存储部中保存的涉及帧图像的过去的追踪用特征信息之间的变化，且根据对象物体区域检测单元所检测出的对象物体区域的信息，计算对象物体在帧图像中的运动变化量。充足度计算单元根据运动变化计算单元计算出的运动变化量以及类似度计算单元计算出的类似度，计算出充足度。

在此，移动量或朝向的变化量等均可以为上述运动变化量的一例。

由此，计算出充足度，所述充足度表示的是：所保存的检测用特征信息的量相对于检测用特征信息的推测必要量的比例程度，该推测必要量是为了检测出对象物体而需要的量。

因此，例如，能够通过通知充足度，促使用户登录检测用特征信息，以使检测用特征信息达到为检测出对象物体而需要的的检测用特征信息的推测量。

本发明的检测用信息登录装置还可以具有初始位置取得单元，预先取得动画影像中的对象物体的初始位置信息；对于上述图像取得单元取得的最初的帧图像，上述追踪用特征提取单元和上述对象物体区域检测单元运用上述存储部中所保存的初始位置的信息。

根据上述结构，初始位置取得单元预先取得对象物体的初始位置信息，并保存在存储部中。对于图像取得单元取得的最初的帧图像，追踪用特征提取单元和对象物体区域检测单元运用上述存储部中所保存的初始位置的信息。

于是，由于预先指定了对象物体的初始位置，因此追踪用特征提取单元和对象物体区域检测单元能够更准确地检测出存在有对象物体的区域。

优选为：本发明的检测用信息登录装置还具有共通特征特定单元，特定与上述存储部中所保存的多个检测用特征信息的全部或一部分相共通的1个或多个检测用共通特征信息；上述检测用特征登录单元还将上述共通特征特定单元特定的检测用共通特征信息登录到上述存储部中。

根据上述结构，共通特征特定单元特定与上述存储部中保存的多个检测用特征信息的全部或一部分相共通的1个或多个检测用共通特征信息。然后，将特定的检测用共通特征信息保存在存储部中。

由此，就可以在需要时利用检测用共通特征信息。

例如，当检测对象物体时，通过利用检测用共通特征信息，能够从整个图像中检测出对象物体存在的可能性高的区域。

本发明的检测用信息登录装置也可将要保存到上述存储部的检测用特征信息与识别多个上述对象物体的识别信息相对应地保存。

根据上述结构，检测用特征信息与识别多个上述对象物体的识别信息相对应地保存。

由此，就能够登录多个对象物体。

为了解决上述问题，本发明的对象物体检测装置为用于检测拍摄的动画影像中包含的对象物体的对象物体检测装置，其特征在于：具有存储部，保存多个检测用特征信息以及与该多个检测用特征信息的全部或一部分相共通的检测用共通特征信息，其中，所述检测用特征信息是用于检测上述对象物体，且向该对象物体赋予特征的信息；图像取得单元，取得上述动画影像中的帧图像；检测用特征提取单元，从上述图像取得单元所取得的帧图像中，提取检测用特征信息；候补区域探索单元，根据上述检测用特征提取单元提取的检测用特征信息和上述存储部中的检测用共通特征信息，探索具有与上述检测用共通特征信息相类似的检测用特征信息的区域，且将该区域作为候补区域，其中，该候补区域是指上述帧图像中有可能存在上述对象物体的区域；类似度计算单元，计算上述候补区域探索单元探索出的候补区域中所包含的检测用特征信息与上述存储部中的检测用特征信息之间的类似度；判断单元，根据上述类似度计算单元计算出的类似度，判断上述候补区域是否为上述帧图像中存在有上述对象物体的区域。

此外，本发明的对象物体检测装置的控制方法为用于检测拍摄的动画影像中包含的对象物体的对象物体检测装置的控制方法，其特征在于包含有：图像取得步骤，取得上述动画影像中的帧图像；检测用特征提取步骤，从在上述图像取得步骤中取得的帧图像中，提取检测用特征信息；候补区域探索步骤，根据在上述检测用特征提取步骤中提取的检测用特征信息以及与存储部中保存的与多个检测用特征信息的全部或一部分相共通的1个或多个检测用共通特征信息，将具有与上述检测用共通特征信息相类似的检测用特征信息的区域作为候补区域来探索，其中，该候补区域是指上述帧图像中有可能存在上述对象物体的区域，上述检测用特征信息是向对象物体赋予特征的信息；类似度计算步骤，计算在上述候补区域探索步骤中探索出的候补区域所包含的检测用特征信息与、上述存储部中保存的检测用特征信息之间的类似度；判断步骤，根据在上述类似度计算步骤中计算出的类似度，判断上述候补区域是否为上述帧图像中存在有上述对象物体的区域。

根据上述结构和方法，根据存储部中保存的、与多个给对象物体赋予特征的信息(即检测用特征信息)的全部或一部分共通的1个或多个检测用共通特征信息，在从拍摄的动画影像中取得的帧图像中，探索具有与上述检测用共通特征信息相类似的检测用特征信息的区域(即候补区域)。

计算探索出的候补区域的检测用特征信息与上述检测用特征信息之间的类似度，并根据计算出的类似度，判断上述候补区域是否为存在有对象物体的区域。

由此，就能够将与存储部中所保存的检测用特征信息相类似的检测用特征信息的区域判断为存在有对象物体区域。

例如，若预先登录用户饲养的狗的检测用特征信息，则在用对象物体检测装置拍摄图像时，如果用户饲养的狗存在于拍摄范围中，便能够检测出存在该狗的区域。

本发明的对象物体检测装置也可以具有追踪单元，追踪存在有上述对象物体的区域。

根据上述结构，追踪单元追踪存在有期望物体的区域。由此，一旦检测出存在有期望物体的区域，则无需再次进行检测处理，就能够持续检测出存在有期望物体的区域。

包含上述检测用信息登录装置和上述对象物体检测装置的电子设备也能够取得上述效果。

本发明的电子仪器可以具有通知单元，具有通知单元，用于根据上述充足度计算单元计算出的充足度，向用户进行通知。

由此，根据充足度来向用户进行通知。于是，用户能够根据充足度进行处理。

例如，充足度计算单元计算出的充足度超过预定的阈值时，若通知单元向用户通知能够结束登录，用户便能够识得知已保存着足够能特定登录对象物体的特征量。

在此，预先指定的阈值是指：若充足度超过该阈值，则意味着特征量存储部所保存的特征量达到足够特定对象物体的量。

此外，在充足度计算单元计算出的充足度没有超过预先指定的阈值时，通知单元也可以向用户通知以下所述的至少一方：表示上述充足度没有超过预先指定的阈值的消息；为了使上述充足度超过预先指定的阈值而需的动作的指示。由此，当充足度没有超过预先指定的阈值时，用户能够得知以下的至少一方，即，表示充足度没有超过预先指定的阈值的消息、以及为了使充足度超过预先指定的阈值而需的动作的指示。

上述检测用信息登录装置和对象物体检测装置也可以通过计算机来实现，在该情况下，使计算机作为上述各单元而发生功能，从而用计算机来实现上述检测用信息登录装置和对象物体检测装置的检测用信息登录装置控制程序、对象物体检测装置控制程序、以及保存有该些控制程序的计算机可读取的存储介质也包含在本发明的范畴内。

综上所述，本发明的检测用信息登录装置为一种登录检测用特征信息的检测用信息登录装置，该检测用特征信息是用于对拍摄的动画影像中所包含的对象物体进行检测且向该对象物体赋予特征的信息，该检测用信息登录装置具有：存储部，保存信息；图像取得单元，取得上述动画影像中的帧图像；追踪用特征提取单元，从上述帧图像中提取追踪用特征信息，并保存在上述存储部中，其中，所述追踪用特征信息是用于对拍摄的动画影像中所包含的对象物体进行追踪且向该对象物体赋予特征的信息；对象物体区域检测单元，根据上述追踪用特征提取单元所提取的追踪用特征信息与、上述存储部中保存的涉及上述帧图像的过去的上述追踪用特征信息之间的变化，检测上述对象物体的图像区域；检测用特征提取单元，从上述对象物体区域检测单元所检测出的上述对象物体的图像区域中，提取上述检测用特征信息；检测用特征登录单元，将上述检测用特征提取单元所提取的上述检测用特征信息的一部分或全部登录在上述存储部中。

此外，本发明的检测用信息登录装置的控制方法包含有：图像取得步骤，取得上述动画影像中的帧图像；追踪用特征提取步骤，从上述帧图像中提取追踪用特征信息，并保存在存储部中，其中，所述追踪用特征信息是用于对拍摄的动画影像中所包含的对象物体进行追踪且向该对象物体赋予特征的信息；对象物体区域检测步骤，根据在上述追踪用特征提取步骤中提取的追踪用特征信息与、存储部中保存的涉及上述帧图像的过去的上述追踪用特征信息之间的变化，检测上述对象物体的图像区域；检测用特征提取步骤，从在上述对象物体区域检测步骤中检测出的上述对象物体的图像区域中，提取上述检测用特征信息；检测用特征登录步骤，将在上述检测用特征提取步骤中提取的上述检测用特征信息的一部分或全部登录在存储部中。

由此，由于登录了用于检测出对象物体的检测用特征信息，只需以动画形式拍摄对象物体，就能够容易地登录对象物体的特征。

此外，本发明的对象物体检测装置为用于检测拍摄的动画影像中包含的对象物体的对象物体检测装置，具有：存储部，保存多个检测用特征信息以及与该多个检测用特征信息的全部或一部分相共通的检测用共通特征信息，其中，所述检测用特征信息是用于检测上述对象物体，且向该对象物体赋予特征的信息；图像取得单元，取得上述动画影像中的帧图像；检测用特征提取单元，从上述图像取得单元所取得的帧图像中，提取检测用特征信息；候补区域探索单元，根据上述检测用特征提取单元提取的检测用特征信息和上述存储部中的检测用共通特征信息，探索具有与上述检测用共通特征信息相类似的检测用特征信息的区域，且将该区域作为候补区域，其中，该候补区域是指上述帧图像中有可能存在上述对象物体的区域；类似度计算单元，计算上述候补区域探索单元探索出的候补区域中所包含的检测用特征信息与上述存储部中的检测用特征信息之间的类似度；判断单元，根据上述类似度计算单元计算出的类似度，判断上述候补区域是否为上述帧图像中存在有上述对象物体的区域。

而且，本发明的对象物体检测装置的控制方法为用于检测拍摄的动画影像中包含的对象物体的对象物体检测装置的控制方法，其包含有：图像取得步骤，取得上述动画影像中的帧图像；检测用特征提取步骤，从在上述图像取得步骤中取得的帧图像中，提取检测用特征信息；候补区域探索步骤，根据在上述检测用特征提取步骤中提取的检测用特征信息以及与存储部中保存的与多个检测用特征信息的全部或一部分相共通的1个或多个检测用共通特征信息，将具有与上述检测用共通特征信息相类似的检测用特征信息的区域作为候补区域来探索，其中，该候补区域是指上述帧图像中有可能存在上述对象物体的区域，上述检测用特征信息是向对象物体赋予特征的信息；类似度计算步骤，计算在上述候补区域探索步骤中探索出的候补区域所包含的检测用特征信息与、上述存储部中保存的检测用特征信息之间的类似度；判断步骤，根据在上述类似度计算步骤中计算出的类似度，判断上述候补区域是否为上述帧图像中存在有上述对象物体的区域。

根据上述结构和方法，根据存储部中保存的、与多个给对象物体赋予特征的信息(即检测用特征信息)的全部或一部分共通的1个或多个检测用共通特征信息，在从拍摄的动画影像中取得的帧图像中，探索具有与上述检测用共通特征信息相类似的检测用特征信息的区域(即候补区域)。

由此，就能够将与存储部中所保存的检测用特征信息相类似的检测用特征信息的区域判断为存在有对象物体区域。

例如，若预先登录用户饲养的狗的检测用特征信息，则在用对象物体检测装置拍摄图像时，如果用户饲养的狗存在于拍摄范围中，便能够检测出存在该狗的区域。

本发明的其他目的、特征和优越点在以下的记述中会变得十分明了。另外，本发明的益处将通过以下的说明和附图而变得明确。

附图说明

图1表示本发明的实施方式，是表示数码相机的登录处理部的结构框图。

图2是表示上述实施方式的数码相机的结构框图。

图3是表示上述实施方式的数码相机的模型信息存储部中所保存的内容的说明图。

图4是表示上述实施方式的数码相机的追踪处理部的构成框图。

图5是表示上述实施方式的数码相机的追踪信息存储部中所保存的追踪信息的说明图。

图6是表示上述实施方式的数码相机的检测处理部的构成框图。

图7是表示上述实施方式的数码相机中的对象物体的登录处理流程的流程图。

图8是表示上述实施方式的数码相机的追踪处理初始化流程的流程图。

图9是表示上述实施方式的数码相机的追踪处理流程的流程图。

图10是表示上述实施方式的数码相机1检测对象物体时的处理流程的流程图。

图11是在上述实施方式中的登录狗时的说明图，图11中(a)是指定了狗的存在区域中的某1点时的状态图，图11中(b)是判断出所要登录的狗的区域时的状态图。

图12是在上述实施方式中检测出狗时的说明图，图12中(a)是在拍摄中的图像中存在狗时的状态图，图12中(b)是表示候补区域的图，图12中(c)是表示检测出的狗的存在区域的图。

(附图标记说明)

1数码相机

2存储部

3操作受理部

4拍摄部

5显示部

6控制部

11帧图像取出部

12登录处理部

13追踪处理部(追踪单元)

14检测处理部

21帧缓冲区

22模型信息存储部

23追踪信息存储部

31移动区域预测部

32特征点提取部(追踪用特征提取单元)

33移动量计算部

34追踪对象区域计算部

35帧信息更新部

36追踪信息初始设定部

41、51帧图像取得部(图像取得单元)

42特征量提取部(检测用特征提取单元)

43候补区域探索部(候补区域探索单元)

44候补区域特征量提取部

45、53类似度计算部(类似度计算单元)

46中心位置计算部(判定单元)

47、56结果输出部(通知单元)

52检测用特征量提取部(对象物体区域检测单元、检测用特征提取单元)

54登录部(检测用特征登录单元)

55充足度计算部(运动变化量计算单元、充足度计算单元)

57共通特征量提取部(共通特征特定单元)

58初始位置取得部(初始位置取得单元)

具体实施方式

下面通过实施例和比较例，对本发明进行更详尽地说明，但本发明并不局限于这些实施例或比较例。

根据图1至图12，对本发明的一个实施方式进行如下说明。

图2是表示本实施方式的数码相机1的结构框图。如图2所示，数码相机1具有存储部2、操作受理部3、拍摄部4、显示部5、以及控制部6。

数码相机1可容易地登录作为检测对象的物体(对象物体)，并使用供检测而登录的物体信息(检测用特征信息)，从拍摄的图像中检测期望的物体，并通知检测结果。

例如，若在数码相机1中预先登录用户侍养的宠物的检测用特征信息，于是在拍摄包含该宠物的图像时，就能够检测出拍摄图像上的宠物的存在区域。

并且，数码相机1如果具有对所检测出的区域进行自动调整焦点及曝光的功能，就能够自动对宠物调整焦点及曝光。

下面，对数码相机1的各部进行说明。

存储部2用于保存数码相机1拍摄的图像、检测处理用数据、以及追踪处理用数据等。该存储部2具有帧缓冲区21、模型信息存储部(特征量存储部)22、以及追踪信息存储部23。关于上述帧缓冲区21、模型信息存储部22、以及追踪信息存储部23的详细内容将在后文中说明。闪存(flash memory)可为该存储部2的具体例子之一。此外，如果只需要能够暂时进行保存的部件(帧缓冲区等)，也可以使用RAM(Random Access Memory：随机存取存储器)，如果只需要读取程序等信息的部件，也可以使用ROM(Read Only Memory：只读存储器)。

操作受理部3用于受理对数码相机1进行的操作。例如，受理表示登录对象物体的ID(identification：识别信息)，或受理在显示部5上进行的表示对象物体在什么位置的操作。关于该对象物体的位置，可以在触屏方式的画面上来指定对像物体的位置，也可以在画面上显示光标，从而用该光标来指定位置。关于操作受理部3的具体例，例如可以是各种按键、或触屏等。

拍摄部4用于进行对象物体等被摄体的拍摄并生成视音频数据。具体为，拍摄部4可以具有拍摄元件和将该拍摄元件的电信号转换成RGB各色的数字视音频数据的视音频处理电路，所述拍摄元件可以是将来自被摄体的光转换成电信号的CCD(Charge Coupled Device：电荷耦合器件)、CMOS(Complementary Metal-oxide Semiconductor：互补金属氧化半导体)等图像传感器。拍摄部4将生成的视音频数据发送给控制部6。此外，拍摄部4也可以具有AF(auto focus：自动聚焦)功能。

显示部5用于显示拍摄部4拍摄的图像、或数码相机1的状态以及检测结果等。该显示部5可以通过能够显示信息的任何显示装置来实现，具体来说，例如，可以通过液晶显示器，有机EL(Electro Luminescence：电致发光)显示器、等离子显示器等来实现。

控制部6具有帧图像取出部11、登录处理部12、追踪处理部(追踪单元)13、以及检测处理部14。控制部6用于对要检测的物体进行登录、追踪和检测。登录处理部12、追踪处理部13、以及检测处理部14的详细内容将在后文中说明。

帧图像取出部11用于从拍摄部4发送的视音频数据中取出帧图像，并将取出的帧图像保存在帧缓冲区21中。

帧缓冲区21用于保存帧图像取出部11取出的帧图像。

下面，根据图1对登录处理部12进行说明。图1是表示本实施方式的数码相机1的登录处理部12的结构框图。如图1所示，登录处理部12具有帧图像取得部(图像取得单元)51、检测用特征量提取部(对象物体区域检测单元、检测用特征提取单元)52、类似度计算部(类似度计算单元)53、登录部(检测用特征登录单元)54、充足度计算部(运动变化量计算单元、充足度计算单元)55、结果输出部56、共通特征量提取部(共通特征特定单元)57、以及初始位置取得部(初始位置取得单元)58。

另外，登录处理部12用于对取得的帧图像上的对象物体的特征量(检测用特征信息)进行提取，并保存在模型信息存储部22中。在模型信息存储部22中保存了图3所示的下述内容。图3是表示模型信息存储部22中所保存的内容的说明图。模型信息存储部22保存有表示对象物体的ID、表示该对象物体在每帧中的各自特征量的特征量信息、对与上述每帧的特征量相共通的特征量(即共通特征量)进行表示的共通特征量信息。

另外，如果存在多个ID，则有多少个ID，便保存多少组上述信息。

帧图像取得部51用于从帧缓冲区21中取得帧图像，并发送给检测用特征量提取部52。

检测用特征量提取部52用于从帧图像取得部51所取得的帧图像中，提取对象物体的特征量。然后，将提取的特征量发送给类似度计算部53。按如下所示的方式进行对象物体特征量的提取。即，根据用户通过操作受理部3指定的对象物体的位置、以及追踪处理部13所得到的特征点信息在帧图像上的变化，检测出对象物体的区域。

也可以根据多个帧图像在图像上的变化，将背景区域和对象物体区域分离，从而检测出对象物体区域。

然后，提取检测出的对象物体区域的特征量。特征量是指，从图像中得到的颜色信息或边缘信息等用以表示对象物体特征的信息。

并且，关于已被检测出一次的对象物体区域，以后通过追踪处理部对该区域进行追踪，就能够持续检测出该对象物体区域，进而能够提取特征量。对于追踪处理的详细内容，将在后文中说明。

当保存有表示与要登录到模型信息存储部22中的对象物体相同的对象物体的特征量时，类似度计算部53计算所取得的特征量与模型信息存储部22中保存的同一对象物体的特征量之间的类似度。然后，将计算结果发送给登录部54。

若登录部54从类似度计算部53中取得的类似度在预定值的范围内，则登录部54将检测用特征量提取部52所提取的特征量作为用以表示对象物体的特征量，而保存在模型信息存储部22中。然后，登录部54将表示登录结束的信息发送给充足度计算部55。

在此，只有当类似度在预定范围内时才保存特征量，其理由如下。即，若类似度过大，换言之，若已经登录的特征量与将要登录的特征量太过相似，则没有登录的意义。反之，若类似度过小，换言之，若已经登录的特征量与将要登录的特征量太过不同，则将二者作为表示同一对象物体的特征量来处理是不合适的。

从登录部54中取得了表示登录结束的信息后，充足度计算部55对充足度进行计算，所述充足度用来表示模型信息存储部22所保存的特征量能够对对象物体进行到什么程度的特定。然后，若计算出的充足度达到能够特定对象物体的程度，则将用于通知能够结束登录的信息发送给结果输出部56；若计算出的充足度未达到能够特定出对象物体的程度，则将用于通知仍需要登录数据的信息发送给结果输出部56。

充足度通过以下方法而计算得出：根据在移动量计算中得到的回转角度变化量，推测出对象物体的朝向；且根据在同一位置上回转时的特征量的差分，推测出对象物体的姿势。

在此，对类似度、朝向的位置变化、充足度进行说明。

设：登录数据数为m个，特征量的维数为n，第i个登录数据的特征量为F_i，该登录数据的特征量中拥有的第k个特征为F_i[k]。此时，2个登录数据的差值(数值越大区别就越大)可以通过以下数式来计算。

[数式1]

$D_{i,j}={\Sigma }_{k=1}^n\left|F_i\right[k]-F_j[k\left]\right|$

类似度S_i，j可以通过以下数式来计算。

S_i，j＝D_max-D_i，j

(D_max为差值的最大值)

朝向的位置变化可以通过以下方式来计算。

各登录数据中保存有根据登录开始时的帧(第1个登录数据)所推测的朝向(回转角度)。该回转角度可以使用“roll-pitch-yaw角”，所述“roll-pitch-yaw角”是通过以3维的x轴、y轴、z轴为中心轴进行回转的α(roll)、β(pitch)、γ(yaW)来表现的。

在使用“roll-pitch-yaW角”时，设：第i个登录数据的回转角为r_i(α_i，β_i，γ_i)，回转矩阵为R[i]，则第i个回转矩阵可以通过以下方法来计算。

R[i]＝R_z(γ_i)·R_x(α_i)·R_y(β_i)

[数式2]

$R_x\left(\alpha \right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos \alpha & \sin \alpha \\ 0& -\sin \alpha & \cos \alpha \end{array}\right),$$R_y\left(\beta \right)=\left(\begin{array}{ccc}\cos \beta & 0& -\sin \beta \\ 0& 1& 0\\ \sin \beta & 0& \cos \beta \end{array}\right),$$R_z\left(\gamma \right)=\left(\begin{array}{ccc}\cos \gamma & \sin \gamma & 0\\ -\sin \gamma & \cos \gamma & 0\\ 0& 0& 1\end{array}\right)$

于是，从第i个登录数据到第j个登录数据的回转矩阵可以用以下式子表示。

R[i→j]＝R[j]·R[i]^-1

此时的回转角的大小(第i个登录数据与第j个登录数据在朝向上的位置变化)如下。

[数式3]

||R[i→j]||

充足度的求法可以例如是如下的方法。在此，充足度用来表示登录数据的丰富性。

第1个方法为，根据朝向位置变化大小来求得充足度。该方法是以已登录数据的全部组合中的朝向位置变化大小的总和来表示充足度，该充足度可以通过以下数式求得。

[数式4]

$C_r={\Sigma }_{i=1}^{m-1}{\Sigma }_{j=i}^{j=m}\left|\right|R[i\to j]\left|\right|$

第2个方法为，根据特征量差值求得充足度。该方法是通过计算出已登录的数据的全部组合中的特征量差值的总和来计算充足度的，该充足度可以通过以下数式求得。

[数式5]

$C_f={\Sigma }_{i=1}^{m-1}{\Sigma }_{j=i}^{j=m}{D}_{i,j}$

第3个方法为，根据朝向位置变化大小和特征量差值这两者来求得充足度。该方法为：对于由2个登录数据组成的组合，若朝向的位置变化大，则根据朝向位置变化大小来计算充足度；若朝向的位置变化小，则根据特征量差值来计算充足度，该充足度可以通过以下数式求得。

[数式6]

$C_b={\Sigma }_{i=1}^{m-1}{\Sigma }_{j=i}^{j=m}\mathrm{Max}\left(\right|\left|R_{i\to j}\right||,D_{i,j})$

结果输出部56用于从充足度计算部55中取得信息，并通知该信息所表示的内容。

共通特征量提取部用于提取与模型信息存储部22中所保存的每个帧的特征量相共通的特征量(检测用共通特征信息)，并将其作为用以表示对象物体的共通特征量而保存在模型信息存储部22中。

初始位置取得部58用于取得操作受理部3受理的用以表示位置的数据，并发送给帧图像取得部51。

下面，根据图4对追踪处理部13进行说明。图4是表示本实施方式的数码相机1的追踪处理部13的构成框图。

如图4所示，追踪处理部13具有移动区域预测部31、特征点提取部(追踪用特征提取单元)32、移动量计算部33、追踪对象区域计算部34、帧信息更新部35以及追踪信息初始设定部36。且追踪处理部13利用追踪信息存储部23中所保存的追踪信息，进行追踪处理。图5是表示追踪信息存储部23中所保存的追踪信息的说明图。

如图5所示，追踪信息存储部23保存有：表示追踪对象的追踪用ID、表示是否已检测出追踪对象以及表示是否为正在追踪的状况信息、帧信息。这些信息与每个ID对应地保存。即，如果存在多个ID，则有多少ID，便对应保存多少组上述信息。

此外，帧信息中还包含有表示追踪对象的中心位置座标的位置信息、特征点信息(追踪用特征信息)、追踪对象在图像上的区域信息即追踪对象区域信息、表示初始帧以及与前一帧相比的移动量的帧移动量。若状况为正在追踪，则保存该正在追踪的帧的对应帧信息。另外，也可以保存过去几帧的对应帧信息。

移动区域预测部31用于根据追踪信息存储部23中所保存的帧移动量，来预测追踪对象在当前帧上的存在区域。

特征点提取部32用于提取追踪对象的特征点。特征点是指，部分点上的用以显现追踪对象特征的颜色信息或边缘信息等。然而特征点并不局限于点，也可以为区域。

移动量计算部33根据特征点提取部32所提取的特征点的变化来计算追踪对象的相对移动量。追踪对象的移动量能够通过相对位置(x，y，z)的变化以及追踪对象的回转(α，β，γ)等来表现。

追踪对象区域计算部34根据特征点提取部32所提取的特征点的变化来使追踪对象区域和背景区域分离，从而特定出追踪对象的区域。

帧信息更新部35用于将追踪信息存储部23中所保存的信息更新为当前帧的特征点的位置、特征点信息、追踪对象区域信息、帧移动量等。

追踪信息初始设定部36用于将追踪信息存储部23中所保存的信息设定为初始值。该初始值为开始追踪时的帧中的位置信息、特征点信息、追踪对象区域信息。

下面，根据图6对检测处理部14进行说明。图6是表示本实施方式的数码相机1的检测处理部14的构成框图。如图6所示，检测处理部14具有帧图像取得部(图像取得单元)41、特征量提取部(检测用特征提取单元)42、候补区域探索部(候补区域探索单元)43、候补区域特征量提取部44、类似度计算部(类似度计算单元)45、中心位置计算部(判定单元)46、结果输出部(通知单元)47。

检测处理部14用于探索一帧图像中的哪个位置上有模型信息存储部22中所保存的对象物体，并输出探索结果。

帧图像取得部41用于从帧缓冲区21中取得帧图像。并将取得的帧图像发送给特征量提取部42。

特征量提取部42用于提取从帧图像取得部41中取得的帧图像的特征量。

候补区域探索部43对帧图像取得部41取得的帧图像进行扫描，并利用模型信息存储部22中所保存的共通特征量，对对象物体存在可能性高的区域(候补区域)进行探索。然后，将作为探索结果的候补区域发送给候补区域特征量提取部44。此外，也有在1帧的图像中探索多个候补区域的情况。

候补区域特征量提取部44用于提取从候补区域探索部43中取得的候补区域的特征量。然后将提取的特征量发送给类似度计算部45。

类似度计算部45用于对从候补区域特征量提取部44取得的特征量和模型信息存储部22中所保存的特征量进行比较，进而计算出类似度。

中心位置计算部46在类似度计算部45计算出的类似度超过阈值时，将候补区域探索部43探索的候补区域视为对象物体的存在区域，并计算该区域的中心位置。然后，将表示中心位置的信息输出给结果输出部47。

结果输出部47将从中心位置计算部46中取得的中心位置在显示部5上显示。

下面，根据图7～图10，对数码相机1中的对象物体的登录、追踪、检测的处理流程进行说明。图7是表示数码相机1中的对象物体登录处理流程的流程图。

如图7所示，受理了用户通过操作受理部3输入的对象物体的位置后(S701)，帧图像取出部11从正在拍摄的动画影像中取出帧图像(S702)。然后，登录处理部12判断登录是否结束(S703)，若登录没有结束(在S703为否)，则追踪处理部13判断帧图像取出部11取出的帧图像是否为初始帧(S704)。

若为初始帧(在S704为是)，则追踪处理部13生成追踪用ID，并进行追踪处理初始化(S706)。关于追踪处理初始化将在后文中说明。然后，返回S702。另一方面，若不为初始帧(在S704为否)，则追踪处理部13开始进行追踪处理(S707)。关于追踪处理将在后文中说明。

然后，检测用特征量提取部52确认追踪信息存储部23中所保存的状况信息和帧信息(S708)，以判断状态是否有误(S709)。若状况有误(在S709为否)，则显示部5进行出错显示(S719)，并结束登录处理。另一方面，若状态无误(在S709为是)，则检测用特征量提取部52提取对象物体的特征量(S710)。

在此，“状况有误”是指追踪处理没有正常结束。“状况”表示追踪的状态，“状况”包括“未识别”、“已识别”、“跟踪中”这3个状态。“未识别”代表已被初始化的状态。“已识别”代表跟踪(追踪)未被初始化的状态。“跟踪中”代表正在跟踪(追踪)。

当从S705进行到S706时，或从后述S1013进行到S1014时，状况由“未识别”变为“已识别”。且在后述S802时，状况由“已识别”变为“跟踪中”。此外，在S716之前，或后述S907之前，状况由“跟踪中”变为“未识别”。

然后，类似度计算部53对检测用特征量提取部52提取的对象物体的特征量和已登录的同一对象物体的特征量进行比较，并计算出类似度(S711)。若类似度不在预定的范围内(在S712为否)，则不进行登录，而返回S702。另一方面，若类似度在预定的范围内(在S712为是)，则登录部54将对象物体的特征量保存在模型信息存储部22中(S713)。

充足度计算部55计算出模型信息存储部22中所保存的特征量的充足度(S714)。然后，显示部5显示计算结果(S715)。之后返回S702。

另外，当因充足度超过阈值等原因而结束登录时(在S703为是)，则共通特征量提取部57计算模型信息存储部22中所保存的每一帧的特征量的共通特征量(S716)。然后，受理该对象物体的ID(S717)，显示部5显示登录结果(S718)，由此，登录处理结束。

以上为登录处理的流程。下面根据图8对追踪处理初始化的流程进行说明。图8是表示数码相机1的追踪处理初始化流程的流程图。

如图8所示，在进行追踪处理初始化时，特征点提取部32提取追踪对象的特征点(S801)。然后，追踪信息初始设定部36只将特征点提取部32提取的特征点的位置信息保存在追踪信息存储部23中，并将其他信息重置(S802)。由此，追踪处理初始化的流程结束。

下面，根据图9对追踪处理进行说明。图9是表示数码相机1的追踪处理流程的流程图。

如图9所示，在进行追踪处理时，追踪处理部13通过过去帧中的追踪对象的移动量，预测出当前帧中的追踪对象的位置(S901)。然后，特征点提取部32提取特征点(S902)，移动量计算部33通过过去帧的特征点与当前帧的特征点之间的位置变化计算出追踪对象的移动量(S903)。然后，追踪对象区域计算部34对前一帧和当前帧进行比较，以计算出匹配度，并判断计算出的匹配度是否大于基准值(S904)。当匹配度在基准值以下时(在S904为否)，则帧信息更新部35清空追踪信息存储部中所保存的追踪信息。原因为：若前一帧与当前帧太过不同，便无法进行追踪。

另一方面，当匹配度大于基准值时(在S904为是)，则追踪对象区域计算部34根据移动量计算部33计算出的移动量，计算追踪对象与背景的边界，进而计算追踪对象区域(S905)。然后，帧信息更新部35更新帧信息(S906)。

下面，根据图10对检测处理的流程进行说明。图10是表示数码相机1检测对象物体时的处理流程的流程图。

如图10所示，首先，帧图像取出部11从拍摄中的动画影像中取出帧图像(S1001)。然后，检测处理部14判断模型信息存储部22中是否登录有表示对象物体的ID(S1002)。若ID没有被登录(在S1002为否)，则直接进行结果显示(S1016)。另一方面，若ID已被登录(在S1002为是)，则特征量提取部42提取帧图像的特征量(S1003)。然后，追踪处理部13确认追踪信息中的“状况”(S1004)，若状况为正在追踪(在S1005为是)，则进行追踪处理(S1006)。另一方面，若状况不为正在追踪(在S1005为否)，则候补区域探索部43从帧图像中探索对象物体大概会存在的区域(即候补区域)。

若存在候补区域(在S1008为是)，则候补区域特征量提取部44提取候补区域的特征量(S1009)。然后，将类似度计算部45提取的特征量和模型信息存储部22所保存的特征量进行比较，计算出类似度(S1010)。然后，当所有的候补区域的特征量的提取处理以及类似度的计算处理结束后(在S1011为是)，类似度计算部45判断计算出的类似度的最大值是否在阈值以上(S1012)。

若类似度的最大值在阈值以上(在S1012为是)，则中心位置计算部46计算出候补区域的中心位置(S1013)。当对所有ID进行完上述处理后(在S1015为是)，便显示中心位置(S1016)。

另一方面，若没有候补区域(在S1008为否)，则前进到S1015。此外，若类似度的最大值没有超过阈值(在S1012为否)，则前进到S1015。

由此，检测处理结束。

如上所述，在本实施方式中，在登录对象物体时，以动画形式拍摄对象物体。然后，在用于开始进行登录的帧中，受理对象物体的存在位置。由此，通过观察动画中各帧的变化，能够将对象物体与背景分离，进而确定对象物体的区域。由此，能够容易地登录对象物体。

另外，在检测对象物体时，利用登录的每帧的特征量的共通特征量，在拍摄的图像中探索对象物体大概会存在的区域(即候补区域)。然后，通过将探索出的候补区域的特征量和每帧中的该特征量进行比较，来判断该候补区域是否为对象物体的存在区域。由此，能够容易地检测出对象物体。

而且，通过进行追踪处理，能够自动追踪曾被检测出的对象物体。于是，即使对于没有登录的姿势或朝向也能够进行追踪，因此，能够检测出对象物体的存在区域。

下面，根据图11和图12对本实施方式的具体例子进行说明。在此，将“狗”作为对象物体。图11是在登录狗时的说明图。图11中(a)表示对狗的存在区域中的1点进行了指定时的状态，图11中(b)表示判断出了要登录的狗的区域时的状态。

如图11中(a)所示，在登录狗时，首先，指定狗的存在区域中的1点，即指定点110。然后，用上述方法对狗进行跟踪，从狗的存在区域(粗线包围的区域)中提取特征量，并进行登录。

图12是检测狗时的说明图。图12中(a)表示在拍摄中的图像中存在狗时的状态，图12的(b)中表示有候补区域，图12的(c)中表示有检测出的狗的存在区域。

如图12中(a)所示，若正拍摄的图像中存在已登录的狗，则在探索候补区域时，所探索的是如图12中(b)所示的区域。然后，将探索出的候补区域的特征量与已登录的狗的特征量进行比较，若判断为该候补区域是狗的存在领域，则如图12中(c)所示，显示出狗的存在区域。

本发明并不局限于上述各种实施方式，可以根据权利要求所示的范围进行各种变更。即，在权利要求所示的范围内组合适当变更的技术手段而得到的实施方式也包含于本发明的技术范围之内。

最后，数码相机1的各功能块，特别是控制部6，既可由硬件逻辑来构成，也可以如下所示地通过利用CPU(central processing unit)以软件来实现。

即，数码相机1具有：执行用于实现各功能的控制程序的命令的CPU；存储上述程序的ROM(read only memory：只读存储器)；展开上述程序的RAM(random access memory：随机存取存储器)；存储上述程序及各种数据的存储器等存储装置(存储介质)。另外，向数码相机1提供存储介质，该存储介质可由计算机读取且保存有数码相机1的控制程序的程序代码(执行形式程序、中间代码程序、源程序)，所述控制程序是用于实现以上所述功能的软件，通过由计算机(或CPU、MPU(microprocessor unit))来读出并执行存储介质中所保存的程序代码，也能够实现本发明的目的。

关于上述存储介质，例如可以是磁带、盒式带等的带类；也可以是包括软盘(注册商标)、硬盘等磁盘以及CD-ROM(compact disc read-only memory)、MO(magneto-optical)、MD(Mini Disc)、DVD(digital versatile disk)、CD-R(CD Recordable)等光盘的盘类；也可以是IC卡(包括存储卡)、光卡等卡类；或是掩膜型ROM、EPROM(erasable programmable read-only memory)、EEPROM(electrically erasable and programmable read-only memory)、闪存ROM等半导体存储器类。

另外，数码相机1也能够连接通信网络，上述程序代码也能够借助于通信网络来提供。关于上述通信网络，并没有特别的限制，例如，可以利用互联网(internet)、内联网(intranet)、外联网(extranet)、LAN(local area network)、ISDN(integrated services digital network)、VAN(value-added network)、CATV(community antenna television)通信网、虚拟专用网络(virtual private network)、电话回线网络、移动通信网络、卫星通信网络等。另外，关于用以构成通信网络的传输介质，并没有特别的限制，例如，可以利用IEEE(institute of electrical and electronic engineers)1394、USB、电力线、电缆电视回线、电话线、ADSL(asynchronous digital subscriber loop)回线等有线通信，也可以利用诸如IrDA(infrared data association)或遥控器等的红外线、Bluetooth(注册商标)、802.11无线通信、HDR(high data rate)、便携式电话网络、卫星回线、地面数字广播网络等无线通信。另外，即使是通过电子传输而实现了上述程序代码的载置于载波的计算机数字信号，也可以实现本发明。

(工业上的利用可能性)

本发明可以容易地登录和检测包括以往难以检测的动物，因此能够良好地适用于拍摄包括动物的装置，例如，可以良好地适用于数码相机。