运动图像解析装置、运动图像解析方法、程序及集成电路

摘要

本发明的运动图像解析装置，在运动图像中确定与一个目标物有关的目标物关联区间，该运动图像解析装置具备目标物关联区间确定部，该目标物关联区间确定部在判定为满足规定的条件的情况下，将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间，在判定为不满足所述规定的条件的情况下，不将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间。根据本发明的运动图像解析装置，能够在运动图像中适当地确定与一个目标物相关联的区间。

说明书

技术领域

本发明涉及从由数字摄像机等摄影的运动图像提取拍摄有目标物的区 间等并进行解析的装置。

背景技术

有如下的需求：着眼于运动图像中出现的特定的目标物（例如人物）， 从保有的运动图像仅提取拍摄有特定的目标物的区间并进行阅览及编辑。

作为用于满足该需求的方法，为了能够轻松地提取拍摄有该特定的目 标物的区间，可以想到对运动图像预先赋予目标物的检测信息的方法。

作为从运动图像检测特定的人物的技术，可以举出面部检测技术、根 据基于面部的运动信息计算出的面部区域的位置的变化量来跟随人物的技 术（例如参照专利文献1）、以及基于相当于躯干的区域的信息来跟随人物 的技术（例如参照专利文献2）等。

在先技术文献

专利文献

专利文献1：特开2010-50934号公报

专利文献2：专利第4830650号公报

发明的概要

发明所要解决的课题

但是，在一般的面部检测技术中，由于面部的朝向等不同而面部的检 测存在极限，有时无法从运动图像检测人物。此外，在专利文献1中，当 面部区域的位置的变化成为规定量以上时，无法跟随人物而无法从运动图 像检测人物。此外，在专利文献2中，在无法得到相当于躯干的区域的信 息的情况下，无法跟随人物而无法从运动图像检测人物。

这样，在运动图像中，即使是作为被摄体拍摄了特定的人物（A）的区 间，有时也无法从该区间检测到人物（A）。在现有技术中，对于这样的无 法检测到人物（A）的区间，即使拍摄有人物（A），也无法作为拍摄有人 物（A）的区间提取。根据以上情况，为了满足上述的用户需求，仅对实际 检测到目标物的区间赋予目标物的检测信息并不能说是充分的。

发明内容

本发明鉴于上述情况，其目的在于，提供一种运动图像解析装置，在 运动图像中适当地确定与一个目标物相关联的区间。

解决课题所采用的手段

为了解决上述以往的课题，一种运动图像解析装置，在运动图像中确 定与一个目标物有关的目标物关联区间，该运动图像解析装置具备目标物 关联区间确定部，该目标物关联区间确定部在判定为满足规定的条件的情 况下，将与检测到所述一个目标物的检测区间在时间上连续的区间、并且 是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区 间，在判定为不满足所述规定的条件的情况下，不将与检测到所述一个目 标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的 区间即非检测区间确定为所述目标物关联区间。

发明的效果：

根据本发明的运动图像解析装置，能够在运动图像中适当地确定与一 个目标物相关联的区间。

附图说明

图1是实施方式1的运动图像解析装置100的功能框图。

图2是表示实施方式1的运动图像解析装置100的整体动作的流程图。

图3是用于说明目标物检测部102中的目标物的检测处理的一例以及 目标物追踪部103中的目标物的追踪处理的一例的图。

图4是由目标物检测部102、目标物追踪部103及目标物识别部104生 成的、与目标物的检测·追踪·识别有关的信息的一例。

图5是由场景检测部105生成的、运动图像中的场景的分界处信息的 一例。

图6是表示实施方式1的目标物关联区间确定的处理的流程图。

图7是在目标物检测部102中能够检测的面部的朝向的一例。

图8是在目标物检测部102中能够检测的目标物的检测区域的一例。

图9是用于说明实施方式1的目标物关联区间确定的处理的图。

图10是在目标物关联区间确定部106中生成的、运动图像中的目标物 关联区间信息的一例。

图11是表示实施方式2的目标物关联区间确定的处理的流程图。

图12是与各帧中的影像的抖动有关的信息的一例。

图13是用于说明实施方式2的目标物关联区间确定的处理的图。

图14是表示实施方式3-1的目标物关联区间确定的处理的流程图。

图15是用于说明实施方式3-1的目标物关联区间确定的处理的图。

图16是表示实施方式3-2的目标物关联区间确定的处理的流程图。

图17是用于说明实施方式3-2的目标物关联区间确定的处理的图。

图18是在实施方式3-2的目标物关联区间确定的处理中使用的周边规 定区域的一例。

图19是在实施方式3-2的目标物关联区间确定的处理中使用的周边规 定区域的另一例。

图20是表示实施方式4的目标物关联区间确定的处理的流程图。

图21是用于说明实施方式4的目标物关联区间确定的处理的图。

图22是实施方式5的运动图像解析装置1000的功能框图。

图23是表示实施方式5的运动图像解析装置1000的整体动作的流程 图。

图24是表示实施方式5的目标物关联区间确定的处理的流程图。

图25（a）～（c）是用于说明实施方式5的目标物关联区间确定的处 理的图。

具体实施方式

＜得到本发明的一个方式的过程＞

如上述那样，目标物的检测技术及追踪技术存在极限，在运动图像中， 实际拍摄有目标物但是无法检测到该目标物的区间，无法作为拍摄有该目 标物的区间来提取。

此外，摄影者在拍摄以特定的目标物（例如人物）为被摄体的运动图 像时，未必能够以该目标物持续出现在运动图像中的方式进行摄影。例如， 有时作为被摄体的人物的运动较大而摄影者无法用摄像机跟上该人物，从 而该人物离开画面。此外，摄影者一边移动一边对作为被摄体的人物进行 摄影时，有时摄影者的运动较大而该人物离开画面。进而，有时摄影者有 意地在对作为被摄体的人物进行摄影的余暇，临时对与该人物不同的目标 物或风景进行摄影，从而该人物离开画面。像这种作为被摄体的人物离开 画面的区间当然检测不到该人物，无法作为该人物被摄影的区间来提取。

因此，基于目标物的检测信息从运动图像提取某特定的人物被摄影的 区间而制作例如运动图像剪辑的情况下，无法提取上述那样的未检测到该 人物的区间，所以制作的运动图像剪辑有时是断续的。用户不关心目标物 的检测，想要连续地观看将特定的目标物作为被摄体摄影的一系列区间。

鉴于以上情况，发明者得到如下的见解：即使是在运动图像中未检测 到一个目标物的非检测区间，只要将被推定为与未检测到该一个目标物的 检测区间连续的一系列区间的区间作为与该一个目标物有关的区间来处理 即可。

在本发明的实施方式中，基于上述见解，其目的在于，提供一种运动 图像解析装置，对于在运动图像未检测到一个目标物的非检测区间，进行 确定是否是与该一个目标物相关联的区间的处理。

＜实施方式1＞

以下参照附图说明实施方式1的运动图像解析装置。

图1是实施方式1的运动图像解析装置100的功能框图。

运动图像解析装置100与摄影装置120及显示装置130连接。

摄影装置120是具有拍摄运动图像的功能和储存所拍摄的运动图像的 功能的装置。摄影装置120例如由数字摄影机构成。此外，运动图像解析 装置100和摄影装置120例如经由USB（Universal Serial Bus）缆线连接。

显示装置130具有显示从运动图像解析装置100输出的运动图像等的 功能。显示装置130例如由数字电视机构成。此外，运动图像解析装置100 和显示装置130例如经由HDMI（注册商标/High-Definition Multimedia Interface）缆线连接。

接下来说明运动图像解析装置100的内部构成。

如图1所示，运动图像解析装置100具备：运动图像取得部101、目标 物检测部102、目标物追踪部103、目标物识别部104、场景检测部105、 以及目标物关联区间确定部106。

运动图像取得部101取得摄影装置120所储存的运动图像。运动图像 取得部101例如由用于插入USB缆线的USB端口及USB驱动器等控制接口 的软件构成。

目标物检测部102从在运动图像取得部101中取得的运动图像的各帧 检测各帧中出现的目标物。作为检测的目标物，可以举出人物的面部、狗 或猫等动物、汽车、建筑物等。

目标物追踪部103对在目标物检测部102中检测到的各目标物进行追 踪处理。具体地说，目标物追踪部103通过确认在一个帧中检测到的一个 目标物在该一个帧的下一帧中存在于哪个区域，进行各目标物的追踪处理。

目标物识别部104对由目标物追踪部103追踪的各目标物进行识别处 理。具体地说，目标物识别部104在运动图像中识别在一个区间追踪的目 标物和在与该一个区间不同的区间追踪的目标物是否为同一目标物。

场景检测部105从在运动图像取得部101中取得的运动图像检测场景 的分界处。

“场景”指的是，在运动图像中在影像的内容上有联系的区间、以及在 时间上有联系的区间等。场景检测部105例如在拍摄有运动会的场面的运 动图像中，将分别拍摄有开幕式和赛跑的区间作为不同的场景来检测。

目标物关联区间确定部106在运动图像中确定与在目标物识别部104 中识别的各目标物有关的目标物关联区间。另外，除了检测到该目标物的 检测区间，目标物关联区间确定部106将被推定为可能是与该目标物相关 联的区间的区间也确定为与该目标物有关的目标物关联区间。目标物关联 区间确定部106的详细处理内容留待后述。

另外，这些目标物检测部102、目标物追踪部103、目标物识别部104、 场景检测部105及目标物关联区间确定部106例如由保存各自的处理用的 程序等的ROM等存储器、执行程序的CPU、用于展开程序的数据的RAM等存 储器构成。

使用图2的流程图来说明运动图像解析装置100的整体动作。

首先，运动图像取得部101取得摄影装置120储存的运动图像（S201）。

接着，目标物检测部102从取得的运动图像的各帧检测目标物（S202）。

使用图3，详细说明步骤S202的处理。在图3中，举出作为目标物而 检测人物的面部的例子。

在图3中，301是取得的运动图像，302是运动图像301的第t帧，303 是运动图像301的第（t＋1）帧。目标物检测部102例如从运动图像301 取得302及303等多个帧，作为目标物从取得的各帧检测人物的面部。

作为目标物的检测方法，例如有如下方法：对于运动图像的各帧，使 用对帧预先准备的面部学习词典来切出包含有目标物的区域。使用该方法 的情况下，例如在图3中，从帧302切出目标物304的区域，从帧303切 出目标物305的区域，作为人物的面部检测到目标物304及305。

接着，目标物追踪部103对在运动图像中从各帧检测到的各目标物进 行追踪处理（S203）。

作为目标物的追踪方法，例如有如下方法：将从一个帧检测到的一个 目标物、和从一个帧的下一帧检测到的目标物中的、其检测区域与从一个 帧检测到的一个目标物的检测区域一致或存在于十分接近的位置的目标物 判断为同一个目标物，从而追踪一个目标物。使用该方法的情况下，例如 在图3中，从帧302检测到的目标物304的检测区域和从帧303检测到的 目标物305的区域大体处于相同位置，所以目标物追踪部103将目标物304 与目标物305判断为同一目标物，从帧302到帧303追踪目标物304（305）。

目标物识别部104对由目标物追踪部103追踪的各目标物进行识别处 理（S204）。具体地说，目标物识别部104在运动图像中识别在一个区间 追踪的目标物和在与该一个区间不同的区间追踪的目标物是否为同一目标 物。

作为识别目标物的方法，例如有如下方法：首先由目标物追踪部103 从各目标物被追踪的区间的、即各目标物的检测区间的任意帧分别提取作 为该追踪对象的目标物的图像特征量。然后，将提取的图像特征量类似的 追踪对象的目标物彼此识别为同一个目标物。

此外，识别目标物的方法不限于该方法，例如还有如下方法：事先登 录特定的目标物的图像特征量，通过比较所提取的各追踪区间的追踪对象 即目标物的图像特征量和已登录的特定的目标物的图像特征量，来识别该 特定的目标物。

另外，“图像特征量”表示图像中的各像素的像素值的分布的特征。 图像特征量例如通过以表示图像的特征的多个数值为成分的矢量来表示。 图像的特征有使用Gabor滤波器得到的图像数据的像素值的分布的周期性 及方向性等。在人物的面部的图像特征量的情况下，能够将根据像素值的 分布的周期性及方向性等识别为眼睛的2点之间的距离、识别为鼻子的点 和识别为嘴的点的距离等的量作为矢量的成分。

图4是表示通过以上的步骤S202～S204的处理而生成的、与目标物的 检测·追踪·识别有关的信息的一例的图。另外，该与目标物的检测·追 踪·识别有关的信息可以保存在运动图像解析装置100所具备的存储部中， 也可以保存在能够从运动图像解析装置100访问的外部存储部中。

在图4中，与目标物的检测·追踪·识别有关的信息包括：运动图像 中的各目标物的检测区间信息、在各检测区间中检测对象即目标物的识别 ID信息、各检测区间的始点及终点帧信息。此外，各检测区间的始点及终 点帧信息包括：帧ID信息、该识别ID的目标物的检测区域信息及朝向信 息。此外，在该一例中，目标物的检测区域信息通过帧中的检测到目标物 的矩形区域的左上的坐标点和该矩形区域的纵横宽度来表示。

返回图2继续说明。

场景检测部105在由运动图像取得部101取得的运动图像中检测场景 的分界处（S205）。

作为检测场景的分界处的方法，例如有基于连续的帧间的影像信息的 变化来检测场景的分界处的方法。

影像信息是色相及亮度等信息。例如，场景检测部105在从一个帧到 该一个帧的下一帧中的帧整体的影像信息的变化为规定程度以上的情况 下，将一个帧和该一个帧的下一帧的边界检测为场景的分界处。此外，检 测场景的分界处的方法不限于该方法，例如也可以使用基于音响信息的变 化来检测场景的分界处的方法。

图5是表示场景的分界处信息的一例的图。另外，该场景的分界处信 息也和上述的与目标物的检测·追踪·识别有关的信息同样，可以保存在 运动图像解析装置100所具备的存储部中，也可以保存在能够从运动图像 解析装置100访问的外部存储部中。

在图5中，场景的分界处信息包括：运动图像中的各场景的ID信息、 各场景的始点及终点帧信息。

接着，目标物关联区间确定部106基于通过步骤S202～S204的处理而 生成的与目标物的检测·追踪·识别有关的信息、通过步骤S205的处理而 生成的场景的分界处信息，确定运动图像中的目标物关联区间（S206）。

使用图6的流程图来说明该步骤S206的处理。

首先，目标物关联区间确定部106提取同一场景中包含的检测区间且 检测到由目标物识别部104识别为同一目标物的目标物（以下将该目标物 称为“处理对象目标物”）的检测区间（S601）。另外，在该步骤S601中， 提取的检测区间至少一部分包含在该同一场景中即可。

使用图4和图5具体说明该步骤S601的处理。

在图5中，场景1是从帧0到帧182的区间。因此，在图4中，场景1 中包含的检测区间是检测区间1～5。另外，这时，检测区间5是从帧113 到帧224的区间，检测区间5的一部分包含在场景1中，所以被看作包含 在同一场景中的检测区间。

然后，在该检测区间1～5中，检测到被识别为同一目标物的目标物（处 理对象目标物）的检测区间是检测到目标物1的检测区间1、3及5。因此， 在步骤S601中，提取检测区间1、3及5。

接着，目标物关联区间确定部106在步骤S601提取的检测区间中，选 择未在之间夹着在另一步骤S601提取的检测区间的2个检测区间（S602）。

使用图4具体说明该步骤S602的处理。

在图4中，设在步骤S601中检测到检测区间1、3及5。这时，在检测 区间1、3及5中，没有在之间夹着在另一步骤S601提取的检测区间的2 个检测区间的组合为检测区间1与3或检测区间3与5的组合。因此，在 步骤602中，选择检测区间1与3或检测区间3与5。另外，关于检测区间 1与5的组合，由于在检测区间1与5之间存在检测区间3，所以不被选择。

接着，目标物关联区间确定部106确定在步骤S602选择的2个检测区 间中的、在时间上存在于前方的检测区间的终点帧中的该处理对象目标物 的检测结果是否为极限值（S603）。

“极限值”通过值来表示在目标物检测部102中决定的、目标物的检测 的极限。以下说明极限值的例子。

例如，在目标物为人物的面部的情况下，关于通常能够检测的面部， 有朝向·大小·帧的坐标等限制。

首先，使用图7说明与人物的面部的“朝向”有关的极限值。运动图 像中出现的面部不仅存在朝向正面的面部，也存在朝向上下左右等各种方 向的面部，但是能够由目标物检测部102检测的面部的朝向例如如图7所 示，限制在从正面相对于各旋转轴30度以内。这种情况下，目标物检测部 102无法检测倾斜30度以上的面部，所以与人物的面部的“朝向”有关的 极限值为“相对于各旋转轴30度”。

另外，与能够由目标物检测部102检测的面部的朝向有关的限制不限 于图7的例子，例如，有时根据人物的面部的大小不同，能够检测的面部 的朝向也不同。这种情况下，设定使人物的面部的大小与朝向建立了对应 的极限值即可。

接下来，说明与人物的面部的“大小”有关的极限值。例如，设能够 由目标物检测部102检测的面部的最小尺寸为35像素，最大尺寸为200像 素。这种情况下，无法检测低于35像素或大于200像素的面部，所以与人 物的面部的“大小”有关的极限值为“35像素”及“200像素”。

接下来，使用图8说明与“帧的坐标点”有关的极限值。例如，设帧 尺寸为640×480，对于由目标物检测部102检测的面部的矩形区域，将（左 上的X坐标，左上的Y坐标，纵横宽度）设为（x1，y1，wh1）。并且，拍 摄有面部的区域位于与帧框相接的区域的情况是能够检测面部的极限，面 部整体未包含在帧框内的情况下，也就是仅面部的一部分出现在帧内的情 况下，无法检测到面部。这种情况下，与“帧的坐标点”有关的极限值成 为：x1的最小值0、（x1＋wh1）的最大值640、y1的最小值0、及（y1＋ wh1）的最大值480。例如在图8中，在（x1，y1，wh1）＝（0、400、50） 的矩形区域检测到人物的面部。该矩形区域与帧框相接，x1＝0，所以意味 着该检测到的人物的面部的检测结果是极限值。

另外，在本实施方式1的步骤S603及后述的S604中，目标物关联区 间确定部106确认该处理对象目标物的检测结果是否为极限值，但是不限 于此，也可以确认该处理对象目标物的检测结果是否处在从极限值起规定 的范围内、换言之是否处在基于该处理对象目标物的检测的极限决定的值 的范围内。

例如，关于“帧的坐标点”，目标物关联区间确定部106也可以确认 该处理对象目标物的检测区域是否处在从帧框起规定的范围内侧的区域、 换言之是否处在帧框的附近的区域。

另外，该帧框的附近的区域也可以根据帧尺寸来设定。例如，帧尺寸 为640×480的情况下，可以将从帧框的上边及下边起的帧宽度640像素的 5%＝32像素内侧的区域、以及从帧框的右边及左边起的帧高度480像素的 5%＝24像素内侧的区域作为规定的范围的区域。这种情况下，目标物关联 区间确定部106确认该处理对象目标物的检测区域是否满足0＜x1＜32、 （640-wh1-32）＜x1＜（640-wh1-32）、0＜y1＜24、以及（480-wh1-24） ＜y1＜（480-wh1）中的1个以上即可。

此外，关于“面部的朝向”，目标物关联区间确定部106也可以确认 该处理对象目标物的朝向是否处于极限值起规定范围的朝向。此外，规定 范围的朝向也可以根据目标物检测部102的检测精度来设定。例如，相对 于图7的各旋转轴，30度为极限值的情况下，可以将从极限值起的规定范 围设为28度（极限值30度－（30度的5%≈2度））到30度的范围。

在步骤S603的处理中，目标物关联区间确定部106在选择的2个检测 区间中的、时间上存在于前方的检测区间的终点帧中的该处理对象目标物 的检测结果为极限值的情况下（S603：是），进入步骤S604的处理，检测 结果不是极限值的情况下（S603：否），进入S606的处理。

在步骤S604中，目标物关联区间确定部106确认在步骤S602中选择 的2个检测区间中的、时间上存在于后方的检测区间的始点帧中的该处理 对象目标物的检测结果是否为极限值。然后，该处理对象目标物的检测结 果是极限值的情况下（S604：是），将2个检测区间和2个检测区间之间 的非检测区间确定为与该处理对象的目标物有关的目标物关联区间 （S605）。换言之，将从2个检测区间中的从时间上存在于前方的检测区间 的始点帧到时间上存在于后方的检测区间的终点帧为止的区间确定为与该 处理对象目标物有关的目标物关联区间（S605）。该处理对象目标物的检 测结果不是极限值的情况下（S604：否），目标物关联区间确定部106进 入步骤S606的处理。

使用图4及图9来具体说明步骤S603及S604的处理。例如，在步骤 S602中，作为2个检测区间选择检测区间1及3。这2个检测区间中的、 时间上存在于前方的检测区间是检测区间1，时间上存在于后方的检测区间 是检测区间3。此外，在图9中，帧55是检测区间1的终点帧，帧78是检 测区间3的始点帧。此外，帧55及帧78中出现的目标物是在图4中赋予 了识别ID1的目标物1，是步骤S603及S604的处理中的该处理对象目标物。 此外，在目标物关联区间确定部106中，设定有与上述说明的“帧的坐标 点”有关的极限值。

这时，由于检测区间1的终点帧（帧55）中的目标物1的检测区域的 左上的X坐标为0、即极限值（S603：是），所以目标物关联区间确定部 106进入步骤S604的处理。

接下来，由于检测区间3的始点帧（帧78）中的目标物1的检测区域 的左上的X坐标为0、即极限值（S604：是），所以目标物关联区间确定部 106将从检测区间1的始点帧（帧4）到检测区间3的终点帧（帧98）为止 的区间确定为与目标物1有关的目标物关联区间。

这样，如果所选择的2个检测区间中的、时间上存在于前方的检测区 间的终点帧及时间上存在于后方的检测区间的始点帧各自的该处理对象目 标物的检测结果为极限值，则推测为在选择的2个检测区间之间的区间中 未检测到该处理对象目标物的原因在于超过了能够由目标物检测部102检 测的目标物的极限。

另外，在上述具体例中，说明了在目标物关联区间确定部106中设定 与“帧的坐标点”有关的极限值的情况，但除了与“帧的坐标点”有关的 极限值之外，例如也可以设定与上述说明的人物的面部的“朝向”或“大 小”有关的极限值。此外，在目标物关联区间确定部106中，也可以设定 与上述说明的“帧的坐标点”、人物的面部的“朝向”及“大小”等有关 的极限值中的多个或全部极限值。这种情况下，在步骤S603及S604中， 目标物关联区间确定部106可以确认该帧中的该处理对象目标物的检测结 果是否为设定的极限值中的至少一个极限值。

回到图6继续说明。

在步骤S606中，在步骤S602中已选择了能够选择的2个检测区间的 全部组合的情况下（S606：是），目标物关联区间确定部106进入步骤S607 的处理，未选择全部组合的情况下（S606：否），返回S602的处理。

在步骤S607中，在步骤S601中已经对全部场景且全部目标物提取了 检测区间的情况下（S607：是），目标物关联区间确定部106进入步骤S608 的处理，未提取的情况下（S607：否），回到S601的处理。

在步骤S608中，目标物关联区间确定部106基于步骤S605的确定结 果，决定与在步骤S204识别的各目标物有关的目标物关联区间。

图10是在步骤S608中决定的、与运动图像中的各目标物有关的目标 物关联区间信息的一例。另外，目标物关联区间信息可以保存在运动图像 解析装置100所具备的存储部中，也可以保存在能够从运动图像解析装置 100及显示装置130访问的外部存储部中。

在图10中，目标物关联区间信息包括：各目标物关联区间的ID信息、 各目标物关联区间中的处理对象目标物的识别ID信息、各目标物关联区间 的始点及终点帧信息。

使用图4及图10来具体说明步骤S608的处理。另外，在步骤S605中， 将从检测区间1的始点帧（帧4）到检测区间3的终点帧（帧98）为止的 区间、和从检测区间3的始点帧（帧78）到检测区间5的终点帧（帧224） 为止的区间分别确定为与目标物1有关的目标物关联区间。此外，在本具 体例中，设检测到目标物1的检测区间仅为检测区间1、3及5。

这时，基于该步骤S605的确定结果，目标物关联区间确定部106在步 骤S608中如图10所示，将从检测区间1的始点帧（帧4）到检测区间5的 终点帧（帧224）为止的区间决定为与目标物1有关的目标物关联区间。这 样，在步骤S608中，目标物关联区间确定部106通过进行整理步骤S605 的确定结果的处理，决定与各目标物有关的目标物关联区间。

显示装置130在例如从用户指示了与一个目标物相关联的运动图像的 再现的情况下，能够参照由该运动图像解析装置100生成的、与运动图像 中的各目标物有关的目标物关联区间信息，提取与该一个目标物有关的目 标物关联区间并进行再现。

＜总结＞

在实施方式1的运动图像解析装置100中，目标物关联区间确定部106 在满足下述（1）及（2）的情况下，将在运动图像中未检测到一个目标物 的非检测区间确定为与该一个目标物有关的目标物关联区间。

（1）该非检测区间和与该非检测区间在时间上连续的前方及后方的检 测到该一个目标物的各检测区间包含在同一场景中。

（2）在该前方的检测区间的终点帧及该后方的检测区间的始点帧中分 别检测到的该一个目标物分别满足作为该一个目标物的检测的极限而决定 的1个以上极限条件中的至少1个。极限条件是作为该一个目标物的检测 的极限而决定的条件，例如可以举出该一个目标物在该终点帧或始点帧的 规定区域中被检测到、该一个目标物的朝向为规定的范围内、或者该一个 目标物的大小为规定大小的范围内等。

满足上述（1）及（2）的条件的情况下，未检测到该一个目标物的该 非检测区间例如被推测为：（i）实际上拍摄有该一个目标物，但是由于目 标物检测技术的限制而未检测到该一个目标物；（ii）该一个目标物的运 动或摄影者的运动较大，是该一个目标物离开画面的区间。根据本实施方 式1的运动图像解析装置100，除了检测到特定的目标物的区间，如上述（i） 及（ii）那样，被推测为可能与该目标物相关联的区间也能够作为与该目 标物有关的目标物关联区间来管理。由此，用户能够轻松地从运动图像提 取与特定的目标物相关联的区间，或者所提取的该运动图像对用户来说是 容易观看的运动图像。

＜实施方式2＞

在实施方式1的运动图像解析装置100中，说明了在目标物关联区间 确定部106中，基于与目标物的检测·追踪·识别有关的信息和场景的分 界处信息，确定运动图像中的目标物关联区间。尤其是，在实施方式1的 运动图像解析装置100中，在与未检测到一个目标物的非检测区间的两端 帧分别邻接的各帧中，判定该一个目标物是否为极限值，从而确定未检测 到该一个目标物的该非检测区间是否是与该一个目标物有关的目标物关联 区间。

对此，在本实施方式2的运动图像解析装置中，尤其是，通过对未检 测到一个目标物的非检测区间中的影像的抖动（或摄影设备的加速度）进 行判定处理，确定未检测到该一个目标物的该非检测区间是否为与该一个 目标物有关的目标物关联区间。

以下说明实施方式2的运动图像解析装置。另外，对于与上述实施方 式重复的构成及处理步骤赋予相同符号并省略其说明。

实施方式2的运动图像解析装置与上述实施方式1的运动图像解析装 置100同样，与摄影装置及显示装置连接（图1）。摄影装置120及显示装 置130的功能等与上述实施方式1相同，因此省略说明。

实施方式2的运动图像解析装置的内部构成与上述实施方式1的运动 图像解析装置100（图1）相同，因此省略说明。但是，实施方式2的运动 图像解析装置的目标物关联区间确定部106所进行的具体处理内容与上述 实施方式1的运动图像解析装置100不同。详细情况留待后述。

接下来说明实施方式2的运动图像解析装置的动作。

实施方式2的运动图像解析装置与上述实施方式1的运动图像解析装 置100同样，首先进行运动图像的取得（图2：S201）、目标物的检测·追 踪·识别（S202～S204）、以及检测运动图像的场景的分界处（S205）的 处理。这些处理与实施方式1相同，因此省略说明。

接下来，实施方式2的运动图像解析装置在目标物关联区间确定部106 中基于与目标物的检测·追踪·识别有关的信息和场景的分界处信息，确 定运动图像中的目标物关联区间（S206A）。该步骤S206A的具体处理内容 与上述实施方式1的步骤S206不同。

使用图11的流程图来说明该步骤S206A的处理。

步骤S601及S602的处理与实施方式1相同。

在步骤S601中，目标物关联区间确定部106提取同一场景中包含的检 测区间且检测到由目标物识别部识别为相同的目标物的检测区间。

在步骤S602中，目标物关联区间确定部106在步骤S601提取的检测 区间中，选择未在之间夹着在另外的步骤S601中提取的检测区间的2个检 测区间。

接着，目标物关联区间确定部106判定在步骤S602中选择的2个检测 区间之间的非检测区间中的影像的抖动是否满足规定的条件（S1001）。然 后，在该影像的抖动满足规定的条件的情况下（S1001：是），将所选择的 2个检测区间和2个检测区间之间的非检测区间确定为与该处理对象目标物 有关的目标物关联区间（S605）。换言之，将所选择的2个检测区间中的、 从时间使存在于前方的检测区间的始点帧到时间上存在于后方的检测区间 的终点帧为止的区间确定为与该处理对象目标物有关的目标物关联区间 （S605）。该影像的抖动不满足规定的条件的情况下（S1001：否），进入 步骤S606的处理。

成为步骤S1001的判定基准的规定条件例如可以设为在2个检测区间 之间的区间中全部帧的影像的抖动的大小为一定大小以上。

作为取得影像的抖动的大小的方法，例如可以使用如下方法：计算表 示连续的帧之间的各像素的位移的光流，并计算所计算出的各光流的平均。 然后，将计算出的各光流的平均看作连续的帧之间的图像整体的位移，将 该各光流的平均的大小作为影像的抖动的大小。

另外，连续的帧之间的各像素的光流作为各像素的平面方向的位移来 表现。这是因为，在连续的帧之间，帧之间的旋转量能够近似为0。即，连 续的帧之间的各像素的光流能够通过将各像素的X轴方向的位移u_i和Y轴 方向的位移v_i为要素的矢量（u_i，v_i）来表示。

图12表示与在各帧中计算的影像的抖动有关的信息的一例。图12包 括帧ID及各帧中的影像的位移的项目。在图12中，各帧的影像的位移指 的是各帧与各帧的前一帧之间的图像整体的位移，通过矢量（u_i，v_i）来表 示。例如，帧55的影像的位移是帧55与帧55的前一帧54之间的图像整 体的位移，通过矢量55来表示。

在此，使用图4、图12及图13来具体说明步骤S1001的处理。

另外，在本具体例中，作为成为步骤S1001的判定基准的规定条件， 目标物关联区间确定部106判定在2个检测区间之间的非检测区间中全部 帧的影像的抖动的大小是否为一定的大小以上。此外，在步骤S602中，作 为2个检测区间，选择检测区间1及3。检测区间1与3之间的区间是从帧 56到帧77的区间。

这时，在步骤S1001中，目标物关联区间确定部106确定检测区间1 与3之间的区间、即从帧56到帧77的区间中的全部帧的影像的抖动的大 小是否为一定的大小以上。在图11中，从帧56到帧77的影像的抖动通过 矢量56到矢量77来表示。从该矢量56到矢量77的全部大小为设定的一 定大小以上的情况下（S1001：是），将从检测区间1的始点帧（帧4）到 检测区间3的终点帧（帧98）确定为与目标物1有关的目标物关联区间 （S605）。

另外，成为步骤S1001的判定基准的规定条件不限于上述条件。例如 也可以是[规定的条件1]：2个检测区间之间的非检测区间中的影像的抖动 的最大值为设定的阈值以上。此外，也可以是[规定的条件2]：2个区间之 间的非检测区间中的影像的抖动的平均为设定的阈值以上。此外，也可以 是[规定的条件3]：在2个区间之间的非检测区间中，影像的抖动为阈值以 上的帧的个数是一定数以上。此外，也可以是[规定的条件4]：在2个检测 区间之间的非检测区间中，各帧的影像的抖动的变化量为一定的变化量以 上。

此外，上面说明了在步骤S1001中目标物关联区间确定部106判定在 步骤S602中选择的2个检测区间之间的非检测区间中的影像的抖动是否满 足规定的条件，从而确定目标物关联区间，但是用于确定目标物关联区间 的处理不限于该步骤S1001。

例如，在摄影装置中内置有陀螺传感器等手抖感测传感器的情况下， 目标物关联区间确定部106也可以使用由该手抖感测传感器计测的摄影装 置的加速度信息来确定目标物关联区间。具体地说，在步骤S602的处理之 后，也可以取代步骤S1001，而由目标物关联区间确定部106确认在步骤 S602中选择的2个检测区间之间的非检测区间被摄影时的摄影装置的加速 度是否满足规定的条件（S1001A）。然后，在该加速度满足规定的条件的 情况下（S1001A：是），将2个检测区间和2个检测区间之间的非检测区 间确定为与该处理对象目标物有关的目标物关联区间（S605），该加速度 不满足规定的条件的情况下（S1001A：否），进入步骤S606的处理。

另外，成为该步骤S1001A的判定基准的规定的条件也可以是：2个检 测区间之间的非检测区间被摄影时的摄影装置的加速度的大小的最大值为 一定的大小以上。

这样，如果满足所选择的2个检测区间之间的非检测区间中的影像的 抖动为规定的大小以上这一条件、或者摄影设备的加速度的大小为规定的 大小以上这一条件，则能够推测为在该非检测区间未检测到该处理对象目 标物的原因在于影像的抖动或摄影设备的抖动。

接下来，步骤S606及S607的处理与实施方式1相同，因此省略说明。

＜总结＞

在实施方式2的运动图像解析装置中，目标物关联区间确定部106在 满足下述（1A）及（2A）的情况下，将在运动图像中未检测到一个目标物 的非检测区间确定为与该一个目标物有关的目标物关联区间。

（1A）该非检测区间和与该非检测区间在时间上连续的前方及后方的检 测到该一个目标物的各检测区间包含在同一场景中。

（2A）该非检测区间中的影像的抖动（或摄影设备的加速度的位移）为 规定的程度以上。

在满足上述（1A）及（2A）的条件的情况下，未检测到该一个目标物 的该非检测区间例如能够推测为：（iii）实际上拍摄到了该一个目标物， 但由于影像的抖动而未检测到该一个目标物；（iv）摄影者的运动较大， 是该一个目标物离开画面的区间。根据本实施方式2的运动图像解析装置， 除了检测到特定的目标物的区间以外，如上述（iii）或（iv）那样，被推 测为可能是与该目标物相关联的区间的区间也能够作为目标物关联区间来 管理。由此，用户能够轻松地从运动图像提取与特定的目标物有关的区间， 或者所提取的运动图像对用户来说是容易观看的运动图像。

＜实施方式3-1＞

在本实施方式3-1的运动图像解析装置中，特别是，对于在未检测到 一个目标物的非检测区间中检测到的、与该一个目标物不同的目标物进行 判定处理，从而确定未检测到该一个目标物的该非检测区间是否为与该一 个目标物有关的目标物关联区间。

以下说明实施方式3-1的运动图像解析装置。另外，对于与上述各实 施方式重复的构成及处理步骤赋予相同符号，并省略其说明。

实施方式3-1的运动图像解析装置与上述实施方式1的运动图像解析 装置100同样，与摄影装置及显示装置连接（图1）。摄影装置120及显示 装置130的功能等与上述实施方式1相同，因此省略说明。

实施方式3-1的运动图像解析装置的内部构成与上述实施方式1的运 动图像解析装置100（图1）同样，因此省略说明。但是，实施方式3-1的 运动图像解析装置的目标物关联区间确定部106所进行的具体处理内容与 上述实施方式1的运动图像解析装置100不同。详细情况留待后述。

接下来，说明实施方式3-1的运动图像解析装置的动作。

实施方式3-1的运动图像解析装置与上述实施方式1的运动图像解析 装置100同样，首先进行运动图像的取得（图2：S201）、目标物的检测· 追踪·识别（S202～S204）、以及检测运动图像中的场景的分界处（S205） 的处理。这些处理与实施方式1相同，因此省略说明。

接着，实施方式3-1的运动图像解析装置在目标物关联区间确定部106 中基于与目标物的检测·追踪·识别有关的信息和场景的分界处信息，确 定运动图像中的目标物关联区间（S206B）。该步骤S206B的具体处理内容 与上述实施方式1的步骤S206不同。

使用图14的流程图来说明该步骤S206B的处理。

步骤S601及步骤S602的处理与实施方式1相同。

在步骤S601中，目标物关联区间确定部106提取同一场景中包含的检 测区间且检测到由目标物识别部104识别为相同的目标物的检测区间。

在步骤S602中，目标物关联区间确定部106在步骤S601提取的检测 区间中，选择未在之间夹着在另一步骤S601中提取的检测区间的2个检测 区间。

接着，目标物关联区间确定部106在步骤S602选择的2个检测区间之 间的非检测区间中，判定检测到与该处理对象目标物不同的目标物的区间 长度是否满足规定的条件（S1201）。然后，在检测到不同的目标物的区间 长度满足规定的条件的情况下（S1201：是），将所选择的2个检测区间和 2个检测区间之间的非检测区间确定为与该处理对象目标物有关的目标物 关联区间（S605）。换言之，将所选择的2个检测区间中的、从时间上存 在于前方的检测区间的始点帧到时间上存在于后方的检测区间的终点帧为 止的区间确定为与该处理对象目标物有关的目标物关联区间（S605）。然 后，检测到不同的目标物的区间长度不满足规定的条件的情况下（S1201： 否），进入步骤S605的处理。

目标物关联区间确定部106也可以将成为步骤S1201的判定基准的规 定的条件设定为，例如检测到该不同的目标物的区间长度为一定时间以上。

另外，作为该一定时间，例如可以设定检测到与该处理对象目标物不 同的目标物的区间的区间长度相对于2个检测区间之间的区间长度的比例 为一定的比例以上的时间，该2个检测区间之间的区间长度与在步骤S602 选择的2个检测区间中的、从时间上存在于前方的检测区间的始点帧到时 间上存在于后方的检测区间的终点帧为止的区间相比是充分短的区间长 度。

接着，步骤606～S608的处理与上述实施方式1相同，因此省略说明。

在此，使用图4及图15来具体说明步骤S1201的处理。

另外，在本具体例中，将成为步骤S1201的判定基准的规定的条件设 定为，检测到该不同的目标物的区间长度相对于该非检测区间的区间长度 的比例为50%以上。此外，设在步骤S602中作为2个检测区间选择了检测 区间1及3。检测区间1和3之间的非检测区间是从帧56到帧77为止的区 间，帧数为22。因此，检测区间1和3之间的非检测区间的区间长度的50% 以上指的是帧数22×0.5＝11以上。此外，从帧56到帧77的区间中的、 从帧60到帧74的区间是检测到目标物2的检测区间2。因此，步骤S1201 中的该不同的目标物为目标物2。此外，该非检测区间中的检测到目标物2 的区间是检测区间2，其帧数为15。

这时，在步骤S1201中，由于检测到目标物2的区间长度为帧数15， 是检测区间1和3之间的区间长度的50%、即帧数11以上（S1201：是）， 所以目标物关联区间确定部106将2个检测区间中的、从时间上存在于前 方的检测区间的始点帧（帧4）到时间上存在于后方的检测区间的终点帧（帧 98）为止的区间确定为与目标物1有关的目标物关联区间。

这样，相对于所选择的2个检测区间之间的非检测区间的区间长度， 如果检测到与该处理对象目标物不同的目标物的区间长度满足规定时间以 上这一条件，则能够推测为在选择的2个检测区间之间的非检测区间未检 测到该一个目标物的原因在于，摄影者在某一定的时间内将视线朝向与该 一个目标物不同的目标物而拍摄运动图像。

＜总结＞

在实施方式3-1的运动图像解析装置中，在满足下述（1B）及（2B） 的情况下，目标物关联区间确定部106将在运动图像中未检测到一个目标 物的非检测区间确定为与该一个目标物有关的目标物关联区间。

（1B）该非检测区间和与该非检测区间在时间上连续的前方及后方的检 测到该一个目标物的各检测区间包含在同一场景中。

（2B）检测到与在该非检测区间中检测到的该一个目标物不同的目标物 的区间长度为规定的时间以上。

满足上述（1B）及（2B）的条件的情况下，未检测到该一个目标物的 该非检测区间例如被推测为：（v）摄影者在一定时间内例如因为溜号，取 代该一个目标物而对与该一个目标物不同的目标物进行摄影的区间。根据 本实施方式3的运动图像解析装置，除了检测到特定的目标物的区间以外， 如上述（v）那样，被推测为可能是与该目标物相关联的区间的区间也能够 作为目标物关联区间来管理。因此，用户能够轻松地从运动图像提取与特 定的目标物有关的区间，或者提取的运动图像对用户来说是容易观看的运 动图像。

＜实施方式3-2＞

在本实施方式3-2的运动图像解析装置中，特别是，在未检测到一个 目标物的非检测区间中，在被推测为可能拍摄有该一个目标物的区域的至 少一部分存在与该一个目标物不同的目标物的情况下，将未检测到该一个 目标物的该非检测区间确定为与该一个目标物有关的目标物关联区间。

以下说明实施方式3-2的运动图像解析装置。另外，对于与上述各实 施方式重复的构成及处理步骤赋予相同符号并省略其说明。

实施方式3-2的运动图像解析装置与上述实施方式1的运动图像解析 装置100同样，与摄影装置及显示装置连接（图1）。摄影装置120及显示 装置130的功能等与上述实施方式1相同，因此省略说明。

实施方式3-2的运动图像解析装置的内部构成与上述实施方式1的运 动图像解析装置100（图1）相同，因此省略说明。但是，实施方式3-2的 运动图像解析装置的目标物关联区间确定部106所进行的具体处理内容与 上述实施方式1的运动图像解析装置100不同。详细情况留待后述。

接下来说明实施方式3-2的运动图像解析措置的动作。

实施方式3-2的运动图像解析装置与上述实施方式1的运动图像解析 装置100同样，首先进行运动图像的取得（图2：S201）、目标物的检测· 追踪·识别（S202～S204）、以及检测运动图像中的场景的分界处（S205） 的处理。这些处理与实施方式1相同，因此省略说明。

接着，实施方式3-2的运动图像解析装置在目标物关联区间确定部106 中基于与目标物的检测·追踪·识别有关的信息和场景的分界处信息，确 定运动图像中的目标物关联区间（S206C）。该步骤S206C的具体处理内容 与上述实施方式1的步骤S206不同。

使用图16的流程图来说明该步骤S206C的处理。

步骤S601及步骤S602的处理与实施方式1相同。

在步骤S601中，目标物关联区间确定部106提取同一场景中包含的检 测区间且检测到由目标物识别部104识别为相同的目标物的检测区间。

在步骤S602中，目标物关联区间确定部106在步骤S601提取的检测 区间中，选择未在之间夹着在另一步骤S601中提取的检测区间的2个检测 区间。

接着，目标物关联区间确定部106在2个检测区间之间的非检测区间 的全部帧中检测到与该处理对象目标物不同的另一目标物的情况下 （S2201：是），进入步骤S2202的处理，未检测到与该处理对象目标物不 同的另一目标物的情况下（S2201：否），进入步骤S606的处理。

在步骤S2202中，目标物关联区间确定部106判定在步骤S602选择的 2个检测区间之间的非检测区间的全部帧中的检测到该不同的目标物的各 个检测区域、和将2个检测区间中的时间上存在于前方的检测区间的终点 帧中的该处理对象目标物的检测区域与该检测区域的周边规定区域相加而 得到的区域是否有一部分重合。然后，一部分重合的情况下（S2202：是）， 进入步骤S2203的处理，完全不重合的情况下（S：2202：否），进入步骤 S606的处理。

在步骤S2203中，目标物关联区间确定部106判定2个检测区间中的 时间上存在于后方的检测区间的始点帧中的该处理对象目标物的检测区 域、和将2个检测区间中的时间上存在于前方的检测区间的终点帧中的该 处理对象目标物的检测区域与该检测区域的周边规定区域相加而得到的区 域是否一部分重合。然后，一部分重合的情况下（S2203：是），将2个检 测区间和2个检测区间之间的非检测区间确定为与该处理对象目标物相关 的目标物关联区间（S605）。换言之，将2个检测区间中的、从时间上存 在于前方的检测区间的始点帧到时间上存在于后方的检测区间的终点帧为 止的区间确定为与该处理对象目标物有关的目标物关联区间（S605）。然 后，完全不重合的情况下，（S2203：否），进入步骤S606的处理。

接着，步骤606～S608的处理与上述实施方式1相同，因此省略说明。

在此，使用图4及图17具体说明步骤S2201～S2203的处理。

另外，在本具体例中，设在步骤S602中作为2个检测区间选择了检测 区间3及检测区间5。在检测区间3及5中检测到的同一个目标物即处理对 象目标物是目标物1，在图17中将该目标物1设为人物A。

此外，检测区间3和检测区间5之间的区间是从帧99到帧112，其之 间的区间包含在检测区间4（从帧92到帧133）的区间中。检测区间4是 检测到目标物3的区间。该目标物3是在检测区间3和检测区间5之间的 非检测区间的全部帧中检测到的、与该处理对象目标物不同的另一目标物， 在图17中将该目标物3设为人物B。

这时，在检测区间3和检测区间5之间的非检测区间、即从帧99到帧 112的区间的全部帧中检测到与目标物1（人物A）不同的目标物3（人物B） （S2201：是），所以目标物关联区间确定部106进入步骤S2202的处理。

此外，在检测区间3和检测区间5之间的非检测区间、即从帧99到帧 112的区间中检测到该不同的目标物即人物B的检测区域例如如图17所示， 在帧104中是104b的区域，在帧105中是105b的区域。此外，检测区间3 和检测区间5中的时间上存在于前方的检测区间是检测区间3，其终点帧为 帧98。并且，帧98中的检测到该处理对象目标物即人物A的检测区域是 98a的区域。此外，将该98a的区域的周边规定区域在图17中设为附加了 斜线的98c的区域。

着眼于图17的帧104，帧104的人物B的检测区域即104b的区域、和 将帧98中的人物A的检测区域即98a的区域与98a的区域的周边规定区域 即98c的区域相加而得到的区域一部分重合。此外，对于帧105也同样， 105b的区域和将98a的区域与98c的区域相加而得到的区域一部分重合。 与该帧105及帧106同样，在检测区间3和检测区间5之间的非检测区间、 即从帧99到帧112的全部帧中，检测到人物B的检测区域和将98a的区域 与98c的区域相加而得到的区域一部分重合的情况下（S2202：是），目标 物关联区间确定部106进入步骤S2203的处理。

另一方面，检测区间3和检测区间5中的、时间上存在于后方的检测 区间是检测区间5，其始点帧为帧113。并且，帧113中的检测到该处理对 象目标物即人物A的检测区域为113a的区域。

着眼于图17的帧113，帧113中的人物A的检测区域即113a的区域、 和将帧98中的人物A的检测区域即98a的区域与98a的区域的周边规定区 域即98c的区域相加而得到的区域一部分重合（S2203：是）。这种情况下， 目标物关联区间确定部106将从检测区间3的始点帧（帧78）到检测区间 5的终点帧（帧224）为止的区间确定为与人物A（目标物1）有关的目标 物关联区间（S605）。

通过像这样进行步骤S2201～S2203的处理，能够推测为在2个检测区 间之间的区间未检测到人物A的原因在于，在其之间的区间被摄影时，从 摄影者观察时人物B存在于重叠在人物A之前的位置。

这样，选择的2个检测区间之间的非检测区间的全部帧中的与该处理 对象目标物不同的目标物的各检测区域、2个检测区间中的时间上存在于后 方的检测区域的始点帧中的该处理对象目标物的各个检测区域、以及将2 个检测区间中的时间上存在于前方的检测区域的终点帧中的该处理对象目 标物的检测区域与其周边规定区域相加而得到的区域至少一部分重合的情 况下，能够推测为在选择的2个检测区间之间的非检测区间未检测到该处 理对象目标物的原因在于，从摄影者观察时，在该处理对象目标物的前方 存在与该处理对象目标物不同的目标物，该处理对象目标物藏在该不同的 目标物的后面。

此外，在步骤S2202及S2203中，说明了将该处理对象目标物的检测 区域与其周边规定区域相加并对该处理对象目标物和该不同的目标物的重 合进行判定处理，加入周边规定区域的原因在于，考虑了未检测到目标物 的区间中的该处理对象目标物的移动。

例如，如图17所示，从检测区间3的始点帧到检测区间5的终点帧是 人物A和人物B争夺足球的区间。在该区间中，人物A和人物B不是静止 的，而是对抗并运动的。因此，如图17所示，在检测区间3的终点帧（帧 98）检测到的人物A的检测区域和在检测区间5的始点帧（帧113）检测到 的人物A的检测区域未必一致。此外，同样地，在未检测到人物A的检测 区间3和检测区间5之间的区间，可能拍摄有人物A的区域、即从摄影者 观察时人物A可能重合于人物B的后方的区域是变化的。考虑这样的该处 理对象目标物的检测区域的位移，在步骤S2202及S2203中，有选为目标 物关联区间确定部106将该处理对象目标物的检测区域与其周边规定区域 相加，对该处理对象目标物和与该处理对象目标物不同的目标物的重合进 行判定处理。

在此，使用图18及图19来说明针对该处理对象目标物的检测区域的、 其周边规定区域的设定例。

图18是根据该检测区域的大小来设定针对该检测区域的周边规定区域 的一例。在图18中，将检测区间3的帧98中的、针对目标物1的检测区 域98a的周边规定区域设为附加了斜线的区域98d。区域98d是从检测区域 98a的四边起相对于检测区域98a的纵横宽度100为10%＝10像素外侧的区 域。这样，也可以将针对该检测区域的周边规定区域例如设为从该检测区 域的四边起相对于该检测区域的纵横宽度为规定的比例外侧的区域。

另外，在图18的例子中，相对于该检测区域的纵横宽度一律将10%外 侧的区域作为周边规定区域，但是也可以像相对于纵宽10%、相对于横宽 15%这样，改变纵横方向的比例。

图19是根据多个帧中的该处理对象目标物的检测区域的位移来设定针 对该检测区域的周边规定区域的一例的图。在图19中，在从帧83到帧98 为止的区间中，设该处理对象目标物（目标物1）的检测区域每一定移动量 向X轴方向移动50像素（83a→98a）。由于该移动，在从帧98到帧113 的区间中，也推测为该处理对象目标物与从帧83到帧98的区间同样地移 动的可能性较高。在此，考虑从帧83到帧98的区间中的该处理对象目标 物的移动，如图19（下图）所示，可以将针对检测区域98a的周边规定区 域设为附加了斜线的区域98e。区域98e如图19（下图）所示，对于检测 区域98a的右边，将从右边起50像素外侧的区域设定为周边规定区域。像 这样，可以考虑例如该处理对象目标物的检测区域的位移来设定针对该检 测区域的周边规定区域。

另外，在图19的例子中，2个检测区间中的从时间上存在于前方的检 测区间的终点帧（帧98）到时间上存在于后方的检测区间的始点帧（帧113） 为止的区间为15帧，所以考虑在从时间上存在于帧98的15帧之前的帧83 到帧98为止的该处理对象目标物的位移，来设定周边规定区域。但是设定 周边规定区域的方法不限于此，也可以考虑从时间上存在于前方的检测区 间的终点帧（帧98）的一定数之前存在的帧到帧98为止的该处理对象目标 物的位移，来设定周边规定区域。

此外，在图19的例子中，举出了该处理对象目标物的检测区域向X轴 正方向移动的情况，但是对于该处理对象目标物的检测区域向其他方向移 动的情况，也根据其移动的方向的位移来设定周边规定区域即可。

此外，在图19的例子中，举出了在从帧83到帧98为止的区间中该处 理对象目标物各移动一定移动量的例子，但是该处理对象目标物的位移不 限于各一定移动量。因此，除了考虑帧83和帧98这2个帧之间的位移之 外，也可以基于由目标物追踪部103生成的该处理对象目标物的追踪信息， 计算连续的2个帧之间的该处理对象目标物的位移，并计算该位移的平均， 从而计算从帧83到帧98为止的平均位移，根据该平均位移来设定周边规 定区域。

此外，目标物的位移不限于目标物的检测区域的移动，还能够想到目 标物的检测区域的大小变化的情况。目标物的检测区域的大小变化的情况 下，可以根据该目标物的检测区域的大小的变化来设定周边规定区域。

＜总结＞

在实施方式3-2的运动图像解析装置中，在满足下述（1C）～（3C） 的情况下，目标物关联区间确定部106将在运动图像中未检测到一个目标 物的非检测区间确定为与该一个目标物有关的目标物关联区间。

（1C）该非检测区间和与该非检测区间在时间上连续的前方及后方的检 测到该一个目标物的各检测区间包含于同一场景。

（2C）该非检测区间是检测到与该一个目标物不同的目标物的区间。

（3C）在该非检测区间的各帧中检测到的与该一个目标物不同的目标物 的检测区域及在与该检测区域在时间上连续的后方的（检测到该一个目标 物的）检测区间的始点帧中检测到的该一个目标物的检测区域，分别和将 与该检测区域在时间上连续的前方的（检测到该一个目标物的）检测区间 的终点帧中的该一个目标物的检测区域及其周边规定区域相加而得到的区 域至少一部分重合。

满足上述（1C）～（3C）的条件的情况下，未检测到该一个目标物的 该非检测区间被推测为：（vi）从摄影者观察时，在该一个目标物的前方 存在与该一个目标物不同的目标物，该一个目标物藏在该不同的目标物的 后面。根据本实施方式3-2的运动图像解析装置，除了检测到目标物的区 间之外，上述（vi）那样推测的区间也能够作为目标物关联区间来管理。 因此，用户能够轻松地从运动图像提取与特定的目标物有关的区间，或者 所提取的运动图像对用户来说是容易观看的运动图像。

＜实施方式4＞

在本实施方式4的运动图像解析装置中，特别是，通过对未检测到一 个目标物的非检测区间的区间长度进行判定处理，确定未检测到该一个目 标物的该非检测区间是否为与该一个目标物有关的目标物关联区间。

以下说明实施方式4的运动图像解析装置。另外，对于与上述各实施 方式重复的构成及处理步骤赋予相同符号，并省略其说明。

实施方式4的运动图像解析装置与上述实施方式1的运动图像解析装 置100同样，与摄影装置及显示装置连接（图1）。摄影装置120及显示装 置130的功能等与上述实施方式1相同，因此省略说明。

实施方式4的运动图像解析装置的内部构成与上述实施方式1的运动 图像解析装置100（图1）相同，因此省略说明。但是，实施方式4的运动 图像解析装置的目标物关联区间确定部106所进行的具体处理内容与上述 实施方式1的运动图像解析装置100不同。详细情况留待后述。

接下来说明实施方式4的运动图像解析措置的动作。

实施方式4的运动图像解析装置与上述实施方式1的运动图像解析装 置100同样，首先进行运动图像的取得（图2：S201）、目标物的检测·追 踪·识别（S202～S204）、以及检测运动图像中的场景的分界处（S205） 的处理。这些处理与实施方式1相同，因此省略说明。

接着，实施方式4的运动图像解析装置在目标物关联区间确定部106 中基于与目标物的检测·追踪·识别有关的信息和场景的分界处信息，确 定运动图像中的目标物关联区间（S206D）。该步骤S206D的具体处理内容 与上述实施方式1的步骤S206不同。

使用图20的流程图来说明该步骤S206D的处理。

步骤S601及S602的处理与实施方式1相同。

在步骤S601中，目标物关联区间确定部106提取同一场景中包含的检 测区间且检测到由目标物识别部识别为相同的目标物的检测区间。

在步骤S602中，目标物关联区间确定部106在步骤S601提取的检测 区间中，选择未在之间夹着在另一步骤S601提取的检测区间的2个检测区 间。

接着，目标物关联区间确定部106判定在步骤S602中选择的2个检测 区间之间的非检测区间的区间长度是否满足规定的条件（S1301）。然后， 2个检测区间之间的非检测区间的区间长度满足规定的条件的情况下 （S1301：是），将2个检测区间和2个检测区间之间的非检测区间确定为 与该处理对象目标物有关的目标物关联区间（S605）。换言之，将2个检 测区间中的从时间上存在于前方的检测区间的始点帧到时间上存在于后方 的检测区间的终点帧为止的区间确定为与该处理对象目标物有关的目标物 关联区间（S605）。并且，2个检测区间之间的区间长度不满足规定的条件 的情况下（S1301：否），进入步骤S606的处理。

作为步骤S1301的判定基准的规定的条件例如可以设为一定时间以下。 此外，也可以相对于2个检测区间中的从时间上存在于前方的检测区间的 始点帧到时间上存在于后方的检测区间的终点帧为止的区间的区间长度充 分短。

在此，使用图4及图21具体说明步骤S1301的处理。

另外，在本具体例中，将成为步骤S1301的判定基准的规定的条件设 为：2个检测区间之间的区间长度相对于2个检测区间中的从时间上存在于 前方的检测区间的始点帧到时间上存在于后方的区间的终点帧为止的区间 长度的比例为30%以下。此外，在步骤S602中，作为2个检测区间，设选 择了检测区间1及3。从检测区间1的始点帧到检测区间3的终点帧为止的 区间是从帧4到帧98为止的区间，帧数为95。因此，帧数95的30%以下 意味着帧数28以下。此外，检测区间1和检测区间3之间的非检测区间是 从帧56到帧77的区间，帧数为22。

这时，在步骤S1301中，检测区间1和检测区间3之间的非检测区间 的区间长度为帧数22，是从检测区间1的始点帧到检测区间3的终点帧为 止的区间长度的30%、即帧数28以下（1301：是），所以目标物关联区间 确定部106将2个检测区间中的从时间上存在于前方的检测区间的始点帧 （帧4）到时间上存在于后方的检测区间的终点帧（帧98）为止的区间确定 为与目标物1有关的目标物关联区间。

这样，如果所选择的2个检测区间之间的非检测区间的区间长度满足 规定时间以内这一条件，则能够推测为在选择的2个检测区间之间的非检 测区间未检测到该处理对象目标物的原因在于，摄影者在某一定时间内未 拍摄该处理对象目标物。

步骤S606及S607的处理与实施方式1相同。

＜总结＞

在实施方式4的运动图像解析装置中，在满足下述（1D）及（2D）的 情况下，目标物关联区间确定部106将在运动图像中未检测到一个目标物 的非检测区间确定为与该一个目标物有关的目标物关联区间。

（1D）该非检测区间和与该非检测区间在时间上连续的前方及后方的检 测到该一个目标物的各检测区间包含于同一场景。

（2D）该非检测区间的区间长度为规定的时间以内。

满足上述（1D）及（2D）的条件的情况下，未检测到该一个目标物的 该非检测区间例如被推测为：（vii）摄影者例如由于溜号，在某一定时间 内未拍摄该一个目标物的区间；（viii）区间长度为一定时间以内而相对 于检测到该一个目标物的区间相对较短，所以作为与该一个目标物有关的 区间来管理也没有问题。根据本实施方式4的运动图像解析装置，除了检 测到特定的目标物的区间，如上述（vii）或（viii）那样，被推测为可能 是与该目标物相关联的区间的区间也能够作为目标物关联区间来管理。因 此，用户能够轻松地从运动图像提取与特定的目标物有关的区间，或者所 提取的运动图像对用户来说是容易观看的运动图像。

＜实施方式5＞

在本实施方式5中，也与上述实施方式1～4的运动图像解析装置同样， 除了检测到一个目标物的检测区间之外，还确定未检测到该一个目标物的 非检测区间是否是与该一个目标物有关的目标物关联区间。

此外，在本实施方式5中，还着眼于运动图像中有精彩场面的区间、 即高亮区间。

例如，作为高亮区间，例举足球的进球场景。例如，在某运动图像中， 从作为被摄体的孩子射门的影像切换到足球入网的影像，然后切换到拍摄 了观众欢呼的状况的影像，然后切换到孩子庆祝进球的影像等，存在这样 的一系列区间。在该运动图像中，对于该作为被摄体的孩子制作剪辑运动 图像时，在现有技术中，未检测到该孩子的区间（足球入网的区间、观众 欢呼的区间）无法作为该剪辑运动图像提取。因此，该剪辑运动图像成为 断续的，对用户来说不是容易观看的剪辑运动图像。用户除了拍摄有孩子 的区间之外，也想要将包含运动图像中的高亮区间的一系列区间作为与该 孩子有关的区间来观赏。

另外，在从运动图像提取的各高亮区间中，有从全部帧检测到一个目 标物的情况、从一部分帧检测到一个目标物的情况、从全部帧都未检测到 一个目标物的情况。

鉴于以上情况，实施方式5的运动图像解析装置确定与运动图像中的 一个目标物有关的目标物关联区间。

图22是实施方式5的运动图像解析装置1000的功能框图。

运动图像解析装置1000与上述实施方式1的运动图像解析装置100（图 1）同样，与摄影装置120及显示装置130连接。摄影装置120及显示装置 130的功能与上述实施方式1相同，因此省略说明。

接下来说明运动图像解析装置1000的内部构成。

运动图像解析装置1000除了上述实施方式1的运动图像解析装置100 的构成（图1）之外，还具备高亮检测部1401。此外，运动图像解析装置 1000从运动图像解析装置100的构成中将目标物关联区间确定部106除去， 而具备目标物关联区间确定部1106。

高亮检测部1401从在运动图像取得部101中取得的运动图像检测高亮 区间。高亮检测部1401的详细处理内容留待后述。

目标物关联区间确定部1106在运动图像中确定与各目标物有关的目标 物关联区间。该目标物关联区间确定部1106的处理的详细情况留待后述。

接下来说明运动图像解析措置1000的动作。

图15是表示实施方式5的运动图像解析装置1000的整体动作的流程 图。

运动图像解析装置1000与上述实施方式1的运动图像解析装置100同 样，首先进行运动图像的取得（图2：S201）、目标物的检测·追踪·识别 （S202～S204）、以及检测运动图像中的场景的分界处（S205）的处理。这 些处理与实施方式1相同，因此省略说明。

接着，运动图像解析装置1000在高亮检测部1401中检测运动图像中 的高亮区间（S1501）。

“高亮区间”表示在运动图像中有精彩场面的区间。作为检测高亮区间 的方法，例如有提取音响的功率为一定以上的区间并作为高亮区间的方法。 通过使用该方法，高亮检测部1401能够将因欢呼等而周围的人物兴奋的区 间、烟花大会中的烟花升起的区间等检测为高亮区间。另外，检测高亮区 间的方法不限于此。例如，在运动图像中，附加有用于识别场景的信息、 以及与缩进缩出等摄影时的操作有关的信息的情况下，可以将这些信息用 于高亮区间的检测。例如，进行缩进操作的区间为规定的时间以上的情况 下，可以将从进行该缩进操作的始点帧到包含进行了该缩进操作的区间的 场景的终点帧为止作为高亮区间。

另外，该高亮区间信息包含运动图像中的各高亮的ID信息、各高亮区 间的始点及终点帧信息，例如可以保存在运动图像解析装置100所具备的 存储部中，也可以保存在能够从运动图像解析装置100访问的外部存储部 中。

接下来，目标物关联区间确定部1106基于通过步骤S202～S204的处 理生成的与目标物检测·追踪·识别有关的信息、通过步骤S205的处理生 成的场景的分界处信息、通过步骤S1501的处理生成的高亮区间信息，确 定运动图像中的目标物关联区间（S206E）。

使用图24的流程图来说明步骤S206E的处理。

在上述实施方式1中，说明了目标物关联区间确定部106首先提取同 一场景中包含的检测区间且检测到由目标物识别部104识别为相同的目标 物的检测区间（图6：S601）。

与此相对，目标物关联区间确定部1106除了同一场景中包含的区间且 检测到附加了同一识别ID的目标物的检测区间之外，还提取同一场景中包 含的区间且在步骤S1501z中检测到的高亮区间（S1601）。

接着，目标物关联区间确定部1106在步骤S1601提取的检测区间及高 亮区间中，选择在未在之间夹着在另一步骤S1601提取的区间的2个区间 （S1602）。

使用图4具体说明该步骤S1602的处理。

首先，设在步骤S1601提取的区间为检测区间1、3及5和高亮区间A。 此外，高亮区间的始点帧为帧106，终点帧为帧123。

这时，在步骤S1602中，作为未在之间夹着在另一步骤S1601提取的 区间的2个区间，选择检测区间1与3、或检测区间3与高亮区间A、或高 亮区间A与检测区间5的组合。其他区间的组合在之间夹着在另一步骤 S1601提取的区间，所以不选择。

接着，步骤S1301及S605的处理与实施方式4相同。在步骤S1301中， 在步骤S1602选择的2个区间之间的非检测区间的区间长度满足规定的条 件的情况下（1301：是），目标物关联区间确定部1106将2个检测区间中 的从时间上存在于前方的检测区间的始点帧到时间上存在于后方的区间的 终点帧为止确定为与该处理对象目标物有关的目标物关联区间（S605）。

接着，步骤S606～S608的处理与实施方式1相同，因此省略说明。

另外，在步骤S1602选择的2个区间为检测区间和高亮区间的情况下， 设想图21（a）～（c）所示的情况。另外，在图21（a）～（c）中，在步 骤S1602选择的2个区间为检测区间3（图4）和各高亮区间A～C。

在图21（a）中，高亮区间A的始点帧为帧106，终点帧为帧123。这 时，检测区间3和高亮区间A之间的区间是从帧99到帧105。因此，检测 区间3和高亮区间A之间的区间为6帧，区间长度充分短，所以可以将从 检测区间3的始点帧到高亮区间A的终点帧为止的区间确定为与该处理对 象目标物有关的目标物关联区间。

在图21（b）中，设高亮区间B的始点帧为帧99，终点帧为帧23。这 时，检测区间3的终点帧和高亮区间B的始点帧是连续的帧。这样，检测 区间3和高亮区间B之间的区间为0帧的情况下，也可以将从检测区间3 的始点帧到高亮区间B的终点帧为止的区间确定为与该处理对象目标物有 关的目标物关联区间。

在图21（c）中，设高亮区间C的始点帧为帧96，终点帧为帧123。这 时，检测区间3和高亮区间C的一部分区间重复，这种情况下，也可以将 从检测区间3的始点帧到高亮区间C的终点帧为止的区间确定为与该处理 对象目标物有关的目标物关联区间。

这样，在步骤S1601中，除了检测到该处理对象目标物的检测区间之 外，还提取高亮区间，由此，高亮区间也能够被确定为与该处理对象目标 物有关的目标物关联区间并管理。

＜总结＞

在实施方式5的运动图像解析装置中，在满足下述（1E）及（2E）的 情况下，目标物关联区间确定部1106将在运动图像中未检测到一个目标物 的非检测区间、与该非检测区间连续的前方的检测区间和后方的检测区间 之中的一个检测区间、与该一个检测区间不同的另一个检测区间、或者在 与该一个检测区间不同的另一个检测区间中与该非检测区间连续或与该非 检测区间至少一部分区间重复的区间即高亮区间确定为与该一个目标物有 关的目标物关联区间。

（1E）该非检测区间、与该非检测区间连续的前方的检测区间及后方的 检测区间之中的一个检测区间、以及该高亮区间包含在同一场景中。

（2E）该非检测区间的区间长度为规定的时间以内。

根据本实施方式5的运动图像解析装置，能够将满足上述（1E）及（2E） 的条件的该非检测区间及该高亮区间作为与该一个目标物有关的目标物关 联区间来管理。

例如，在拍摄有孩子踢球的状况的运动图像中，存在拍摄有孩子射门、 然后足球入网的状况的区间的情况下，如果该足球入网的区间作为高亮区 间被检测到，即使在足球入网的区间中完全没有检测孩子，也能够将该孩 子射门然后足球入网的一系列区间作为与该孩子有关目标物关联区间来管 理。此外，在拍摄有烟花大会的状况的运动图像中，拍摄某个人物、然后 立即使摄像机朝向烟花的情况下，即使在拍摄有该烟花的区间中完全没有 检测到人物，也能够将拍摄某个人物然后理解拍摄升起的烟花的一系列区 间作为与该人物有关的目标物关联区间来管理。

像这样，能够管理与特定的目标物有关的区间，所以用户在从运动图 像提取与特定的目标物有关的区间时，除了检测到该目标物的检测区间之 外，还能够提取与该检测区间连续的未检测到该目标物的非检测区间、以 及被推测为与该目标物相关联的高亮区间，所提取的运动图像对用户来说 是容易观看的运动图像。

＜变形例＞

以上说明了本发明的一个方式的运动图像解析装置，但是本发明不限 于上述实施方式。只要不脱离本发明的主旨，对本实施方式施加了本领域 技术人员能够想到的各种变形而得到的方式，或者将不同的实施方式中的 构成要素组合而成的方式，也包含在本发明的范围内。

在上述各实施方式的运动图像解析装置中，目标物关联区间确定部着 眼于未检测到一个目标物的非检测区间、和与该非检测区间在时间上连续 的检测到一个目标物的前方及后方的检测区间，除了该前方及后方的检测 区间之外，还将该非检测区间确定为与该一个目标物有关的目标物关联区 间，但是上述各实施方式的运动图像解析装置不限于此。例如，也可以着 眼于未检测到一个目标物的非检测区间、和与该非检测区间在时间上邻的 检测到一个目标物的前方或后方任一方的检测区间，将该非检测区间确定 为与该一个目标物有关的目标物关联区间。以下说明这种情况的一例。

例如，在步骤S201取得的运动图像中，从该场景的始点帧起存在1帧 以上未检测到一个目标物的非检测区间的情况下，在满足下述（1F）～（3F） 的情况下，将该非检测区间确定为与该一个目标物有关的目标物关联区间。

（1F）该非检测区间和与该非检测区间在时间上连续的后方的检测到该 一个目标物的检测区间包含在同一场景中。

（2F）在该后方的检测区间的始点帧检测到的该一个目标物满足作为该 一个目标物的检测的极限而决定的1个以上的极限条件中的至少1个。极 限条件是作为该一个目标物的检测的极限而决定的条件，例如：该一个目 标物在该终点帧或始点帧的规定区域内被检测到、该一个目标物的朝向为 规定的范围内、或者该一个目标物的大小为一定的大小的范围内。

（3F）该非检测区间的区间长度为规定的时间以内。

使用图4及图5来具体说明。另外，例举确定与目标物1有关的目标 物关联区间的情况。此外，在本具体例中，将上述的规定时间设定为10帧。 此外，作为目标物的极限条件，设定与人物的面部的“朝向”有关的极限 值，设该极限值为“相对于图7的各旋转轴30度”。

在图5中，着眼于场景1时，场景1的始点帧为帧0，参照图4，从该 帧0到帧3为止的区间是未检测到目标物1的非检测区间。这时，在满足 上述（1F）～（3F）的情况下，目标物关联区间确定部106将从帧0到帧3 为止的非检测区间确定为与目标物1有关的目标物关联区间。

首先，（1F）与从帧0到帧3为止的非检测区间在时间上连续的后方 的检测到目标物1的检测区间1是从帧4到帧55，包含在场景1（从帧0 到帧182的区间）中。此外，（2F）该后方的检测区间即检测区间1的始 点帧（帧4）中的目标物1的朝向是极限值“（左30度）”。此外，（3F） 从帧0到帧3的区间长度为帧数4，是帧数10以内。因此，从帧0到帧3 为止的非检测区间被确定为与目标物1有关的目标物关联区间，例如，目 标物关联区间确定部106将从帧0到检测区间1的终点帧（帧55）为止的 区间确定为与目标物1有关的目标物关联区间。

另外，在步骤S201取得的运动图像中，从该场景的终点帧起在时间上 的前方存在1帧以上未检测到一个目标物的非检测区间的情况下也同样， 在满足下述（1G）～（3G）的情况下，可以将该非检测区间确定为与该一 个目标物有关的目标物关联区间。

（1G）该非检测区间和与该非检测区间在时间上连续的前方的检测到该 一个目标物的检测区间包含在同一场景中。

（2G）在该前方的检测区间的始点帧检测到的该一个目标物满足作为该 一个目标物的检测的极限而决定的1个以上的极限条件中的至少1个。极 限条件是作为该一个目标物的检测的极限而决定的条件，例如：该一个目 标物在该终点帧或始点帧的规定区域被检测到、该一个目标物的朝向为规 定的范围内、或者该一个目标物的大小为一定的大小的范围内。

（3G）该非检测区间的区间长度为规定的时间以内。

在上述实施方式1～4中，说明了运动图像解析装置在目标物的检测 （S202）、目标物的追踪（S203）、及目标物的识别（S204）的处理之后， 进行检测运动图像中的场景的分界处（S205）的处理，但是检测运动图像 中的场景的分界处（S205）的处理也可以在确定目标物关联区间（S206、 S206A～E）的处理之前进行，也可以在目标物的检测·追踪·识别（S202～ S204）的某个步骤之间或这些步骤之前进行。

此外，在上述实施方式5中，说明了运动图像解析装置1000在目标物 的检测（S202）、目标物的追踪（S203）、及目标物的识别（S204）的处 理之后进行检测运动图像中的场景的分界处（S205）的处理，然后进行检 测运动图像中的高亮区间（S1501）的处理，但是检测运动图像中的高亮区 间（S1501）的处理也与检测运动图像中的场景的分界处（S205）的处理同 样，可以在确定目标物关联区间（S206、S206A～E）的处理之前进行，也 可以在目标物的检测·追踪·识别（S202～S204）或检测场景的分界处 （S205）的处理的某个步骤之间、或这些步骤之前进行。

上述各实施方式的运动图像解析装置，说明了在步骤S601（或步骤 S1601）中基于运动图像中的场景信息来提取各区间，但是不限于此。例如 也可以是，在步骤S601（或步骤S1601），提取检测到附加了同一识别ID 的目标物的检测区间（和高亮区间），在步骤S608中，基于运动图像中的 场景信息，最终决定与运动图像中规定各目标物有关的目标物关联区间。

在上述各实施方式中，说明了运动图像解析装置具备目标物追踪部， 但是也可以从其构成中将目标物追踪部除去。将目标物追踪部除去的情况 下，在目标物识别部中，对由目标物检测部从各帧检测到的目标物进行识 别处理即可。此外，这种情况下，目标物关联区间确定部106基于与目标 物的检测·识别有关的信息和场景的分界处信息（在实施方式5的目标物 关联区间确定部中，还包括运动图像中的高亮区间信息），来进行确定与 运动图像中的各目标物有关的目标物关联区间的处理即可。

在上述各实施方式的运动图像解析装置中，确定目标物关联区间的处 理不限于上述各实施方式中说明的步骤S206及S206A～S206E，也可以通过 进行将这些各处理组合而得到的处理，来确定目标物关联区间。

在上述实施方式1～4中，运动图像解析装置具备：目标物检测部102、 目标物追踪部103、目标物识别部104、及场景检测部105，目标物关联区 间确定部106基于通过目标物的检测（S202）、目标物的追踪（S203）及 目标物的识别（S204）的处理而得到的与目标物的检测·追踪·识别有关 的信息、以及通过检测运动图像中的场景的分界处（S205）的处理而得到 的运动图像中的场景的分界处信息，确定与运动图像中的各目标物有关的 目标物关联区间（S206、S206A～D），但是上述各实施方式的运动图像解 析装置不限于此。例如，目标物关联区间确定部106在步骤S206及S206A ～D中，也可以使用由外部装置对运动图像附加的、与目标物的检测·追踪· 识别有关的信息和运动图像中的场景的分界处信息。

在上述实施方式5中，运动图像解析装置1000具备高亮检测部1401, 目标物关联区间确定部1106基于与目标物的检测·追踪·识别有关的信息、 运动图像中的场景的分界处信息、以及通过高亮区间的检测（S1501）的处 理而得到的运动图像中的高亮区间信息，确定与运动图像中的目标物有关 的目标物关联区间（S206E），但是上述实施方式5的运动图像解析装置1000 不限于此。例如，目标物关联区间确定部1106在步骤S206E中，也可以使 用由外部装置对运动图像附加的运动图像中的高亮区间信息。

上述实施方式1～5的运动图像解析装置所具备的构成要素的一部分货 全部也可以由1个系统LSI（Large Scale Integration：大规模集成电路） 构成。

系统LSI是将多个构成部集成在1个芯片上而制造的超多功能LSI，具 体地说，是包括微处理器、ROM（Read Only Memory）、RAM（Ramdom Access  Memory）等而构成的计算机系统。在所述ROM中存储有计算机程序。所述 微处理器按照所述计算机程序进行动作，由此，系统LSI实现其功能。

另外，在此采用了系统LSI，但是根据集成度的不同，有时也称为IC、 LSI、超级LSI、特级LSI。此外，集成电路化的手法不限于LSI，也可以使 用专用电路或通用处理器来实现。也可以利用在LSI制造后可编程的FPGA （Field Programmable Gate Array）、或者能够将LSI内部电路单元的连 接及设定重构的可重构处理器。

进而，通过半导体技术的进步或派生的其他技术，如果出现了代替LSI 的集成电路化的技术，当然可以使用该技术来进行功能模块的集成化。生 物技术的应用等也存在可能性。

此外，本发明不仅能够作为具备这样的特征性处理部的运动图像解析 装置来实现，还能够作为以运动图像解析装置中包含的特征性处理部为步 骤的运动图像解析方法等来实现。此外，还能够作为使计算机执行这样的 方法中包含的特征性的各步骤的计算机程序来实现。而且，当然可以将这 样的计算机程序经由CD-ROM等计算机可读取的非暂时性记录介质或因特网 等通信网络来流通。

＜补充＞

以下说明本发明的实施方式的运动图像解析装置的构成及其变形例和 各效果。

第1运动图像解析装置，在运动图像中确定与一个目标物有关的目标 物关联区间，该运动图像解析装置具备目标物关联区间确定部，该目标物 关联区间确定部在判定为满足规定的条件的情况下，将与检测到所述一个 目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物 的区间即非检测区间确定为所述目标物关联区间，在判定为不满足所述规 定的条件的情况下，不将与检测到所述一个目标物的检测区间在时间上连 续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所 述目标物关联区间。

通过该构成，第1运动图像解析装置能够在运动图像中适当地确定与 一个目标物相关联的区间。

第2运动图像解析装置，在第1运动图像解析装置中，所述规定的条 件是：所述非检测区间和与所述非检测区间在时间上连续的前方的检测区 间及后方的检测区间包含在同一场景中，并且所述前方的检测区间的终点 帧中的所述一个目标物及所述后方的检测区间的始点帧中的所述一个目标 物分别满足基于所述一个目标物的检测的极限而决定的1个以上的极限条 件中的至少1个。

通过该构成，在满足所述规定的条件的情况下，第2运动图像解析装 置能够推测出：例如实际上拍摄有该一个目标物，但是由于目标物检测技 术的限制而未检测到该一个目标物，或者该一个目标物的运动或摄影者的 运动较大，是该一个目标物离开画面的区间，所以所述非检测区间能够被 确定为与检测到该一个目标物的检测区间连续的一系列区间。

第3运动图像解析装置，在第2运动图像解析装置中，所述极限条件 是：所述一个目标物在所述终点帧或所述始点帧的规定区域被检测到、所 述一个目标物的朝向为规定的范围内、所述一个目标物的大小为阈值A以 上、以及所述一个目标物的大小为小于所述阈值A的阈值B以下。

通过该构成，第3运动图像解析装置，特别是，在与所述非检测区间 的两端的帧分别连续的各帧中检测到的所述一个目标物满足与能够检测所 述一个目标物的帧区域、所述一个目标物的朝向及所述一个目标物的大小 有关的极限条件中的至少1个极限条件的情况下，能够将所述非检测区间 确定为与检测到该一个目标物的检测区间连续的一系列区间。

第4运动图像解析装置，在第3运动图像解析装置中，所述规定区域 是所述终点帧或所述始点帧的框的附近的区域。

通过该构成，第4运动图像解析装置，关于与能够检测所述一个目标 物的帧区域有关的极限条件，该一个目标物存在于所述终点帧或所述始点 帧的框的附近的区域的情况下，能够满足该极限条件。

第5运动图像解析装置，在第1运动图像解析装置中，所述规定的条 件是：所述非检测区间和与所述非检测区间在时间上连续的前方的检测区 间及后方的检测区间包含在同一场景中，并且所述非检测区间中的影像的 抖动为规定的程度以上。

通过该构成，第5运动图像解析装置在满足所述规定的条件的情况下， 例如推测为实际上拍摄有该一个目标物，但是由于影像的抖动而未检测到 该一个目标物，或者摄影者的运动，是该一个目标物离开画面的区间，所 以所述非检测区间能够被确定为与检测到该一个目标物的检测区间连续的 一系列区间。

第6运动图像解析装置，在第1运动图像解析装置中，所述规定的条 件是：所述非检测区间和与所述非检测区间在时间上连续的前方的检测区 间及后方的检测区间包含在同一场景中；在所述非检测区间中检测到与所 述一个目标物不同的目标物，并且在所述非检测区间中检测到所述不同的 目标物的区间长度为规定的时间以上；或者所述非检测区间中的检测到所 述不同的目标物的区间的比率为规定比例以上。

通过该构成，第6运动图像解析装置在满足所述规定的条件的情况下， 所述非检测区间被推测为，例如摄影者在一定时间内例如由于溜号，是没 有拍摄该一个目标物而拍摄了与该一个目标物不同的目标物的区间，所以 所述非检测区间能够被确定为与检测到该一个目标物的检测区间连续的一 系列区间。

第7运动图像解析装置，在第1运动图像解析装置中，所述规定的条 件是：所述非检测区间和与所述非检测区间在时间上连续的前方的检测区 间及后方的检测区间包含在同一场景中，所述非检测区间的区间长度为规 定的时间以内，在所述非检测区间中检测到与所述一个目标物不同的目标 物，并且在所述非检测区间中检测到所述不同的目标物的时间为规定的时 间以上；或者所述非检测区中的检测到所述不同的目标物的区间的比率为 规定比例以上。

通过该构成，第7运动图像解析装置在满足所述规定的条件的情况下， 所述非检测区间被推测为，例如摄影者在一定时间内例如由于溜号，是没 有拍摄该一个目标物而拍摄了与该一个目标物不同的目标物的区间，所以 所述非检测区间能够被确定为与检测到该一个目标物的检测区间连续的一 系列区间。

第8运动图像解析装置，在第1运动图像解析装置中，所述规定的条 件是：所述非检测区间和与所述非检测区间在时间上连续的前方的检测区 间及后方的检测区间包含在同一场景中，在所述非检测区间中检测到与所 述一个目标物不同的目标物，并且在所述非检测区间的各帧中检测到的所 述不同的目标物的检测区域及在所述后方的检测区间的始点帧中检测到的 所述一个目标物的检测区域、分别和将在所述前方的检测区间的终点帧检 测到的所述一个目标物的检测区域与其周边区域相加而得到的区域至少一 部分重合。

通过该构成，第8运动图像解析装置在满足所述规定的条件的情况下， 推测为在所述非检测区间中，从摄影者观察时，在该一个目标物的前方存 在与该一个目标物不同的目标物，该一个目标物藏在该不同的目标物的后 面，所以能够将所述非检测区间确定为与检测到该一个目标物的检测区间 连续的一系列区间。

第9运动图像解析装置，在第8运动图像解析装置中，所述周边区域 基于在所述前方的检测区间的终点帧检测到的所述一个目标物的大小、以 及与所述前方的检测区间的至少一部分中的所述一个目标物的位移有关的 信息之中的至少一方来设定。

通过该构成，第9的运动图像解析装置能够根据在所述前方的检测区 间的终点帧检测到的所述一个目标物的大小、或者所述前方的检测区间的 至少一部分中的所述一个目标物的位移（例如检测到所述一个目标物的检 测区域的移动量或大小的位移）来设定所述周边规定区域。

第10运动图像解析装置，在第1运动图像解析装置，所述规定的条件 是：所述非检测区间和与所述非检测区间在时间上连续的前方的检测区间 及后方的检测区间包含在同一场景中，并且所述非检测区间的区间长度为 规定的时间以内。

通过该构成，第10运动图像解析装置在满足所述规定的条件的情况下， 所述非检测区间被推测为，例如摄影者例如由于溜号，是在某一定的时间 内没有拍摄该一个目标物的区间，区间长度为一定时间以内而与检测到该 一个目标物的区间相比相对较短，所以作为与该一个目标物有关的区间来 管理也没有问题，所以所述非检测区间能够被确定为与检测到该一个目标 物的检测区间连续的一系列区间。

第11运动图像解析装置，在第1运动图像解析装置中，所述规定的条 件是：所述非检测区间和与所述非检测区间在时间上连续的前方的检测区 间和后方的检测区间之中的一方的检测区间包含在同一场景中，在所述一 方的检测区间中在成为与所述非检测区间在时间上连续的一侧的端点的帧 检测到的所述一个目标物满足基于所述一个目标物的检测的极限而决定的 1个以上的极限条件的至少1个，并且所述非检测区间的区间长度为规定的 时间以内。

通过该构成，第11运动图像解析装置在满足所述规定条件的情况下， 所述非检测区间被推测为，例如实际上拍摄有该一个目标物，但是由于目 标物检测技术的限制而未检测到该一个目标物，或者该一个目标物的运动 或摄影者的运动较大，是该一个目标物离开画面的区间，所以所述非检测 区间能够被确定为与检测到该一个目标物的检测区间连续的一系列区间。

第12运动图像解析装置，在第1运动图像解析装置中，所述规定的条 件是：所述非检测区间、与所述非检测区间在时间上连续的前方的检测区 间和后方的检测区间之中的一方的检测区间、以及高亮区间包含在同一场 景中，该高亮区间是在与所述一方的检测区间不同的另一方的检测区间中 与所述非检测区间连续或与所述非检测区间一部分或全部重合的区间，是 所述运动图像中的有精彩场面的区间，并且所述非检测区间的区间长度为 规定的时间以内。

通过该构成，第12运动图像解析装置能够将所述非检测区间和所述高 亮区间确定为与检测到该一个目标物的检测区间连续的一系列区间。

第1运动图像解析方法，是运动图像解析装置所执行的运动图像解析 方法，该运动图像解析装置在运动图像确定与一个目标物有关的目标物关 联区间，该运动图像解析方法具有目标物关联区间确定步骤，该目标物关 联区间确定步骤在判定为满足规定的条件的情况下，将与检测到所述一个 目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物 的区间即非检测区间确定为所述目标物关联区间，在判定为不满足所述规 定的条件的情况下，不将与检测到所述一个目标物的检测区间在时间上连 续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所 述目标物关联区间。

通过该构成，能够在运动图像中适当地确定与一个目标物相关联的区 间。

第1程序，是使计算机执行由运动图像解析装置执行的运动图像解析 处理的程序，该运动图像解析装置在运动图像确定与一个目标物有关的目 标物关联区间，所述运动图像解析处理具有目标物关联区间确定步骤，该 目标物关联区间确定步骤在判定为满足规定的条件的情况下，将与检测到 所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一 个目标物的区间即非检测区间确定为所述目标物关联区间，在判定为不满 足所述规定的条件的情况下，不将与检测到所述一个目标物的检测区间在 时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间 确定为所述目标物关联区间。

通过该构成，能够在运动图像中适当地确定与一个目标物相关联的区 间。

第1集成电路，在运动图像中确定与一个目标物有关的目标物关联区 间，该集成电路具备目标物关联区间确定部，该目标物关联区间确定部在 判定为满足规定的条件的情况下，将与检测到所述一个目标物的检测区间 在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区 间确定为所述目标物关联区间，在判定为不满足所述规定的条件的情况下， 不将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未 检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间。

通过该构成，第1集成电路能够在运动图像中适当地确定与一个目标 物相关联的区间。

工业实用性

本发明的运动图像解析装置能够应用于存储运动图像的装置、数字摄 像机、带摄像机的便携电话或摄影摄像机等摄影装置、以及PC（PersonalCom  ｐuter）等。

符号的说明

100、1000  运动图像解析装置

101  运动图像取得部

102  目标物检测部

103  目标物追踪部

104  目标物识别部

105  场景检测部

106、1106  目标物关联区间确定部

120  摄影装置

130  显示装置

301  取得的运动图像

302  第t帧

303  第t＋1帧

304、305  目标物

1401  高亮检测部