兴趣区间确定装置、兴趣区间确定方法、兴趣区间确定程序

摘要

兴趣区间确定装置具备：目标检测机构，在从运动图像提取出的帧中检测目标；运动特征量提取机构，计算检测到的目标的运动特征量；特殊度计算机构，使用计算出的目标的运动特征量，计算提取出的帧中的目标的运动的特殊度；兴趣区间确定机构，基于多个连续的帧各自的特殊度，确定运动图像中的兴趣区间。

说明书

技术领域

本发明涉及在运动图像中确定引起用户的兴趣的区间的兴趣区间确定 装置。

背景技术

近年来，用户将由数字照相机或摄像机等的数字图像摄影设备摄影的 运动图像或照片等数量较多的内容保存到PC等中而储存。如果储存的内容 变得庞大，则将内容分类以使用户能够容易地识别这些内容的详情，或者 在内容是运动图像的情况下制作其摘要影像，要求内容的详情的掌握的容 易化。

以往，作为制作运动图像的摘要影像的方法，用户自身从运动图像中 指定作为摘要影像使用的区间，将这些区间接合而做成摘要影像。但是， 该方法由于用户的负担较大、此外还需要专门的知识，所以希望摘要影像 制作的简略化、自动化。

所以，所谓用户引起兴趣的摘要，可以考虑是有运动的影像，所以可 以考虑在制作摘要的目标的运动图像中检测人物的运动（例如参照专利文 献1），提取人物有运动的区间。

专利文献1：特开2006－019387号公报

发明内容

但是，在上述专利文献1的情况下，没有仅通过检测人物有运动就能 够提取对于用户而言引起兴趣的区间（以下，称作兴趣区间）的保证，存 在有可能不能制作适当的摘要影像的问题。

所以，本发明是鉴于上述问题而做出的，目的是提供一种有利于对于 用户而言兴趣较深的摘要影像的制作的兴趣区间确定装置。

为了解决上述问题，有关本发明的兴趣区间确定装置，是在运动图像 中确定推测用户感兴趣的兴趣区间的兴趣区间确定装置，其特征在于，具 备：目标检测机构，在从上述运动图像提取出的帧中检测目标；运动特征 量提取机构，计算对于上述提取出的帧的上述目标的运动特征量；特殊度 计算机构，使用上述目标的运动特征量，计算上述提取出的帧中的上述目 标的运动的特殊度；兴趣区间确定机构，使用上述特殊度确定上述运动图 像中的上述兴趣区间。

此外，有关本发明的兴趣区间确定方法，是在运动图像中确定推测用 户感兴趣的兴趣区间的兴趣区间确定方法，其特征在于，目标检测步骤， 在从上述运动图像提取出的帧中检测目标；运动特征量提取步骤，计算对 于上述提取出的帧的上述目标的运动特征量；特殊度计算步骤，使用上述 目标的运动特征量，计算上述提取出的帧中的上述目标的运动的特殊度； 兴趣区间确定步骤，使用上述特殊度确定上述运动图像中的上述兴趣区间。

此外，有关本发明的兴趣区间确定程序，是使计算机执行在运动图像 中确定推测用户感兴趣的兴趣区间的兴趣区间确定处理的兴趣区间确定程 序，其特征在于，上述兴趣区间确定处理包括：目标检测步骤，在从上述 运动图像提取出的帧中检测目标；运动特征量提取步骤，计算对于上述提 取出的帧的上述目标的运动特征量；特殊度计算步骤，使用上述目标的运 动特征量，计算上述提取出的帧中的上述目标的运动的特殊度；兴趣区间 确定步骤，使用上述特殊度确定上述运动图像中的上述兴趣区间。

通过上述那样的结构，由于兴趣区间确定装置基于提取出的帧中的目 标的运动的特殊度确定兴趣区间，所以例如在运动图像区间中也能够确定 运动较大的区间作为兴趣区间，所以能够使对于用户而言兴趣较深的摘要 影像的制作的方便性。

附图说明

图1是表示兴趣区间确定装置的功能结构例的块图。

图2是运动图像的帧、和从各帧提取的目标的一例。

图3是评价帧中的目标的运动的区域的一例。

图4是帧中的目标的计算出的光流的一例。

图5是评价用来决定帧中的目标的运动特征量的目标的运动的像素的 一例。

图6是目标的各帧中的运动特征量的一例。

图7是用来表示兴趣区间的确定方法的图。

图8是表示兴趣区间确定装置的动作的流程图。

图9是表示计算运动特征量的动作的流程图。

图10是表示计算特殊度的动作的流程图。

图11是用来说明帧的特殊度的计算的图。

图12是表示有关实施方式2的兴趣区间确定装置的功能结构例的块 图。

图13是表示有关实施方式2的兴趣区间确定装置的动作的流程图。

图14是表示有关实施方式2的的兴趣区间确定装置的特殊度计算的动 作的流程图。

具体实施方式

<发明者们得到的认识>

发明者当在用于摘要影像的制作的运动图像中进行认为用户表示兴趣 的兴趣区间的通过装置的确定时，考虑了如上述专利文献1中记载的技术 那样利用目标的运动。但是发现，在单单仅将目标的运动用于兴趣区间确 定的情况下，即使是单调的运动（例如，单单只是步行的运动），也有可能 被确定为兴趣区间。例如，在使用上述专利文献1所记载的技术的情况下， 成为没完没了提取相同的重复影像（例如，被摄体的人物持续步行的影像） 等，有制作对于用户而言没有意思的摘要影像的问题。

所以，发明者思考了作为摘要影像怎样的影像对于用户而言兴趣较浓， 发现摄影的目标的运动特殊的部分（运动剧烈、或独特的部分）为对于用 户而言兴趣较浓的内容的情况较多。

以下，对于发明者在创意设计下达到发明的兴趣区间确定装置，说明 怎样计算特殊度、怎样基于该特殊度确定在摘要影像的制作中利用的兴趣 区间。

<实施方式1>

以下，使用附图对作为本发明的一实施方式的兴趣区间确定装置进行 说明。

<结构>

图1是表示兴趣区间确定装置100的功能结构的块图。另外，在图1 中还表示兴趣区间确定装置100的周边设备。

如图1所示，兴趣区间确定装置100连接在摄影装置120和显示装置 130上。兴趣区间确定装置100从摄影装置120摄影的运动图像中提取兴趣 区间，显示在显示装置130上。另外，在本实施方式中，兴趣区间是预先 设定的固定时间长（例如3分钟）的运动图像。

摄影装置120例如是电影摄影机或数字照相机等的具有摄影运动图像 并记录的功能的设备。摄影装置120例如经由USB（Universal Serial Bus） 电缆连接在兴趣区间确定装置100上。

显示装置130例如是数字电视机或LCD（Liquid Crystal Display）、PDP （Plasma Display Panel）等的具有显示图像的功能的监视器。显示装置130 例如经由USB电缆连接在兴趣区间确定装置100上。

以下，对有关本发明的兴趣区间确定装置100的结构进行说明。

如图1所示，兴趣区间确定装置100包括运动图像取得部101、目标检 测部102、目标追踪部103、区域决定部104、运动特征量计算部105、特 殊度计算部106、兴趣区间确定部107和兴趣区间提取部108。

运动图像取得部101具有从摄影装置120取得摄影装置120摄影的运 动图像的功能。运动图像取得部101例如由控制用来连接USB电缆的USB 端口及USB驱动器等的接口的软件构成。

目标检测部102具有从运动图像的各帧检测目标的功能。所谓目标， 例如可以举出人物、人物的脸、动物、车等。

目标检测部102对于帧进行边缘检测，或在帧内使检索窗口移动，在 检索窗口内，通过使用用来识别目标的分类器（在检测人物的脸的情况下， 分类器有时也称作脸学习辞典）判别各目标，例如如图2所示，能够检测 帧内的人物的脸。在图2的情况下，通过进行目标（脸）检测，从运动图 像的第t个帧201检测出目标203，从第t+1个帧202检测出目标204。另 外，这里假设分类器是用来检测人物的脸的而进行说明，但分类器也可以 是用来检测动物或车等人物以外的。此外，目标检测部102也可以为了检 测多个不同的种类而保持有多个分类器，也可以还具有在从帧检测到目标 的情况下、对检测到的目标作为元数据而赋予在该目标的检测中使用的分 类器是用来检测什么的信息的功能。

目标追踪部103对于目标检测部102检测到的1个以上的目标分别追 踪在下个帧中处于哪个位置。目标追踪部103具有对于该追踪的结果推测 为在各帧中相同的目标赋予相同的识别码（目标ID）的功能。使用图2说 明目标追踪的方法的一例。例如，如果是图2的情况，则关于作为连续的 帧的帧201和帧202，由于检测出的目标203和目标204的区域分别各个帧 的位置大致相同，所以目标203和目标204是相同的目标，赋予相同的目 标ID。即，在本实施方式中，在帧中将各帧的区域的各自的帧中的位置接 近的目标彼此确定是相同的目标。这样，目标追踪部103通过辨认包含在 多个帧中的目标来追踪目标。

区域决定部104具有在运动图像的各帧中决定用来评价目标的运动的 区域的功能。用来检测目标的运动的区域包括追踪对象的目标。使用图3 说明由区域决定部104进行的区域的决定。

图3是表示基于帧301内的目标决定的区域的图。区域决定部104在 本实施方式中将目标检测部102检测到的包含推测为人物的脸的目标的区 域302a（图3的左斜线部分）、和根据该人物的脸的尺寸推测有该人物的身 体的区域302b（图3的右斜线部分）相加的区域302决定为检测目标的运 动的区域。区域302b预先对于检测到的区域302a的倾斜和尺寸决定在哪 个方向上为怎样的尺寸。另外，在各帧中，对应的区域存在的位置及范围 在帧间既有共通的情况也有不同的情况。区域决定部104决定的区域根据 目标检测部102检测的目标的内容来设定其形状及决定为区域的范围，目 标检测部102根据检测到的目标的内容来决定区域的形状和范围。

运动特征量计算部105具有对包含在运动图像中的各帧计算该帧的目 标的运动特征量的功能。运动特征量计算部105对包含在运动图像中的帧， 对于该帧确定区域决定部104决定的区域内的各像素（参照图4）。图4表 示所决定的区域302内的各像素。并且，运动特征量计算部105计算所确 定的各像素的光流（参照图5）。另外，在图5中，不是区域内的全像素的 光流，而表示一部分光流的一例。此外，作为光流的计算方法，作为一例 而使用梯度法。梯度法是基于“物体上的点的明亮度在移动后也不变化” 的假定来推测时刻t的帧的某个像素在时刻t+1的帧中移动到哪里、基于其 移动量来求出矢量的方法。

并且，运动特征量计算部105使用计算出的光流，决定区域决定部104 决定的区域的运动特征量。使用图5说明区域的运动特征量的决定方法。

如图5所示，假设区域302的第一段左端的像素的坐标（x，y）是（a， b），其右邻是（a+1，b），…，区域302的第一段右端的像素的坐标（x， y）是（a+w，b），第二段左端的像素的坐标是（a，b+1）。并且，假设计算 出，坐标（a，b）的光流为（x_a，y_b），坐标（a+1，b）的光流为（x_a+1，y_b）， …，坐标（a+w，b）的光流为（x_a+w，y_b），坐标（a，b+1）的光流为（xa， y_b+1），…。此时，对于区域302，将其运动特征量（特征量1，特征量2， 特征量3，…，特征量K，…）决定为（x_a，y_b，x_a+1，y_b，…，x_a+w，y_b， x_a，y_b+1，…）。即，区域决定部104决定的区域302的运动特征量是包含 在区域302中的各像素的光流的集合，是从区域302的第一段左端到右端， 从第二段左端到右端，··，从第N段左端到右端，…，从区域302的下端 的左端到右端的顺序排列的。这样，运动特征量计算部105对各帧计算检 测出的各目标的运动特征量，将其信息向存储器（未图示）等存储。

图6是存储的运动特征量的信息的数据概念图。如图6所示，运动特 征量的信息是对于用来识别各帧的帧号码，对各特征量的种类将该特征量 的数值建立对应的信息。这里，所谓特征量的种类，是区域内的某个像素 的运动矢量的x轴方向的运动量或y轴方向的运动量。例如，作为帧号码3 的运动特征量，特征量1的数值为6，特征量2的数值为2。

特殊度计算部106具有计算包含在运动图像中的各帧的特殊度的功能。 各帧的特殊度，是表示包含在各帧中的目标的运动与其他帧中的目标的运 动有多少不同的指标。关于特殊度的计算方法的详细情况后述。

兴趣区间确定部107具有使用特殊度计算部106计算出的各帧的特殊 度确定兴趣区间的功能。使用图7说明兴趣区间的确定方法。图7是在横 轴取时间轴、在纵轴取特殊度的、运动图像的时间经过带来的特殊度的变 化的曲线图。兴趣区间确定部107对于固定长的兴趣区间，一边将兴趣区 间长的窗701从运动图像的开头朝向结束错开，一边将包含在该窗701中 的帧的特殊度合计，将其合计值为最高处的窗701确定为兴趣区间。并且， 兴趣区间确定部107对运动图像赋予表示确定的兴趣区间的起点的信息和 表示兴趣区间的终点的信息。这通过对运动图像赋予表示兴趣区间的起点 的标签（以后称作起点标签）、和表示兴趣区间的终点的标签（以后称作终 点标签）（编索引）来进行。

兴趣区间提取部108具有基于兴趣区间确定部107对运动图像赋予的 起点标签和终点标签、从运动图像提取作为以起点标签为开始点、以终点 标签为结束点的运动图像的兴趣区间运动图像的功能。

输出部109具有将兴趣区间提取部108提取出的兴趣区间运动图像向 显示装置130输出的功能。

显示装置130将从输出部109输出的兴趣区间运动图像再现，用户通 过观看它，能够在短时间中识别运动图像的内容，并兴趣浓厚地视听兴趣 区间运动图像。

<动作>

接着，使用图7所示的流程图说明有关本实施方式的兴趣区间确定装 置100的动作。

首先，说明用来确定兴趣区间的基本动作。

兴趣区间确定装置100的运动图像取得部101将运动图像从摄影装置 120经由USB电缆输入取得（步骤S801）。运动图像取得部101将所取得 的运动图像向目标检测部102传递。

目标检测部102从传递来的运动图像，对各帧检测包含在该应显示的 图像中的目标（步骤S802）。目标检测部102将关于检测到的1个以上的 目标的信息向目标追踪部103传递。

目标追踪部103对于从各帧检测到的目标，追踪各个目标存在于哪个 帧的哪个位置，将在帧间共通的目标赋予相同的目标ID来辨识（步骤 S803）。

区域决定部104按照目标追踪部103的追踪的结果检测出的目标，对 在各帧中关于各个目标检测运动的区域（步骤S804）。

运动特征量计算部105对于由区域决定部104决定的各目标的各区域， 根据该区域在从计算运动特征量的对象的对象帧到下一帧以怎样的程度运 算，计算各帧的运动特征量（步骤S805）。即，运动特征量计算部105对 于运动图像的各帧，生成由包含在区域中的各像素的光流的集合构成的矢 量作为该帧的运动特征量。

特殊度计算部106使用运动特征量计算部105计算出的各帧的运动特 征量计算各帧的特殊度（步骤S806）。帧的特殊度的计算的详细情况使用 图10的流程图后述。

兴趣区间确定部107基于计算出的各帧的特殊度，将在运动图像中兴 趣区间长的连续的帧的特殊度的合计值为最高的区间确定为运动图像的兴 趣区间，对运动图像赋予表示兴趣区间的起点和终点的信息（编索引）（步 骤S807）。

兴趣区间提取部108从运动图像中提取兴趣区间确定部107确定的兴 趣区间，将提取出的兴趣区间运动图像向输出部109传递。并且，输出部 109将传递来的兴趣区间运动图像向显示装置130输出（步骤S808）。显示 装置130显示从兴趣区间确定装置100传递来的兴趣区间运动图像，用户 即使不将运动图像全部视听，也能够仅通过确认兴趣区间的内容来识别运 动图像的内容。

接着，说明图8的步骤S805中的关于运动特征量的计算的详细情况。

图9是表示运动特征量计算部105的运动特征量的计算动作的流程图。

运动特征量计算部105计算各帧的区域302内的各像素的光流（步骤 S901）。

运动特征量计算部105将关于各帧计算出的光流基于各帧的目标的大 小而正规化（步骤S902）。运动特征量计算部105例如有在基于目标的脸 的大小信息将各像素中的光流扩大的情况下取线性内插、在缩小的情况下 取缩小源区域的均值的方法。这是因为，即使是将相同的目标作为被摄体 的情况，运动图像中的目标的大小也随着摄影装置120与被摄体的目标的 距离而变化，在决定目标的运动特征量的处理中，假设目标的大小是一定 而决定。

并且，运动特征量计算部105对于各帧，计算由在对包含在各个帧中 的目标设定的区域中包含的各像素的光流的集合构成的运动特征量（步骤 S903）。

由此，如图6所示，对各帧计算运动特征量。

接着，使用图10及图11说明关于特殊度的计算的详细情况。

图10是表示由特殊度计算部106进行的特殊度的计算动作的流程图。 此外，图11是用来说明在计算特殊度时使用的帧的图。图11是在x轴取 时间、在y轴取运动特征量种类、在z轴取特征量的3维曲线图，是表示 各时间的运动图像的各帧中的某个目标的运动特征量的概念图。

使用图11对在特殊度的计算中使用的运动特征量进行说明。作为计算 特殊度的对象的对象帧的特殊度表示对象帧的运动特征量相比对象帧的前 后的设定的范围的帧的运动特征量有多少类似的。如图11所示，以计算特 殊度的对象的对象帧为中心，将它的前M（M是2以上的整数）帧及后M 帧设为第1区间。此外，以对象帧为中心，将它的前N（N是1以上不到 M的整数）帧及后N帧设为第2区间。并且，在对象帧的特殊度的计算中， 使用对象帧的运动特征量、和包含在从第1区间除去了第2区间后的第3 区间中的帧的运动特征量的平均值。另外，这里，假设M是300帧，N是 60帧。300帧相当于运动图像的10秒，60帧相当于运动图像的2秒。

以下，使用图10的流程图详细地说明。

特殊度计算部106决定计算特殊度的对象的对象帧（步骤S1001）。这 只要对运动图像的全部帧计算特殊度就可以，所以既可以从运动图像的最 初到结束依次决定，也可以从结束到最初以相反顺序决定，也可以随机地 决定。这里，也可以从运动图像的最初起依次计算。

特殊度计算部106选择包含在对象帧中的1个目标（步骤S1002）。

接着，特殊度计算部106根据以所选择的目标的对象帧为基准的第3 区间（2M－2N）的帧的运动特征量，计算平均运动特征量（步骤S1003）。

具体而言，特殊度计算部106将对象帧k中的目标A的运动特征量用 以下的数式1表示。

［数式1］

${\overrightarrow{a}}_k$

并且，对于对象帧k，将作为特殊度的比较目标的第3区间的目标A 的平均运动特征量用以下的数式2表示。

［数式2］

${\overrightarrow{a}}_{k,\mathrm{ave}}$

于是，第3区间的目标A的平均运动特征量可以用以下的数式3表示。

［数式3］

${\overrightarrow{a}}_{k,\mathrm{ave}}=\frac{\underset{i=1}{\overset{M-N}{\Sigma }}{\overrightarrow{a}}_{k-(N+i)}+\underset{i=1}{\overset{M-N}{\Sigma }}{\overrightarrow{a}}_{k+(N+i)}}{2(M-N)}$

另外，在k≤N的情况下，对于对象帧k在特殊度的计算中使用的第3 区间的目标A的平均运动特征量可以用以下的数式4表示。

［数式4］

${\overrightarrow{a}}_{k,\mathrm{ave}}=\frac{\underset{i=1}{\overset{M-N}{\Sigma }}{\overrightarrow{a}}_{k+(N+i)}}{M-N}$

此外，在设运动图像的全部帧数为f_max的情况下，f_max－N≤k时的对象 帧k中的目标A的平均运动特征量可以用以下的数式5表示。

［数式5］

${\overrightarrow{a}}_{k,\mathrm{ave}}=\frac{\underset{i=1}{\overset{M-N}{\Sigma }}{\overrightarrow{a}}_{k-(N+i)}}{M-N}$

并且，特殊度计算部106使用上述数式1所示的数式及平均运动特征 量，计算对象帧k中的选择的目标的分数（步骤S1004）。

对象帧k中的目标A的分数可以用以下的数式6表示。

［数式6］

$P_k=\frac{\left|{\overrightarrow{a}}_k\right|}{1+{\overrightarrow{a}}_k·{\overrightarrow{a}}_{k,\mathrm{ave}}}$

即，使用将帧k中的目标A的运动特征量的绝对值用对帧k中的目标 A的运动特征量与对于帧k的第3区间的目标A的平均运动特征量的内积 加上1后的值除得到的值作为帧k中的目标A的分数。

特殊度计算部106判断在所选择的对称帧中是否计算了关于全部的目 标的分数（步骤S1005）。在没有计算关于全部的目标的分数的情况下（步 骤S1005的否），回到步骤S1002。

在计算了关于全部的目标的分数的情况下（步骤S1005的YES），将计 算出的各目标的分数合计，计算对象帧的特殊度（步骤S1006）。

接着，特殊度计算部106判断是否计算了关于全部的帧的特殊度（步 骤S1007）。在没有计算出关于全部的帧的特殊度的情况下（步骤S1007的 否），回到步骤S1001。

在计算了关于全部的帧的特殊度的情况下（步骤S1007的YES），结束 特殊度计算的处理。

以上是兴趣区间确定装置100的动作。

兴趣区间确定装置100通过具备上述结构，确定在运动图像中也特别 富有目标的运动的变化的部分作为兴趣区间，所以能够提供不使用户厌烦 的兴趣区间。

<实施方式2>

在上述实施方式1中，当检测目标的运动的特殊性时，通过与其他帧 中的相同的目标的运动比较来检测。但是，检测目标的特殊性的方法并不 限定于此。在本实施方式2中，说明与上述实施方式1不同的特殊性的检 测方法。另外，在本实施方式2中，关于与上述实施方式1共通的内容省 略说明，对不同的点进行说明。

此外，在本实施方式2中，以在运动图像中摄影了多个目标为前提。

<结构>

有关实施方式2的兴趣区间确定装置1200如图12所示，包括运动图 像取得部101、目标检测部102、运动特征量计算部105、特殊度计算部1206、 兴趣区间确定部1207、兴趣区间提取部108和输出部109。在图12中，对 于起到与图2所示的兴趣区间确定装置100相同的功能的功能部赋予相同 的名称和附图标记，将说明简略化或省略。

将在目标检测部102中检测到的目标的信息经过目标追踪部103、区域 决定部104向运动特征量计算部105传递。

运动特征量计算部105对各帧计算由目标检测部102检测到的各目标 的运动特征量。并且，运动特征量计算部105将计算出的运动特征量向特 殊度计算部1206传递。

受理部1205具有从用户受理从由目标检测部102检测到的目标中选择 的特定的目标的指定、将关于该特定的目标的信息向特殊度计算部1206传 递的功能。

特殊度计算部1206具有对确定的目标计算相比在相同的帧内摄影的其 他目标有多少特殊的功能。

特殊度计算部1206从由目标检测部102检测到的多个目标中选择从受 理部1205受理的特定的目标。并且，计算所确定的目标的运动特征量相比 其他目标的运动特征量有多少特殊。

兴趣区间确定部1207具有基于由特殊度计算部1206计算出的各帧的 确定的目标的特殊度确定兴趣区间的功能。具体而言，兴趣区间确定部1207 确定特殊度计算部1206计算出的各帧的特殊度P的合计值最大的规定期间 （是想要确定为兴趣区间的运动图像长，例如3分钟或同样的帧数）作为 兴趣区间。

<动作>

使用图13、图14的流程图，对有关实施方式2的兴趣区间确定装置 1200的确定兴趣区间的动作进行说明。另外，在图13、图14的流程图中， 作为兴趣区间确定装置1200的动作，对于与在上述实施方式1中表示的兴 趣区间确定装置100共通的内容赋予与图8或图10等的流程图相同的号码 而省去说明。

兴趣区间确定装置1200的运动特征量计算部105对各帧计算各目标的 运动特征量（步骤S805）。

并且，兴趣区间确定装置1200的特殊度计算部1206接受对从运动图 像的各帧提取出的各目标计算的运动特征量，计算目标的特殊度。

目标的特殊度的计算方法的详细情况是图14的流程图所示那样的。

在决定对象帧后，受理部1205从用户受理作为计算特殊度的对象的特 定的目标的指定（步骤S1401）。

并且，特殊度计算部1206对于对象帧计算特定的目标的特殊度（步骤 S1404）。具体而言，特殊度计算部1206对于指定的特定的目标，计算包含 在计算特殊度的对象的对象帧中的相比其他目标的运动特征量的平均值的 特殊度。具体而言，如以下这样计算。

首先，将关于计算特殊度的对象的对象帧确定的目标的运动特征量用 以下的数式7表示。

［数式7］

$\overrightarrow{a}$

此外，将所确定的目标以外的其他目标的运动特征量用以下的数式8 表示。

［数式8］

${\overrightarrow{b}}_k$

另外，k是用来识别其他目标的索引。这里，假设在对象帧中是索引n 以内。

其他目标的运动特征量的平均值矢量b_k，ave可以如以下的数式9那样表 示。

［数式9］

${\overrightarrow{b}}_{k,\mathrm{ave}}=\frac{\underset{k=1}{\overset{n}{\Sigma }}{\overrightarrow{b}}_k}{n}$

此时，对象帧中的确定的目标的特殊度P可以用以下的数式10表示。

［数式10］

$P=\frac{\left|\overrightarrow{a}\right|}{1+\overrightarrow{a}·{\overrightarrow{b}}_{k,\mathrm{ave}}}$

特殊度计算部1206计算该特殊度P作为对象帧的特殊度（步骤S1406）。

如以上这样，特殊度计算部1206计算各帧中的特殊度。

并且，兴趣区间确定部1207从特殊度计算部1206接受关于各帧的特 殊度，对于规定期间（图7所示的窗701的期间），确定特殊度的合计值为 最高的规定期间作为兴趣区间。

通过这样的结构，兴趣区间确定装置1200例如在运动图像是摄影了儿 童们的运动会中的团体操的场景的情况下，对于仅一人进行与其他孩子不 同的运动的NG场景的提取有作用。即，兴趣区间确定装置1200能够将在 多个目标进行同样的动作的过程中有进行与这些多个目标不同的动作的目 标那样的场景确定为兴趣区间。

<变形例>

按照上述实施方式对有关本发明的兴趣区间确定装置进行了说明，但 本发明的实施方式并不限定于此。以下，对作为本发明的技术思想包含的 各种变形例进行说明。

（1）在上述实施方式中，预先设定了兴趣区间确定装置100（1200） 确定的兴趣区间的长度。但是，兴趣区间长也可以不固定。

例如，也可以相对于作为提取兴趣区间的对象的运动图像的运动图像 长是规定的比例（例如一成）的长度。

或者，兴趣区间确定装置100（1200）也可以根据运动图像的种类来变 更提取的兴趣区间长。所谓运动图像的种类，是联合演出、体育、电视剧、 新闻等、运动图像的内容的类别。在此情况下，兴趣区间确定装置保持与 运动图像的类别建立对应而设定兴趣区间长的兴趣区间长表，运动图像取 得部101使用所取得的运动图像的元数据等确定运动图像的种类，兴趣区 间确定部107（1200）在保持的兴趣区间长表中，取得与所确定的运动图像 的种类对应的兴趣区间长，确定该长度的兴趣区间。通过采取这样的结构， 兴趣区间确定装置100（1200）只要能够根据运动图像的种类确定兴趣区间 的适当的长度，就能够确定更适当的兴趣区间。在不能确定运动图像的类 别的情况下，既可以用户输入类别来确定兴趣区间长，也可以将预先设定 的长度作为兴趣区间长。

或者，兴趣区间确定装置100（1200）也可以具备用户用来设定兴趣区 间长的设定机构（接口）。在此情况下，兴趣区间确定机构确定由用户设定 的兴趣区间长的兴趣区间。兴趣区间的设定既可以直接输入兴趣区间的秒 数，或者也可以通过对于具备较长、普通、较短那样的用来设定兴趣区间 长的按钮的接口的输入来决定。这样，也可以是确定用户希望的长度的兴 趣区间的结构。

（2）在上述实施方式中，假设预先设定了用来计算各帧的特殊度的第 1区间及第2区间的长度。但是，第1区间长及第2区间长也可以不是固定 的。

例如，兴趣区间确定装置100（1200）也可以根据运动图像的种类来设 定第1区间长、第2区间长。所谓运动图像的种类，是联合演出、体育、 电视剧、新闻等运动图像的内容的类别。在此情况下，兴趣区间确定装置 100（1200）保持与运动图像的类别建立对应来设定第1区间长及第2区间 长的区间长表，运动图像取得部101使用所取得的运动图像的元数据等确 定运动图像的种类，特殊度计算部106（1206）在保持的区间长表中，取得 与所确定的运动图像的种类对应的第1区间长及第2区间长，计算特殊度。 通过采取这样的结构，兴趣区间确定装置100（1200）只要能够根据运动图 像的种类确定第1区间及第2区间的适当的长度，就能够计算更可靠的值 的特殊度。在能够确定运动图像的类别的情况下，既可以是用户输入类别 来确定第1区间长及第2区间长，也可以将预先设定的长度作为第1区间 长及第2区间长。

或者，兴趣区间确定装置100（1200）也可以具备用户用来设定第1 区间长及第2区间长的设定机构（接口）。在此情况下，特殊度计算部106 （1206）使用由用户设定的第1区间长的第1区间及第2区间长的第2区 间计算特殊度。

（3）上述实施方式所示的兴趣区间确定装置100（1200）进行的特殊 度的计算方法是一例，只要能够计算运动图像中的目标的运动的特殊度， 也可以使用其他方法计算。

例如，在上述实施方式1中，当计算帧的特殊度时，不使用第2区间 的运动特征量，但也可以将第2区间长设为0，使用第1区间的除了对象帧 以外的全部帧的运动特征量。

或者，在上述数式6、数式10中，也可以将分子设为1。

或者，关于为了计算特殊度而使用的帧的运动特征量，也可以对于对 帧计算出的特殊度进行加权，以便更好地反映特定的帧的运动特征量。

进而，也可以使用将上述数式6、数式10变形的以外的方法。例如， 也可以单单仅使用对象帧的运动特征量与第3区间的运动特征量的平均值 的内积作为特殊度。该内积越接近于0，特殊性（特殊度）越高，越接近于 1，特殊性（特殊度）越低。

（4）在上述实施方式中，兴趣区间确定装置100（1200）在从运动图 像中检测到多个目标的情况下，通过根据各目标运动的特征量计算出的特 殊度合计，成为对象帧的特殊度。但是，在对象帧的特殊度的计算中也可 以使用别的方法。

即，在目标检测部102检测到多个目标的情况下，也可以在对于分别 对目标计算出的特殊度进行加权后，计算为对象帧的特殊度。

例如，假设从运动图像中检测到了3个目标A、B、C，将各个目标的 对处帧的特殊度计算为P_A、P_B、P_C。此外，假设兴趣区间确定装置100（1200） 具备用来确定目标检测部102检测到的目标是什么的目标确定部。并且， 在目标的确定中，使用表示各种目标的特征的分类器。兴趣区间确定装置 100（1200）保持用来进行对于目标的加权的目标分类表，在目标分类表中， 对应于目标的内容（人物、动物、建筑物等）而将权重值建立了对应。假 设在目标分类表中，对于目标A、B、C的权重值分别是W_A、W_B、W_C。 于是，在此情况下，特殊度计算部106将对象帧的特殊度计算为 P_A×W_A+P_B×W_B+P_C×W_C。兴趣区间确定装置100（1200）也可以采取这样的 结构，计算与检测到的目标对应的特殊度，来提取兴趣区间。

此时，假设某个目标A在该运动图像中被摄影在中心。即，假设以相 当于目标A的人物为主人公摄影了该运动图像。在这样的情况下，优选的 是确定兴趣区间以使目标A的运动的特殊度成为中心。

所以，兴趣区间确定装置100（1200）如上述实施方式2那样具备受理 部1205，假设受理部1205从用户受理了目标A是运动图像的中心的指定。 于是，兴趣区间确定装置100（1200）例如将WA设定为1.5，将其他权重 设定为0.5，以使目标A的权重变大。这样，能够也执行确定的目标优先的 兴趣区间确定。另外，这里，将目标A的权重设为1.5，将其他设为0.5， 但该数值是一例，只要目标A的权重比其他目标的权重重就可以。

此外，兴趣区间确定装置100（1200）也可以如以下这样决定权重。在 上述中，假设从用户受理了目标A的指定。但是，也可以如以下这样，兴 趣区间确定装置100（1200）指定目标A。

假设兴趣区间确定装置100（1200）具备将要提取兴趣区间的运动图像 以外的运动图像存储多个的记录媒体。或者，假设具有向处于存储多个运 动图像的兴趣区间确定装置100外部的记录媒体（也可以是网络上的存储 器）访问的功能。

并且，从记录在记录媒体中的多个运动图像中检测1个以上的目标。 这里，检测目标的帧从各运动图像的任意的帧中提取。即，既可以从全部 的帧中提取，也可以从随机选择的1个以上的帧中提取。并且，为了对检 测到的1个以上的目标判断是否是相同的目标，按照检测到的各目标的特 征量进行聚类。

并且，兴趣区间确定装置100（1200）将这样聚类而得到的各类群认定 是1个相同的目标。

并且，关于各类群，属于各类群的节点（目标的特征量）的个数最多， 但也可以假设是对于兴趣区间确定装置100的用户而言重要的目标（被摄 体）来确定上述目标A。

另外，这里将最多者确定为目标A，但它也可以将预先规定的节点的 个数设定为阈值，对于与超过该阈值的类群对应的目标进行特殊度的加权。 此时的加权只要与超过阈值的类群对应的目标的权重比其他目标的权重大 就可以。此外，在此情况下，也有对与超过阈值的类群对应的多个目标执 行加权，但该加权既可以是均匀的值，也可以从节点的个数较多者起依次 乘以预先设定的权重值，也可以对超过阈值者进行权重值的倾斜分配（设 定权重值的总量，对于超过阈值的目标，根据属于各个类群的节点的个数 来分配上述总量）来乘以权重值。

或者，由于作为运动图像的中心者被摄影在帧的中心部分的情况较多， 所以也可以对于检测到的目标分别判断是否被摄影在中心部分来决定权 重。

例如，将以帧内的（X1，Y1）－（X2（X2>X1），Y2（Y2>Y1））（X1， X2，Y1，Y2是帧中的像素的坐标值）为对角线的长方形的范围内设定为 帧的中心部分，判断各目标是否处于该中心部分内。并且，将处于中心部 分内的目标的权重设为1，将处于中心部分外的目标的权重设为0。这里， 只要中心部分内的目标的权重比中心部分外的目标的权重大就可以，并不 限定于1或0。另外，在目标横跨中心部分内和中心部分外的情况下，决定 为对应于目标所占的面积较多者。兴趣区间确定装置100（1200）也可以具 有这样决定权重的结构。

（5）在上述实施方式中，作为由兴趣区间确定部106（1206）进行的 兴趣区间的确定方法，假设将包含在规定期间中的帧各自的特殊度的合计 值为最大的规定期间确定为兴趣区间。但是，兴趣区间的确定方法并不限 定于此，只要能够确定运动的特殊的区间，也可以使用其他方法。

例如，也可以是，对于连续的帧，确定某个帧与其下个帧的运动特征 量的差超过规定的阈值的部位，确定包含最多该部位的规定期间作为兴趣 区间。

或者，也可以是，将运动图像中的连续的帧间的运动特征量的差值全 部求出，确定该差值的合计为最大的规定期间，确定包含与用于计算为了 确定该规定期间而使用的差值的运动特征量对应的全部帧的期间作为兴趣 区间。

（6）在上述实施方式中，兴趣区间确定装置100（1200）从运动图像 确定一个兴趣区间。但是，从运动图像确定的兴趣区间也可以不是一个。

例如，兴趣区间确定装置100（1200）也可以确定特殊度的合计值超过 规定的阈值的规定期间，将它们全部作为兴趣区间。此时，也可以不是特 殊度的合计值，而将平均值与规定的阈值比较。通过这样的结构，能够提 取多个兴趣区间。另外，在满足该条件的两个规定期间相互重复的情况下， 也可以确定以较早的规定期间的起点为兴趣区间的起点、以较晚的规定期 间的终点为兴趣区间的终点的超过预先设定的长度的兴趣区间。

此外，在确定多个兴趣区间的情况下，输出部109也可以输出将这些 多个兴趣区间接合的摘要影像。摘要影像的制作只要由兴趣区间提取部108 执行就可以。

由此，能够提高兴趣区间确定装置100（1200）的方便性。

（7）在上述实施方式中，特殊度计算部106（1206）计算全部的帧的 特殊度，兴趣区间确定部107（1207）基于全部的帧的特殊度确定兴趣区间。 但是，这是一例，只要能够某种程度确定兴趣区间，也可以不计算全部的 帧的特殊度。

例如，特殊度计算部106（1206）也可以对运动图像的各帧仅计算第偶 数个或第奇数个帧的特殊度，也可以按照确定数量的帧，仅计算该帧的特 殊度。即，特殊度计算部106（1206）也可以间隔抽取运动图像的帧来计算 特殊度。并且，兴趣区间确定部107（1207）也可以仅使用计算出了特殊度 的帧来确定兴趣区间。

通过采取这样的结构，兴趣区间确定装置虽然确定的兴趣区间的精度 比计算出全部的帧的特殊度的情况相比下降，但能够降低兴趣区间确定装 置100（1200）的计算处理的负担，并缩短到确定兴趣区间的时间。

（8）在上述实施方式1中，计算对象帧的运动特征量从第3区间的各 帧的运动特征量看有多少特殊，但它也可以不是第3区间的各帧，而是从 除了对象帧以外的运动图像整体的各帧的运动特征量来看的特殊性。

（9）在上述实施方式中，由目标追踪部103进行的目标的追踪是以某 个帧中的目标与下个帧中的目标的位置（帧中的目标的坐标位置）接近者 为相同的目标来追踪的。但是，在目标的追踪中也可以使用其以外的方法， 目标的追踪也可以通过对目标检测部102检测到的各帧计算在某个帧和其 下个帧中检测到的目标间的类似性来进行。该类似性通过对检测到的各目 标计算例如使用盖博滤波器等得到的图像特征量的类似性来得到。

通过这样的方法也能够执行帧间的目标的辨识。

（10）在上述实施方式中，区域决定部104决定的区域302包含目标 检测部102检测到的目标（脸）、和应附属于它的身体。但是，该区域302 也可以是其以外的范围，例如在使检测的目标为人物的脸的情况下，也可 以将应评价运动的区域也同样设为脸的区域（用图3而言只是区域302a）。 即，也可以是包含由目标检测部102检测到的目标的区域的一部分那样的 区域，也可以是如上述实施方式那样包含检测到的目标的区域那样的区域。

（11）在上述实施方式中，兴趣区间确定部107（1207）将包含在窗 701中的帧的特殊度合计，将该合计值最高的地方确定为兴趣区间。但是， 它也可以不是单纯的合计，而进行其他计算。

例如，也可以对包含在窗701中的帧中的后方的帧的特殊度进行加权 后合计。如果设为这样的结构，则容易提取关于目标的运动富有变化的区 间存在于比前半更靠后半那样的兴趣区间。

（12）在上述实施方式中，作为运动特征量计算部105基于用来评价 目标的运动的区域计算目标的运动特征量的方法，以计算应评价运动的区 域内的各像素的光流、将排列了这些信息的值作为运动特征量的方法为例 进行了说明，但也可以使用其以外的方法。

例如，也可以计算图像整体的光流，将它们的平均值从区域内的各像 素减去。通过这样，能够减轻例如目标自身并没有运动但通过影像左右摇 镜头而计算出的光流的影响。此外，也可以计算应评价运动的区域内的各 像素的亮度的前后帧中的差值，将排列了这些信息的值作为运动特征量。 此外，也可以基于各帧中的应评价运动的区域的大小推测摄影装置120与 目标的距离，将该信息作为运动特征量添加。

此外，作为运动特征量，也可以不是光流，而使用亮度变化量。

（13）在上述实施方式中，区域的运动特征量是以从区域302的第一 段左端到右端，从第二段左端到右端，…，从第N段左端到右端，…, 从区域302的下端的左端到右端的顺序排列的各像素的光流的集合，但光 流的顺序并不限定于此。关于各帧的目标，只要其运动特征量的像素的排 列顺序是共通的，也可以是其他顺序。例如，也可以是以从区域302的第 一段右端到左端，从第二段右端到左端，…，从第N段右端到左端，…， 从区域302的下端的右端到左端的顺序排列的，也可以是从下端向上端方 向的排列。

（14）在上述实施方式中，兴趣区间确定部107（1207）对运动图像赋 予表示所确定的兴趣区间的起点及终点的起点标签和终点标签。但是，在 兴趣区间的区间长是固定的情况下，也可以采取仅赋予某一方的结构。通 过赋予一方的标签，从那里离开了兴趣区间长的地方（在赋予了起点标签 的情况下，是从那里向后兴趣区间长，在赋予了终点标签的情况下，是从 那里向前兴趣区间长）为兴趣区间的端点。

（15）虽然在上述实施方式中没有表示，但兴趣区间确定装置100 （1200）也可以具备将运动图像取得部101取得的运动图像、兴趣区间确 定部107（1207）执行了表示兴趣区间的起点和终点的信息的编索引后的运 动图像、兴趣区间提取部108提取出的运动图像等存储的存储部。存储部 例如由HDD（Hard Disc Drive）或SSD（Solid State Drive）闪存存储器等 实现。

（16）在上述实施方式中，兴趣区间确定装置100（1200）从摄影装置 120取得运动图像，但它也可以从摄影装置120以外取得。

例如，也可以在兴趣区间确定装置100中搭载USB闪存存储器驱动器， 取得存储在USB闪存存储器中的运动图像，或者也可以在兴趣区间确定装 置100（1200）中搭载网络通信功能，从因特网下载取得运动图像。

（17）在上述实施方式中，输出部109向显示装置130输出所提取的 兴趣区间的运动图像，但输出目标并不限定于显示装置130。

例如，也可以向连接在兴趣区间确定装置100（1200）上的USB闪存 存储器输出并存储，也可以向因特网上载。

此外，输出部109也可以不是仅将兴趣区间部分的运动图像输出，而 将编索引了表示兴趣区间的起点和终点的信息后的运动图像整体输出。

（18）在上述实施方式中，兴趣区间确定装置100（1200）提取目标的 运动较大的区间作为兴趣区间，但在此情况下，也可以想到因为在运动图 像中场面转换而检测到较大的运动的情况。

所以，兴趣区间确定装置100（1200）也可以在运动特征量的变化大到 规定的阈值以上的情况下判断为发生了场面转换，将提取兴趣区间的目标 的运动图像在这一点分割，从成为两个的运动图像中提取兴趣区间。该场 面转换的检测也可以不是运动特征量的变化，而以特殊度的变化大到规定 的阈值以上的情况为判断基准。

（19）在上述实施方式2中，表示了从用户受理特定的目标的指定、 计算该特定的目标的特殊度、作为对象帧的特殊度的结构。

但是，也可以想到没有受理来自用户的特定的目标的指定的情况。在 这样的情况下，采取兴趣区间确定装置1200选择特定的目标的结构。即， 也可以做成代替从用户受理特定的目标的指定的受理部1205而具备按照预 先设定的算法选择目标的目标选择部的结构。

具体而言，可以采用以下这样的方法。

兴趣区间确定装置1200的目标检测部102对于输入的运动图像，按照 各帧检测包含在帧中的各目标。并且，运动特征量计算部105计算检测到 的各目标的运动特征量。

并且，特殊度计算部1206首先计算包含在各帧中的全部目标的运动特 征量的平均值。并且，接着对各帧计算包含在该帧中的各目标的运动特征 量与计算出的平均值的距离。将该距离离开规定的阈值以上的目标在该帧 中作为进行特殊的运动的目标，选择该目标作为特定的目标。

并且，也可以对该特定的目标使用在上述实施方式2中表示的方法计 算特殊度来进行兴趣区间的确定。另外，这里在兴趣区间的确定时，也可 以使用上述实施方式2以外的方法，也可以确定为了选择特定的目标而计 算出的距离的合计值最大的规定区间作为兴趣区间。另外，这里设为距离 的合计值，但作为兴趣区间的确定方法，例如也可以确定以距离最大的帧 为中心的前后规定期间的运动图像作为兴趣区间。

此外，目标选择部也可以如在补充（4）中记载的目标A的确定方法那 样，选择在确定兴趣区间的运动图像以外的运动图像中包含许多的目标作 为特定的目标。

（20）也可以将上述实施方式所示的结构及各种变形例所示的结构组 合。

（21）也可以将用来使兴趣区间确定装置或搭载有兴趣区间确定装置 的DVD播放器或BD播放器等的录像再现装置等的处理器及连接在该处理 器上的各种电路执行在上述实施方式中表示的有关通信的动作、兴趣区间 确定处理等（参照图8～图10、图13～图14）的由程序代码构成的控制程 序记录到记录媒体中，或者经由各种通信路等流通发布。在这样的记录媒 体中，有IC卡、硬盘、光盘、软盘、ROM等。被流通、发布的控制程序 通过被保存到能够由处理器读出的存储器等中而供使用，通过该处理器执 行该控制程序，实现实施方式所示那样的各种功能。

（22）关于在上述实施方式中表示的兴趣区间确定装置100（1200）执 行的处理内容，也可以对网络上的云服务器等的其他计算机或装置委托处 理，实现上述实施方式所示的兴趣区间的确定。

例如，也可以将兴趣区间确定装置100（1200）保持的目标检测部102 具有的从运动图像的目标的检测例如由云服务器执行。在此情况下，云服 务器对运动图像赋予关于检测到的目标的信息，兴趣区间确定装置100 （1200）接受被赋予了该信息的运动图像。并且，兴趣区间确定装置100 （1200）输入被赋予了由目标追踪部103检测到的目标的信息的运动图像， 执行以后的处理。

或者，也可以对其他装置委托特征量检测。例如，目标检测部102对 于检测到目标的运动图像，对运动图像赋予检测到的目标的信息。并且， 兴趣区间确定装置100（1200）将赋予了目标的信息的运动图像例如向云服 务器发送。云服务器使用发送来的被赋予了目标的信息的运动图像，执行 目标追踪部103、区域决定部104及运动特征量计算部105具有的功能。并 且，云服务器对于各帧的各目标，对运动图像赋予特征量的信息，向兴趣 区间确定装置100（1200）发送。并且，兴趣区间确定装置100（1200）执 行特殊度计算以后的处理。

这样，在兴趣区间的确定时，也可以将需要的处理的一部分对兴趣区 间确定装置100（1200）外的外部装置委托。在此情况下，如例示那样，在 兴趣区间确定装置100（1200）与外部装置间，执行在各自中处理所需要的 数据的收发。

（23）在上述实施方式中表示的各功能构成要素既可以作为实现其功 能的电路实现，也可以通过由1或多个处理器执行程序来实现。此外，上 述的实施方式的兴趣区间确定装置100（1200）也可以由IC、LSI其他集成 电路的封装构成。该封装装入在各种装置中供使用，由此，各种装置实现 在各实施方式中表示那样的各功能。

另外，各功能块典型地作为集成电路即LSI实现。它们既可以单独地1 芯片化，也可以包含一部分或全部而1芯片化。这里设为LSI，但根据集成 度的差异，也有称作IC、系统LSI、超级LSI、超大规模LSI的情况。此外， 集成电路化的方法并不限于LSI，也可以通过专用电路或通用处理器实现。 也可以利用在LSI制造后能够编程的FPGA（Field Programmable Gate  Array）、或能够再构成LSI内部的电路单元的连接及设定的可重构处理器。

<补充>

这里，对有关本实施方式的兴趣区间确定装置的一实施方式的结构、 和由各结构起到的效果进行说明。

（a）有关本发明的兴趣区间确定装置，是在运动图像中确定推测用户 感兴趣的兴趣区间的兴趣区间确定装置，其特征在于，具备：目标检测机 构，在从上述运动图像提取出的帧中检测目标；运动特征量提取机构，计 算对于上述提取出的帧的上述目标的运动特征量；特殊度计算机构，使用 上述目标的运动特征量，计算上述提取出的帧中的上述目标的运动的特殊 度；兴趣区间确定机构，使用上述特殊度确定上述运动图像中的上述兴趣 区间。

此外，有关本发明的兴趣区间确定方法，在运动图像中确定推测用户 感兴趣的兴趣区间的兴趣区间确定方法，其特征在于，目标检测步骤，在 从上述运动图像提取出的帧中检测目标；运动特征量提取步骤，计算对于 上述提取出的帧的上述目标的运动特征量；特殊度计算步骤，使用上述目 标的运动特征量，计算上述提取出的帧中的上述目标的运动的特殊度；兴 趣区间确定步骤，使用上述特殊度确定上述运动图像中的上述兴趣区间。

此外，有关本发明的兴趣区间确定程序，是使计算机执行在运动图像 中确定推测用户感兴趣的兴趣区间的兴趣区间确定处理的兴趣区间确定程 序，其特征在于，上述兴趣区间确定处理包括：目标检测步骤，在从上述 运动图像提取出的帧中检测目标；运动特征量提取步骤，计算对于上述提 取出的帧的上述目标的运动特征量；特殊度计算步骤，使用上述目标的运 动特征量，计算上述提取出的帧中的上述目标的运动的特殊度；兴趣区间 确定步骤，使用上述特殊度确定上述运动图像中的上述兴趣区间。

由此，兴趣区间确定装置能够在运动图像中确定目标的运动较特殊的 帧，所以能够确定对于用户而言不会厌烦的内容的兴趣区间。所确定的兴 趣区间被用于摘要影像的制作、及显示到显示器上使用户识别运动图像的 内容。

（b）在上述（a）的兴趣区间确定装置中，也可以是，上述目标检测 机构从包含在上述运动图像中的多个帧检测上述目标；上述运动特征量提 取机构提取上述多个帧各自中的上述目标的运动特征量；上述特殊度计算 机构对于上述多个帧，分别计算该帧中的上述目标的运动特征量的从其他 帧中的上述目标的运动特征量的特殊度。

由此，兴趣区间确定装置在目标在时间轴方向上进行特殊的运动的情 况下，能够确定包含该场景的兴趣区间。

（c）在上述（b）的兴趣区间确定装置中，也可以是，上述特殊度计 算机构对作为计算上述目标的特殊度的对象的对象帧，基于上述对象帧中 的目标的运动特征量与上述对象帧以外的多个帧中的上述目标的运动特征 量的均值的内积计算特殊度。

通过取对象帧的运动特征量与其他帧的运动特征量的平均值的内积， 能够作为对象帧中的目标的运动与其他帧中的目标的运动有多少类似的指 标使用，为适合于计算特殊度的指标。内积越接近于0，对象帧中的目标的 运动越近似于其他帧中的目标的运动。

（d）在上述（c）的兴趣区间确定装置中，也可以是，上述特殊度计 算机构使用在上述运动图像中的包含上述对象帧的规定的第1区间中包含 的帧的运动特征量，计算上述对象帧中的上述目标的运动的特殊度。

由此，能够对包含在运动图像中的帧计算该帧距其他帧的特殊性，能 够使用用于确定兴趣区间的指标。此外，通过不是运动图像整体、而限定 于第1区间的运动特征量，能够减轻通过兴趣区间确定装置进行的计算处 理的负荷。

（e）在上述（d）的兴趣区间确定装置中，也可以是，上述特殊度计 算机构计算上述对象帧的上述目标的运动特征量的、相比在从上述第1区 间除去了包含上述对象帧、比上述第1区间短的第2区间后的第3区间中 包含的各帧中的上述目标的运动特征量的平均值的特殊度。

由此，通过将第2区间分的帧的运动特征量从计算对象中除外，兴趣 区间确定装置能够容许在兴趣区间中包含第2区间的单调的运动。即使是 单调的运动，也只要是几秒左右，用户就不会对看到它感到痛苦，所以能 够将这样的区间包含在兴趣区间中。

（f）在上述（e）的兴趣区间确定装置中，也可以是，上述特殊度计 算机构根据上述第1区间的区间长决定上述第2区间的区间长。

如果兴趣区间较长，则相应地即使稍稍含有单调的运动的部分，对于 用户而言也不会痛苦，所以通过该结构，兴趣区间确定装置能够设定与第1 区间的长度对应的适当的长度的第2区间。

（g）在上述（e）的兴趣区间确定装置中，也可以是，上述兴趣区间 确定装置还具备用户用来设定上述第2区间的设定机构。

由此，兴趣区间确定装置能够确定与用户的嗜好对应的兴趣区间。

（h）在上述（d）的兴趣区间确定装置中，也可以是，上述特殊度计 算机构基于上述运动图像的运动图像长决定上述第1区间的区间长。

由此，兴趣区间确定装置能够根据运动图像的长度来决定用来计算特 殊度的第1区间。

（i）在上述（d）的兴趣区间确定装置中，也可以是，上述兴趣区间 确定装置还具备用户用来设定上述第1区间的设定机构。

由此，兴趣区间确定装置能够确定对应于用户的嗜好的兴趣区间。

（j）在上述（a）的兴趣区间确定装置中，也可以是，上述兴趣区间确 定装置使用对各帧计算出的上述目标的特殊度，在上述运动图像中确定包 含在规定期间内的各帧的特殊度的合计值为最大的规定期间作为上述兴趣 区间。

由此，兴趣区间确定装置能够确定目标进行许多特殊的运动的兴趣区 间。

（k）在上述（a）的兴趣区间确定装置中，也可以是，上述特殊度计 算机构计算上述目标的运动特征量的、相比包含在上述帧中的其他目标的 运动特征量的特殊度。

由此，兴趣区间确定装置能够确定包含在帧内有相比其他目标进行特 殊的运动的目标的帧的区间作为兴趣区间。

（l）在上述（k）的兴趣区间确定装置中，也可以是，上述特殊度计 算机构在包含在上述帧中的其他目标有多个的情况下，计算上述目标的运 动特征量的相比其他目标的运动特征量的平均值的特殊度。

由此，兴趣区间确定装置即使其他目标有多个，也能够计算用于确定 兴趣区间的特殊度。如果采取该结构，则兴趣区间确定装置特别是能够确 定在相同的场景内多个人物进行相同的运动中、仅一人进行偏差的运动的 情况等的NG场景作为兴趣区间。

由此，兴趣区间确定装置能够将特别运动剧烈、特殊性较高的区间确 定为兴趣区间。

（m）在上述（a）的兴趣区间确定装置中，也可以是，上述兴趣区间 确定机构还将表示所确定的兴趣区间的起点和终点的信息对上述运动图像 编索引。

由此，兴趣区间确定装置能够提供包含兴趣区间的信息的运动图像。 通过将关于兴趣区间的信息编索引，例如能够用于运动图像的再现时的再 现位置指定（跳跃的跳跃目标的指定）。

（n）在上述（a）的兴趣区间确定装置中，也可以是，上述兴趣区间 确定装置还具备：提取机构，从上述运动图像提取上述兴趣区间确定机构 确定的兴趣区间；摘要制作机构，在上述提取机构提取出的兴趣区间有多 个的情况下，制作将多个兴趣区间接合的摘要影像。

由此，兴趣区间确定装置能够从运动图像制作摘要影像，所以用户通 过视听制作出的摘要影像，能够容易地辨识运动图像的内容。

（o）在上述（a）的兴趣区间确定装置中，也可以是，上述兴趣区间 确定装置还具备：目标位置检测机构，检测提取了上述目标的帧的场所； 区域决定机构，决定用来评价上述目标的运动的各帧中的包含上述目标的 区域；上述运动特征量提取机构根据各帧的上述区域内的特征点各自的运 动特征量的平均值，计算各帧中的上述目标的运动特征量。

通过在帧中也确定基于目标的区域，使用该区域的运动，兴趣区间确 定装置与使用帧整体的运动相比，能够更容易地检测目标的运动的特殊性。

（p）在上述（a）的兴趣区间确定装置中，也可以是，上述特殊度计 算机构在上述目标检测机构检测到多个目标的情况下，对于对各个目标计 算的运动特征量进行加权，计算上述特殊度。

由此，根据检测的目标的内容，对运动特征量进行加权来计算特殊度， 所以能够确定重点地跟踪用户关注的目标那样的兴趣区间。

（q）在上述（p）的兴趣区间确定装置中，也可以是，上述特殊度计 算机构对于存在于帧的确定范围内的目标，进行比处于上述确定范围外的 目标重的加权。

由此，通常作为中心的目标被摄影在运动图像的中心部分的情况较多， 所以例如通过将确定范围设定在帧中心部分，容易进行对作为运动图像的 中心的目标的加权，能够确定兴趣区间。

（r）在上述（p）的兴趣区间确定装置中，也可以是，上述兴趣区间 确定装置还具备受理从帧检测到的特定的目标的指定的受理机构；上述特 殊度计算机构对由上述受理机构受理的特定的目标进行比其他目标重的加 权。

由此，能够进行对指定的目标的加权。例如，在用户指定了设想是运 动图像的中心的目标的情况下，能够进行对该目标的加权，来确定该目标 的有特殊的运动的兴趣区间。因而，能够确定对于该用户而言兴趣较浓的 兴趣区间。

（s）在上述（r）的兴趣区间确定装置中，也可以是，上述兴趣区间确 定装置还具备保持上述运动图像以外的1个以上的其他运动图像的存储机 构；上述受理机构受理较多包含在上述1个以上的其他运动图像中的目标 作为上述确定的目标。

由此，兴趣区间确定装置即使没有来自用户的指定，也能够选择特定 的目标而执行对该目标的加权。在兴趣区间确定装置中保持有用户摄影的 多个运动图像的情况下，对于该用户而言引起兴趣的目标被较多摄影的可 能性较高。因此，能够将在其他的多个运动图像中较多被摄影的目标确定 为对于用户而言兴趣较浓的目标。

（t）在上述（a）的兴趣区间确定装置中，也可以是，上述运动特征量 是光流。

由此，通过作为运动特征量而使用周知的光流（运动矢量），能够提高 兴趣区间确定装置的通用性。

工业实用性

有关本发明的兴趣区间确定装置作为用来从运动图像制作摘要影像的 装置，例如能够在DVD播放器、BD播放器等的录像再现装置等中使用。

附图标记说明

100、1200 兴趣区间确定装置

101       运动图像取得部

102       目标检测部

103       目标追踪部

104       区域决定部

105       运动特征量计算部

106、1205 特殊度计算部

107、1207 兴趣区间确定部

108       兴趣区间提取部

109       输出部

120       摄影装置

130       显示装置 1205      受理部