法律状态公告日
法律状态信息
法律状态
2016-10-26
授权
授权
2013-12-25
实质审查的生效 IPC(主分类):G06T7/20 申请日:20111026
实质审查的生效
2013-12-04
公开
公开
技术领域
本发明涉及一种人员跟踪设备、人员跟踪方法以及存储人员跟 踪程序的非瞬态计算机可读介质，并且具体地涉及一种使用由监控相 机拍摄的视频来跟踪人员的人员跟踪设备、人员跟踪方法以及存储人 员跟踪程序的非瞬态计算机可读介质。
背景技术
近年来公开用于使用由监控相机拍摄的视频来跟踪人员的技 术。作为人员跟踪方法的一个示例，专利文献1公开一种基于人员的 颜色特征来跟踪人员的方法。
图9示出在专利文献1中公开的人员跟踪系统的一个示例实施 例。人员跟踪系统包括人员区域提取装置1、体元生成装置2、人员 颜色特征提取装置3和人员跟踪装置4。
人员区域提取装置1从监控视频提取人员区域并且向体元生成 装置2输出人员区域提取结果。体元生成装置2根据从人员区域提取 装置1输出的人员区域提取结果。体元生成装置2根据从人员区域提 取装置输出的人员区域提取结果生成体元信息，并且向人员颜色特征 提取装置3输出生成的体元信息。人员颜色特征提取装置3根据从体 元生成装置2输出的体元信息以及监控视频提取人员颜色特征，并且 向人员跟踪装置4输出提取的人员颜色特征。人员跟踪装置4使用从 人员颜色特征提取装置3输出的人员颜色特征来跟踪人员并且输出人 员跟踪结果。
具体描述图9中所示人员跟踪系统的运作。
人员区域提取装置1使用背景减法方法来根据从相机输入的监 控视频提取人员区域。然后，人员区域提取装置1向体元生成装置2 输出提取的人员区域提取结果。
体元生成装置2基于输入的人员区域提取结果生成体元。多个 相机获取输入的人员区域提取结果。体元生成装置2使用体积相交方 法来向三维空间上投射输入的人员区域提取结果，并且由此生成代表 人员在空间中的位置的体元。体元生成装置2向人员颜色特征提取装 置3输出生成的体元。
人员颜色特征提取装置3基于生成的体元和监控相机视频获取 人员从脚趾到头顶的颜色在竖直方向上的分布作为人员颜色特征。具 体而言，人员颜色特征提取装置3为体元的每个身高计算颜色的平均 值、按照身高将结果归一化并且由此计算人员颜色特征。虽然颜色特 征基本上由人员穿着的衣服的颜色确定，但是使用通过计算颜色在相 同身高的所有方向上的平均值而获得的值。人员颜色特征提取装置3 由此实现不受衣服根据方向而表现的方式的变化所影响的颜色特征 提取。
人员跟踪装置4比较获得的人员颜色特征与以往获得的人员颜 色特征并且由此确定相似度。人员跟踪装置4根据确定结果计算在以 往计算的体元与最近计算的体元之间的关系。因而人员跟踪装置4计 算将以往人员提取结果和当前提取结果关联的人员跟踪结果。
引用列表
专利文献
PTL1：第2005-250692号日本待审专利申请公开
发明内容
技术问题
在专利文献1中公开的人员跟踪系统中，对跟踪目标人员的跟 踪当在跟踪目标人员穿着的衣服中不存在特色特征时是困难的。衣服 在总体上相似。在存在穿着与跟踪目标人员穿着的衣服相似颜色的衣 服的许多人时，人员跟踪系统混淆跟踪目标人员与另一相似人员的概 率增加，这使准确跟踪有困难。具体而言，在使用视野无重叠的监控 相机来跟踪人员的情况下，一旦跟踪目标人员进入相机的盲区并且暂 时中断跟踪，对于专利文献1中公开的人员跟踪系统，即使在跟踪目 标人员回到相机的查看范围中之后仍然难以正确跟踪人员。
已经实现本发明以解决上述问题，并且因此本发明的示例目的 是提供一种即使在跟踪目标人员具有很少特色特征时仍然可以实现 对跟踪目标人员的准确跟踪的人员跟踪设备、人员跟踪方法和存储人 员跟踪程序的非瞬态计算机可读介质。
问题的解决方案
根据本发明的一个方面的一种人员跟踪设备包括：人员区域信 息提取装置，用于检测在视频中出现的人员属于的人员区域，并且生 成描述人员区域的信息的人员区域信息；伴随人员确定装置，用于基 于人员区域信息和指定跟踪目标人员的信息而在人员区域信息中包 括的人员之中标识伴随人员跟踪目标的至少一个伴随人员并且生成 描述伴随人员的伴随人员信息；特色人员选择装置，用于在由伴随人 员确定信息指定的伴随人员之中使用人员区域信息来选择具有显著 特征的特色人员并且生成描述特色人员的特色人员信息；以及人员跟 踪装置，用于基于人员区域信息和特色人员信息而计算特色人员跟踪 结果，特色人员跟踪结果是针对特色人员的跟踪结果。
根据本发明的一个方面的一种人员跟踪方法包括：检测在视频 中出现的人员属于的人员区域，并且生成描述人员区域的信息的人员 区域信息；基于人员区域信息和指定跟踪目标人员的信息而在人员区 域信息中包括的人员之中标识伴随人员跟踪目标的至少一个伴随人 员，并且生成描述伴随人员的伴随人员信息；在由伴随人员确定信息 指定的伴随人员之中使用人员区域信息来选择具有显著特征的特色 人员，并且生成描述特色人员的特色人员信息；以及基于人员区域信 息和特色人员信息而计算特色人员跟踪结果，特色人员跟踪结果是用 于特色人员的跟踪结果。
根据本发明的一个方面的一种存储人员跟踪程序的非瞬态计算 机可读介质是一种存储如下程序的非瞬态计算机可读介质，该程序使 计算机执行跟踪在视频中出现的人员的过程，该过程包括：检测在视 频中出现的人员属于的人员区域，并且生成描述人员区域的信息的人 员区域信息；基于人员区域信息和指定跟踪目标人员的信息而在人员 区域信息中包括的人员之中标识伴随人员跟踪目标的至少一个伴随 人员，并且生成描述伴随人员的伴随人员信息；在由伴随人员确定信 息指定的伴随人员之中使用人员区域信息来选择具有显著特征的特 色人员，并且生成描述特色人员的特色人员信息；以及基于人员区域 信息和特色人员信息计算特色人员跟踪结果，特色人员跟踪结果是针 对特色人员的跟踪结果。
本发明的有利效果
根据本发明的方面，有可能提供一种即使在跟踪目标人员具有 很少特色特征时仍然可以实现对跟踪目标人员的准确跟踪的人员跟 踪设备、人员跟踪方法和存储人员跟踪程序的非瞬态计算机可读介 质。
附图说明
图1是示出根据第一示例性实施例的人员跟踪设备的配置的框 图；
图2是示出根据第一示例性实施例的伴随人员确定单元102的 处理流程的流程图；
图3是示出根据第一示例性实施例的伴随人员确定单元102的 处理流程的流程图；
图4是示出根据第一示例性实施例的人员跟踪设备100的处理 流程的流程图；
图5是示出根据第一示例性实施例的特色人员选择单元103的 配置的框图；
图6是示出根据第一示例性实施例的特色人员确定单元201的 处理流程的流程图；
图7是示出根据第二示例性实施例的特色人员选择单元103的 配置的框图；
图8是示出根据第三示例性实施例的特色人员选择单元103的 配置的框图；并且
图9是示出在专利文献1中公开的人员跟踪系统的配置的框 图。
具体实施方式
<第一示例性实施例>
下文参照附图描述本发明的示例实施例。图1是示出根据这一 示例性实施例的人员跟踪设备的配置的框图。人员跟踪设备100包括 人员区域信息提取单元101、伴随人员确定单元102、特色人员选择 单元103、人员跟踪单元104和跟踪结果计算单元105。
人员区域信息提取单元101接收监控视频并且向伴随人员确定 单元102、特色人员选择单元103和人员跟踪单元104输出提取的人 员区域信息。伴随人员确定单元102接收从人员区域信息提取单元 101输出的人员区域信息以及跟踪目标人员信息并且向特色人员选择 单元103输出计算的伴随人员信息。特色人员选择单元103接收从人 员区域信息提取单元101输出的人员区域信息和从伴随人员确定单元 102输出的伴随人员信息并且向人员跟踪单元104输出计算的特色人 员信息，并且向跟踪结果计算单元105输出计算的跟踪目标人员相对 位置信息。人员跟踪单元104接收从人员区域信息提取单元101输出 的人员区域信息，并且从特色人员选择单元103输出的特色人员信息 并且向跟踪结果计算单元105输出计算的特色人员跟踪信息。跟踪结 果计算单元105接收从人员跟踪单元104输出的特色人员跟踪信息和 从特色人员选择单元103输出的跟踪目标人员相对位置信息，以及计 算并向给定的处理单元输出跟踪目标人员跟踪结果。
下文描述图1中所示人员跟踪设备的具体操作。
首先向人员区域信息提取单元101输出监控视频。人员区域信 息提取单元101从输入的监控视频生成帧图像。人员区域信息提取单 元101然后执行从帧图像提取人员区域的处理并且进一步执行提取描 述人员区域的人员区域信息的处理。在输入的监控视频是模拟视频 时，人员区域信息提取单元101捕获监控视频并且由此生成帧图像。 在另一方面，在监控视频是H.264、运动JPEG、MPEG-2等编码的数 字视频时，人员区域信息提取单元101通过对应解码方法对视频进行 解码并且由此生成帧图像。
可以使用各种现有方法来执行人员区域信息提取单元101提取 人员区域的处理。例如在基于背景减法的人员区域提取中，人员区域 信息提取单元101从在时序中输入的帧图像构造代表背景的信息的模 型、使用模型来提取移动对象、并继而从提取的信息提取人员区域。 作为最简单方式，人员区域信息提取单元101定义通过取多个图像之 中的静止区域中的图像的信息平均值而生成的背景图像作为背景模 型、计算在帧图像与背景图像之间的差值并且提取具有更大差值的区 域作为移动对象。在移动对象限于人员时，人员区域信息提取单元101 可以原样使用移动对象提取结果作为人员区域提取结果。在另一方 面，在存在与人员不同的移动对象时，人员区域信息提取单元101可 以关于提取的移动对象区域是否与人员对应进行确定、然后仅提取可 能是人员的区域作为人员区域。
人员区域信息提取单元101可以使用人员模型来直接提取人员 区域而不使用背景模型。这里使用的人员模型可以是代表人员的全部 或者人员的部分的模型。例如人员区域信息提取单元101可以使用建 模和提取脸部或者头部作为人员的部分的脸部检测器或者头部检测 器来检测脸部或者头部并且从检测结果定义人员区域。备选地，人员 区域信息提取单元101可以使用检测人员区域的一部分、比如上部身 体或者下部身体的检测器来提取人员区域。
人员区域信息提取单元101从通过以上方法提取的人员区域提 取人员区域信息。人员区域信息是如下信息，该信息代表提取的人员 区域的特色特征。人员区域信息包括代表人员区域在图像上的位置或 者形状的信息和描述在信息指定的区域中包括的人员的特色特征的 信息。
前者(代表人员区域在图像上的位置或者形状的信息)可以是 代表人员的形状的轮廓信息(关于标记被分配到与人员区域相对应的 像素的信息)、代表人员区域的定界矩形的矩形信息或者以相同方式 代表人员区域的位置或者形状的任何信息。例如可以使用由MPEG-7 定义的描述区域的描述符来代表区域信息。
在另一方面，后者(描述在指定的区域中包括的人员的特色特 征的信息)可以是描述从在区域中包括的图像特征到人员的高级特征 的各种特征的信息。信息的示例包括代表人员的脸部特征的特征、代 表头发颜色、发型或者头发特征的特征、代表衣服的颜色、图案或者 形状的视觉特征、代表衣服类型、人员的配件(人员佩戴的配件、比 如帽子、眼镜、面具、手提包、领带或者围巾)的信息、代表衣服上 的具体标记或者标志的信息和代表肤色的信息。
可以使用更早使用的脸部检测器和脸部特征提取来计算脸部特 征。通过从人员区域指定衣服的区域并且提取描述区域的信息来计算 衣服的特征。作为颜色、图案和形状的特征提取，可以使用各种现有 方法(如例如在MPEG-7中指定的描述颜色、图案和形状的方法)。 通过使用从头部或者身体的特定部分检测对象的检测器检测配件并 且提取描述区域的信息来计算描述人员的配件的信息。可以使用已经 学习衣服上的特定标记或者标志的鉴别器来检测那些图案。也通过从 检测的区域提取描述特征或者鉴别结果的信息来计算具体标记或者 标志。也可以通过从人员区域估计皮肤区域并且获得该部分的颜色来 提取肤色。
此外，可以在后一种信息(描述在指定的区域中包括的人员的 特色特征的信息)中包括更高级特征。例如可以使用关于人员的身高 的信息作为特征。可以根据人员在现实世界中的三维位置计算人员身 高信息，该三维位置是使用相机的校准数据根据由相机获取的图像的 二维位置计算的。另外，可以用相同方式提取关于人员的身体类型的 信息并且使用该信息作为特征。另外，可以使用年龄／性别估计器来提 取关于人员的年龄和性别的信息，并且可以使用提取的信息作为特 征。另外，可以使用确定特定姿态(比如人员在轮椅上的坐姿)的鉴 别器来提取描述人员的姿态(比如坐在轮椅上、抱小孩或用拐杖步行) 的信息，并且使用该信息作为特征。另外，可以计算并且使用步法特 征作为特征，该步法特征是步行方式的特征。可以通过使用学习图像 使鉴别特定姿态或者对步法特征进行分类的鉴别器学习、从而构造鉴 别器。
人员区域信息提取单元101向伴随人员确定单元102、特色人 员选择单元103和人员跟踪单元104输出提取的人员区域信息。
下文描述伴随人员确定单元102的操作。伴随人员确定单元102 根据输入的跟踪目标人员信息和从人员区域信息提取单元101输出的 人员区域信息确定跟踪目标人员的伴随人员，并且输出确定结果作为 伴随人员信息。广义上存在确定伴随人员的两种方法：指定跟踪目标 人员、并继而指定伴随人员的方法，和指定包括跟踪目标区域的组、 并继而指定跟踪目标人员的方法。
在指定跟踪目标人员、并继而指定伴随人员的方法中，伴随人 员确定单元102通过某种方法标识跟踪目标人员、并继而确定在跟踪 目标人员周围存在的人员作为伴随人员。参照图2描述这一过程。
首先，伴随人员确定单元102根据跟踪目标人员信息和人员区 域信息指定跟踪目标人员(S501)。在跟踪目标人员信息包含跟踪目 标人员的脸部特征并且人员区域信息包含人员的脸部特征时，伴随人 员确定单元102比对人员区域信息中的脸部特征来比较跟踪目标人员 的脸部特征并且由此标识跟踪目标人员。在跟踪目标人员信息包含另 一传感器信息、比如RFID获得的位置信息时，伴随人员确定单元102 比对人员区域信息中包含的人员位置信息来检查它并且标识位置与 跟踪目标人员基本上重合的人员。注意标识跟踪目标人员的过程并不 总是在所有帧中可执行、因此是在可行帧中执行的
接着，伴随人员确定单元102确定标识的跟踪目标人员的伴随 人员(S502)。在对伴随人员的确定(S502)中，伴随人员确定单元 102当在标识的跟踪目标人员与图像上的人员区域信息中包含的每个 人员之间的距离在指定的时间量中在指定的阈值内时确定人员是伴 随人员。具体而言，伴随人员确定单元102对于从标识跟踪目标人员 的帧起的若干帧基于输入的人员区域信息跟踪每个人员的移动并且 在每个帧中计算在跟踪目标人员与其他人员之间的距离。在距离在指 定的阈值内时，伴随人员确定单元102确定该人员作为伴随人员。伴 随人员确定单元102未必仅确定距离在跟踪时段期间总是在阈值内的 人员作为伴随人员，并且它可以确定距离在阈值内、以指定的速率或 者更多速率的人员作为伴随人员。
备选地，伴随人员确定单元102使用计算机的用于在图像中的 二维坐标与现实世界中的三维坐标之间关联的校准信息和每个人员 在图像中的位置来计算人员在现实世界中的定位信息。伴随人员确定 单元102然后可以使用每个人员的位置信息来确定跟踪目标人员的伴 随人员。
备选地，伴随人员确定单元102选择距离在标识跟踪目标人员 的帧中在指定的阈值内的人员作为用于伴随人员的候选。伴随人员确 定单元102然后可以计算用于伴随人员的候选的移动并且确定候选是 否在与跟踪目标人员相同的方向上以基本上相同速度移动并且由此 确定该人员是否为伴随人员。
伴随人员确定单元102生成伴随人员信息作为确定伴随人员的 处理结果(S502)。伴随人员信息是在人员区域信息中包含的人员的 信息之中的如下信息，该信息指定与如下人员对应的信息，该人员是 跟踪目标人员的伴随人员。例如伴随人员信息设置如下标志，该标志 指示在人员区域信息中包含的人员中的每个人员是否为伴随人员，值 为1的标志指示伴随人员或者否则指示不是伴随人员。备选地，伴随 人员信息可以用三个值指示确定结果，这包括其中未知人员是否为伴 随人员的状态。伴随人员信息是如下信息，该信息也包含指定跟踪目 标人员的信息。仅在可以指定跟踪目标人员时执行伴随人员信息的计 算。
接着描述如下方法，该方法指定包括跟踪目标人员的组、并继 而指定跟踪目标人员。伴随人员确定单元102计算被估计包括跟踪目 标人员的人员组、然后从组确定伴随人员。参照图3的流程图描述这 一过程。
伴随人员确定单元102基于在人员区域信息中包括的人员的位 置信息将相互接近的人员分组到一起(S511)。在这一步骤中，伴随 人员确定单元102可以使用图像上的位置或者可以使用如以上描述的 相机的校准信息来计算人员在现实世界中的位置并且使用计算的位 置信息。
接着，伴随人员确定单元102确定伴随人员(S512)。在跟踪 目标人员信息包括由其它信息、比如传感器信息获得的跟踪目标人员 的位置信息时，伴随人员确定单元102选择最可能包括跟踪目标人员 的组。伴随人员确定单元102从选择的组生成伴随人员信息。
然后，伴随人员确定单元102确定跟踪目标人员(S513)。在 跟踪目标人员信息包括可以指定人员目标人员的信息(脸部特征、衣 服的视觉特征等)时，伴随人员确定单元102在伴随人员之中选择可 能是跟踪目标人员的人员。伴随人员确定单元102然后向伴随人员信 息添加指定跟踪目标人员的信息。未必对于每个帧进行确定并且可以 仅在可以指定可能包括跟踪目标人员的组时进行确定。
向特色人员选择单元103输出主要通过以上两种方法中的任何 方法获得的伴随人员信息(可以包括跟踪目标人员的信息)。
下文描述特色人员选择单元103。特色人员选择单元103基于 从人员区域信息提取单元101输出的人员区域信息和从伴随人员确定 单元102输出的伴随人员信息计算特色人员信息和跟踪目标人员相对 位置信息。
特色人员信息是代表哪个人员是特色的，并且可以容易被跟踪 的信息。例如在其中穿红色衣服的人员存在于穿白色衣服的人员组中 的情况下，穿红色衣服的人员与其他人完全不同地着装。因此，在使 用衣服的颜色来执行跟踪时，穿红色衣服的人员与其他人员混淆的可 能性被视为低。在另一方面，在跟踪穿白色衣服的人员时，跟踪产生 失败的可能性高，因为存在穿白色衣服的许多其他人员。以这一方式， 特色人员选择单元103确定跟踪在人员区域信息中包括的人员中的每 个人员的容易度并且选择具有高跟踪容易度的人员作为特色人员。稍 后描述特色人员选择单元103的配置和操作的细节。
跟踪目标人员相对位置信息是代表在跟踪目标人员与从伴随人 员选择的特色人员之间的相对位置的信息。例如跟踪目标人员相对位 置信息是通过从跟踪目标人员的位置坐标减去特色人员的位置坐标 而获得的矢量信息。备选地，跟踪目标人员相对位置信息可以是大致 地代表相对位置关系的、比如“跟踪目标人员在特色人员背后”的信 息。另外备选地，当在伴随人员信息中包括的人员之中存在可能是跟 踪目标人员的多个人员时，相对位置信息可以是从那些多个人员信息 计算的坐标的代表值(平均值、中心点等)。稍后也描述相对位置信 息的细节。
特色人员选择单元103向人员跟踪单元104输出计算的特色人 员信息并且向跟踪结果计算单元105输出计算的跟踪目标人员相对位 置信息。注意特色人员数目不限于一个，并且多个特色人员可以存在。
稍后描述人员跟踪单元104。人员跟踪单元104根据从人员区 域信息提取单元101输出的人员区域信息和从特色人员选择单元103 输出的特色人员信息计算跟踪特色人员的特色人员跟踪信息。跟踪方 法可以是上文使用的任何跟踪方法。在跟踪相同相机视频内的人员的 情况下，人员跟踪单元104可以例如使用衣服的特征通过粒子滤波器 来执行跟踪。备选地，人员跟踪单元104可以使用卡尔曼滤波器来执 行跟踪。
接着描述其中输入多个相机拍摄的监控视频的情况。在使用多 个相机来跟踪的情况下，在跟踪的人员脱离其中当前执行跟踪的相机 的视野时，人员跟踪单元104预测人员接着去往哪个附近相机视野和 人员在什么时间进入相机的视野。然后，人员跟踪单元104向其中接 着执行跟踪的相机(或者控制相机的控制单元)通知关于人员的特征 和到达相机的视野的估计时间的信息。接收该信息，用于执行跟踪的 下一相机的控制单元在估计的达到时间之前一点开始搜寻特色人员。 具体而言，用于执行跟踪的下一相机的控制单元比较进入视野的人员 的特征与跟踪的特色人员的特征并且确定是否存在具有匹配的特征 的人员。在跟踪目标人员已经进入相机的视野时，人员跟踪单元104 改变成在该相机中跟踪人员的处理并且由此跟踪人员。在相同相机内 跟踪人员的方法在之前描述过。
人员跟踪单元104向跟踪结果计算单元105输出针对特色人员 计算的跟踪信息作为特色人员跟踪信息。
跟踪结果计算单元105根据从人员跟踪单元104输出的特色人 员跟踪信息和从特色人员选择单元103输出的跟踪目标人员相对位置 信息计算跟踪目标人员跟踪结果。
具体而言，跟踪结果计算单元105通过将跟踪目标人员相对位 置信息与特色人员跟踪信息相加来为跟踪目标人员计算人员跟踪结 果。然而注意不能总是计算跟踪目标人员相对位置信息。因此，在没 有计算跟踪目标人员相对位置信息时，跟踪结果计算单元105可以通 过原样使用先前相对位置信息来计算人员跟踪结果或者通过基于先 前相对位置信息进行预测来计算人员跟踪结果。
另外，在其中对于人员跟踪结果的输出允许延迟的情况下，跟 踪结果计算单元105向缓冲器中暂时存储特色人员跟踪信息直至接着 计算跟踪目标人员相对位置信息。然后在计算下一个跟踪目标人员相 对位置信息时的时间点，跟踪结果计算单元105使用计算的相对位置 信息和先前相对位置信息通过插值来计算在每个时间的相对位置信 息。跟踪结果计算单元105可以使用特色人员跟踪信息和通过插值而 计算的相对位置信息来为跟踪目标人员计算人员跟踪结果。
下文参照图4描述图1中所示人员跟踪设备100的操作流程。 图4是示出根据这一示例性实施例的人员跟踪设备100的操作的流程 图。
人员区域信息提取单元101从监控视频计算人员区域信息 (S101)。人员区域信息的计算的细节如更早在人员区域信息提取单 元101的描述中描述的那样。接着，伴随人员确定单元102基于人员 区域信息和跟踪目标人员信息计算伴随人员信息(S102)。伴随人员 信息的计算的细节如更早在伴随人员确定单元102的描述中描述的那 样。特色人员选择单元103基于人员区域信息和伴随人员信息计算特 色人员信息和跟踪目标人员相对位置信息(S103)。那些信息的计算 如更早在特色人员选择单元103的描述中描述的那样。然后，人员跟 踪单元104从人员区域信息和特色人员信息计算特色人员跟踪信息 (S104)。特色人员跟踪信息的计算如更早在人员跟踪单元104的描 述中描述的那样。然后，跟踪结果计算单元105从特色人员跟踪信息 和跟踪目标人员相对位置信息计算跟踪目标人员跟踪结果(S105)。 跟踪目标人员跟踪结果的计算的细节如更早在跟踪结果计算单元105 的描述中描述的那样。
下文参照图5描述特色人员选择单元103的配置。图5是示出 根据这一示例性实施例的特色人员选择单元103的配置的框图。
特色人员选择单元103包括特色人员确定单元201和特征显著 性信息聚集单元202。
特征显著性信息聚集单元202聚集特征显著性信息并且向特色 人员确定单元201输出它。特色人员确定单元201接收人员区域信息、 伴随人员信息和从特征显著性信息聚集单元202输出的特征显著性信 息并且计算特色人员信息和跟踪目标人员相对位置信息。
下文描述图5中所示特色人员选择单元103的每个处理单元的 具体操作。特征显著性信息聚集单元202聚集特征显著性信息。
特征显著性信息是代表作为代表人员的特色特征的每个特征而 获得的值的显著性程度(特色程度)的信息。例如在衣服颜色这一特 征的情况下，常见衣服颜色(例如白色)的显著性低。在另一方面， 非常见衣服颜色(例如亮红色)的显著性高。关于使用学习数据而计 算的每个特征值(在衣服颜色的情况下为每个颜色的值)的出现频率 通过单调非递增函数计算显著性的具体值。例如可以根据频率计算自 信息的值(在频率为p时为-log2p)，并且可以使用计算的值作为显 著性信息。备选地，可以计算与用于文档检索的倒数文档频率对应的 值(例如1／9)，并且可以使用该值作为显著性信息。
可以针对每个季节或者时间改变显著性信息。具体而言，特征 显著性信息聚集单元202可以改变将针对每个季节或者时间而聚集的 特征显著性信息。例如人们经常在冬季期间穿着黑色衣服，而他们经 常在夏季期间穿着白色衣服。备选地，由于人们在上午和夜晚期间经 常穿着套装夹克，所以夹克颜色的频率高，而而在白天期间由于他们 经常仅穿着衬衫，所以白色衣服的频率高。以这一方式，在其中频率 根据季节或者时间变化的情况下，可以根据季节或者时间改变显著性 信息。另外，在其中衣服颜色的趋势根据地点(例如冲绳和北海道) 不同的情况下，可以根据地点改变显著性信息。
类似地，在其中在监控相机观测的区域中存在的人员的属性根 据季节、时间或者地点变化的情况下可以相应地改变显著性信息。例 如在其中特征是人员的年龄、性别、身高等的信息并且区域是其中经 常在白天期间看见儿童而经常在夜间看见成人的情况下，对于低年龄 或者身高的显著性在白天期间为低，而对于低年龄或者身高的显著性 在夜晚期间为高。以这一方式，可以根据在监控相机观测的区域中存 在的人员的特征的变化来改变显著性信息。
向特色人员确定单元201输入特征显著性信息。基于特征显著 性信息，特色人员确定单元201在人员区域信息中包括的每个人员区 域中为伴随人员信息指明的人员计算特征数据的显著性。然后，特色 人员确定单元201确定具有高显著性的人员作为特色人员并且向人员 跟踪单元104输出指定人员的信息作为特色人员信息。
下文参照图6的流程图描述特色人员确定单元201的过程。
特色人员确定单元201根据在人员区域信息中包含的每个人员 的特征计算每个人员的特征的显著性(S601)。当在特征显著性信息 中包括与在人员区域信息中包含的人员特征的值对应的显著性的值 时，特色人员确定单元201使用该值作为每个人员的显著性。在另一 方面，当在特征显著性信息中不包括与在人员区域信息中包含的人员 特征的值对应的显著性值时，特色人员确定单元201在显著性值可以 被获取的特征数量的值之中计算与在人员区域信息中包含的特征值 相似的特征数量值。然后，特色人员确定单元201根据相似显著性值 估计显著性值。例如特色人员确定单元201可以原样使用显著性值或 者计算多个相似特征数量并且取用于那些特征数量的显著性值的平 均值。
通过使用在上述过程中计算的显著性数据，特色人员确定单元 201可以在稍后描述的过程中容易和稳定选择具有高显著性的人员。 另外，通过根据条件、比如时间、季节或者地点适当改变显著性信息， 特色人员确定单元201可以选择适合于条件的特色人员。
特色人员确定单元201选择具有高显著性的人员(S602)。特 色人员确定单元201可以选择具有最高显著性的一个人员或者可以选 择具有某个阈值显著性或者更高的显著性的所有人员。
在伴随人员信息也包括指定跟踪目标人员的信息时，特色人员 确定单元201计算在跟踪目标人员与作为特色人员而选择的人员的位 置之间的差值并且向跟踪结果计算单元105输出差值作为跟踪目标人 员相对位置信息(S603)。在确定多个人员为特色人员时，跟踪目标 人员相对位置信息包含与那些人员中的每个人员的差值。
下文描述根据这一示例实施例的人员跟踪设备100的有利效 果。一般而言，人们分组动作。因此，在待跟踪的人员上无许多特色 特征时，代之以跟踪伴随人员是有效的。人员跟踪设备100指定跟踪 目标人员的伴随人员、选择在伴随人员之中外观有特色的特色人员并 且跟踪特色人员。人员跟踪设备100可以由此即使在跟踪具有更少特 色特征的跟踪目标人员的情况下仍然实现准确跟踪。
另外，由于人员跟踪设备100计算特色人员的位置信息并且进 一步计算在特色人员与跟踪目标人员之间的相对位置信息，所以人员 跟踪设备100可以计算跟踪目标人员的精确位置信息。
<第二示例性实施例>
根据第二示例性实施例的人员跟踪设备与根据第一示例性实 施例的人员跟踪设备不同在于特色人员选择单元103的配置。下文描 述根据这一示例性实施例的人员跟踪设备与第一示例性实施例的人 员跟踪设备的不同。
图7是示出根据这一示例性实施例的特色人员选择单元103的 配置的框图。特色人员选择单元103包括特征显著性确定单元250和 特色人员确定单元201。
特征显著性确定单元250接收人员区域信息并且计算特征显著 性信息并且向特色人员确定单元201输出计算的特征显著性信息。特 色人员确定单元201接收人员区域信息、伴随人员信息和从特征显著 性确定单元250输出的特征显著性信息并且输出特色人员信息和跟踪 目标人员相对位置信息。
接着描述图7中所示特色人员选择单元103的具体操作。向特 征显著性确定单元250输入人员区域信息。特征显著性确定单元250 从人员区域信息获取每个人员区域的特征并且计算特征的值的显著 性。例如在其中特征是衣服颜色的情况下，特征显著性确定单元250 对在每个人员区域信息中包含的衣服颜色的数目进行计数并且计算 每个颜色的出现频率、然后根据出现频率计算显著性。可以仅使用当 前帧的人员信息或者使用直至当前已经出现的人员的所有特征来计 算出现频率。
备选地，特征显著性确定单元250可以仅使用在从当前起的指 定数量的时间内已经出现的人员的信息来计算出现频率。特征显著性 确定单元250可以通过从当前到以往数据分配随着时间更远而更小的 权值来计算出现频率。备选地，特征显著性确定单元250可以使用日 期不同、但是时间接近的以往数据来计算出现频率并且可以仅使用相 同季节的数据来计算出现频率。
特征显著性确定单元250可以通过从当前帧的时间分配随着季 节或者时间更远而更小的权值来计算出现频率。另外，特征显著性确 定单元250可以通过聚合多个相机检测到的人员区域的信息来计算出 现频率。在这一情况下，特征显著性确定单元250可以通过分配随着 相机的物理位置更接近而更大的权值来计算出现频率。
然后，特征显著性确定单元250从计算的出现频率计算每个人 员的显著性信息。用于显著性信息的计算方法与在图5中所示特征显 著性信息聚集单元202的描述中描述的基于学习数据的计算方法相 同。
向特色人员确定单元201输入以上述方法获得的特征显著性信 息。特色人员确定单元201的操作与图5中所示特色人员确定单元201 的操作相同。
通过上述过程，特色人员选择单元103使用实际输入的监控视 频来计算每个特征的出现频率、然后计算每个人员的显著性。特色人 员选择单元103可以由此计算最适合于相机所在地点或者时间的显著 性、并且改进特色人员的选择有效性。改进特色人员的选择有效性允 许提高跟踪目标人员的跟踪准确性。另外，即使在显著性的信息随着 时间变化时，根据这一示例性实施例的人员跟踪设备可以适当跟踪跟 踪目标人员。
<第三示例性实施例>
根据第三示例实施例的人员跟踪设备的特征在于在特色人员 选择单元103中包括以上描述的特征显著性信息聚集单元202和特征 显著性确定单元250。下文描述根据这一示例实施例的人员跟踪设备 与第一和第二示例性实施例的人员跟踪设备的不同。
图8是示出根据这一示例实施例的特色人员选择单元103的配 置的框图。特色人员选择单元103包括特征显著性确定单元250、特 征显著性信息聚集单元202、特征显著性信息集成单元253和特色人 员确定单元201。
特征显著性确定单元250接收人员区域信息并且向特征显著性 信息集成单元253输出第一特征显著性信息。特征显著性信息聚集单 元202向特征显著性信息集成单元253输出聚集的特征显著性信息作 为第二特征显著性信息。
特征显著性信息集成单元253接收从特征显著性确定单元250 输出的第一特征显著性信息和从特征显著性信息聚集单元202输出的 第二特征显著性信息，并且向特色人员确定单元201输出计算的特征 显著性信息。
特色人员确定单元201接收人员区域信息、伴随人员信息和从 特征显著性信息集成单元253输出的特征显著性信息并且输出特色人 员信息和跟踪目标人员相对位置信息。
下文描述图8中所示特色人员选择单元103的操作的细节。特 征显著性信息聚集单元202的操作与图5中所示特征显著性信息聚集 单元202的操作相同。特征显著性确定单元250的操作与图7中所示 特征显著性确定单元250相同。向特征显著性信息集成单元253输入 从特征显著性确定单元250输出的特征显著性信息作为第一特征显著 性信息。向特征显著性信息集成单元253输入从特征显著性信息聚集 单元202输出的特征显著性信息作为第二特征显著性信息。
特征显著性信息集成单元253使用第一特征显著性信息和第二 特征显著性信息来计算将向特色人员确定单元201供应的特征显著性 信息。各种方法可以用于这一计算。例如特征显著性信息集成单元253 使用两个信息的平均值作为将向特色人员确定单元201供应的特征显 著性信息。另外，特征显著性信息集成单元253这时可以在向它们之 一分配权值之后计算平均值。例如在特征显著性信息集成单元253通 过向第一特征显著性信息分配更大权值来计算特征显著性信息时，特 征显著性信息集成单元253可以计算特征显著性信息，从而向监控视 频给予更大重要性。备选地，特征显著性信息集成单元253可以根据 时间或者当周的日子使用第一特征显著性信息或者第二特征显著性 信息中的任一特征显著性信息作为将向特色人员确定单元201供应的 特征显著性信息。特征显著性信息集成单元253向特色人员确定单元 201输出计算的特征显著性信息。
特征显著性确定单元250的操作与图7中所示特征显著性确定 单元250相同。
如以上描述的那样，通过集成聚集的特征显著性信息和动态计 算的特征显著性信息，特色人员选择单元103可以利用二者来进行特 色人员的选择。
本发明不限于这些示例实施例，并且本领域技术人员将理解， 可以对其进行形式和细节上的各种改变而未脱离本发明的精神实质 和范围。可以实施在根据以上描述的第一至第三示例实施例的人员跟 踪设备中的每个过程为在任意计算机中操作的程序。可以使用任何类 型的非瞬态计算机可读介质来存储并且向计算机提供程序。非瞬态计 算机可读介质包括任何类型的有形存储介质。非瞬态计算机可读介质 的示例包括磁存储介质(比如软盘、磁带、硬盘驱动等)、光学磁存 储介质(例如光磁盘)、CD-ROM(只读存储器)、CD-R、CD-则W 和半导体存储器(比如掩模ROM、PROM(可编程ROM)、ERPOM (可擦除PROM)、闪存ROM、RAM(随机存取存储器)等)。可 以使用任何类型的瞬态计算机可读介质来向计算机提供程序。瞬态计 算机可读介质的示例包括电信号、光学信号和电磁波。瞬态计算机可 读介质可以经由有线通信线、比如电线或者光纤或者无线通信线向计 算机提供程序。
可以描述以上公开的示例实施例的全部或者部分为、但是不限 于以下补充备注。
(补充备注1)
一种人员跟踪设备，包括：
人员区域信息提取装置，用于检测在视频中出现的人员属于的 人员区域，并且生成描述所述人员区域的信息的人员区域信息；
伴随人员确定装置，用于基于所述人员区域信息和指定跟踪目 标人员的信息而在所述人员区域信息中包括的人员之中标识伴随跟 踪目标人员的至少一个伴随人员，并且生成描述所述伴随人员的伴随 人员信息；
特色人员选择装置，用于在由所述伴随人员确定信息指定的所 述伴随人员之中使用所述人员区域信息来选择具有显著特征的特色 人员，并且生成描述所述特色人员的特色人员信息；以及
人员跟踪装置，用于基于所述人员区域信息和所述特色人员信 息而计算特色人员跟踪结果，所述特色人员跟踪结果是针对所述特色 人员的跟踪结果。
(补充备注2)
根据补充备注1所述的人员跟踪设备，其中：
所述伴随人员信息包括指定所述跟踪目标人员的所述信息，
所述特色人员选择装置计算代表在所述跟踪目标人员与所述 特色人员之间的相对位置的跟踪目标人员相对位置信息，并且
所述人员跟踪设备还包括跟踪结果计算装置，用于根据所述特 色人员跟踪结果和所述跟踪目标人员相对位置信息而计算针对所述 跟踪目标人员的跟踪结果。
(补充备注3)
根据补充备注1或者2所述的人员跟踪设备，其中所述特色人 员选择装置包括：
特征显著性信息聚集装置，用于聚集特征显著性信息，所述特 征显著性信息描述关于特征的值的显著性的信息；以及
特色人员确定装置，用于计算由所述伴随人员信息指定的所述 伴随人员中的每个伴随人员的特征、基于所述特征显著性信息而计算 所述伴随人员中的每个伴随人员的所述特征的显著性、并且按照所述 显著性的相对降序来选择所述特色人员。
(补充备注4)
根据补充备注1或者2所述的人员跟踪设备，其中所述特色人 员选择装置包括：
特征显著性确定装置，用于基于在所述人员区域信息中描述的 人员的特征而计算特征显著性信息，所述特征显著性信息是关于特征 的值的显著性的信息；以及
特色人员确定装置，用于计算由所述伴随人员信息指定的所述 伴随人员中的每个伴随人员的特征、基于所述特征显著性信息而计算 所述伴随人员中的每个伴随人员的所述特征的显著性、并且按照所述 显著性的相对降序来选择所述特色人员。
(补充备注5)
根据补充备注1或者2所述的人员跟踪设备，其中所述特色人 员选择装置包括：
特征显著性确定装置，用于基于在所述人员区域信息中描述的 每个人员的特征而计算第一特征显著性信息，所述第一特征显著性信 息是关于特征的值的显著性的信息；
特征显著性信息聚集装置，用于聚集第二特征显著性信息，所 述第二特征显著性信息描述关于特征的值的显著性的信息；
特征显著性信息集成装置，用于通过集成所述第一特征显著性 信息和所述第二特征显著性信息来计算集成的特征显著性信息；以及
特色人员确定装置，用于计算由所述伴随人员信息指定的所述 伴随人员中的每个伴随人员的特征、基于所述集成的特征显著性信息 而计算所述伴随人员中的每个伴随人员的所述特征的显著性、并且按 照所述显著性的相对降序来选择所述特色人员。
(补充备注6)
根据补充备注4或者5所述的人员跟踪设备，其中所述特征显 著性确定装置随着所述特征的所述值的出现频率更低而设置更高显 著性。
(补充备注7)
根据补充备注3所述的人员跟踪设备，其中所述特征显著性信 息聚集装置根据当前位置、季节和时间中的至少一项来改变待聚集的 所述特征显著性信息。
(补充备注8)
根据补充备注5所述的人员跟踪设备，其中所述特征显著性信 息集成装置根据所述第一特征显著性信息和所述第二特征显著性信 息而计算平均值，并且根据所述平均值而生成所述集成的特征显著性 信息。
(补充备注9)
根据补充备注5所述的人员跟踪设备，其中所述特征显著性信 息集成装置向所述第一特征显著性信息和所述第二特征显著性信息 中的至少一个特征显著性信息分配权值，并且计算所述两个信息的平 均值，以及基于所述平均值生成所述集成的特征显著性信息。
(补充备注10)
根据补充备注1至9中的任一补充备注所述的人员跟踪设备， 其中所述伴随人员确定装置基于指定跟踪目标人员的所述信息来标 识在所述人员区域信息中包括的所述跟踪目标人员的信息，并且基于 所述标识的信息来标识所述伴随人员。
(补充备注11)
根据补充备注1至9中的任一补充备注所述的人员跟踪设备， 其中所述伴随人员确定装置基于在所述人员区域信息中包括的每个 人员的位置信息而将位置相互接近的人员一起分组成一组、基于指定 跟踪目标人员的所述信息来标识所述跟踪目标人员属于的组，并且基 于所述标识的组而计算所述伴随人员信息。
(补充备注12)
一种人员跟踪方法，包括：
检测在视频中出现的人员属于的人员区域，并且生成描述所述 人员区域的信息的人员区域信息；
基于所述人员区域信息和指定跟踪目标人员的信息而在所述 人员区域信息中包括的人员之中标识伴随跟踪目标人员的至少一个 伴随人员，并且生成描述所述伴随人员的伴随人员信息；
在由所述伴随人员确定信息指定的所述伴随人员之中使用所 述人员区域信息来选择具有显著特征的特色人员，并且生成描述所述 特色人员的特色人员信息；并且
基于所述人员区域信息和所述特色人员信息而计算特色人员 跟踪结果，所述特色人员跟踪结果是针对所述特色人员的跟踪结果。
(补充备注13)
一种存储人员跟踪程序的非瞬态计算机可读介质，所述人员跟 踪程序使计算机执行跟踪在视频中出现的人员的过程，所述过程包 括：
检测在所述视频中出现的所述人员属于的人员区域，并且生成 描述所述人员区域的信息的人员区域信息；
基于所述人员区域信息和指定跟踪目标人员的信息而在所述 人员区域信息中包括的人员之中标识伴随跟踪目标人员的至少一个 伴随人员，并且生成描述所述伴随人员的伴随人员信息；
在由所述伴随人员确定信息指定的所述伴随人员之中使用所 述人员区域信息来选择具有显著特征的特色人员，并且生成描述所述 特色人员的特色人员信息；以及
基于所述人员区域信息和所述特色人员信息而计算特色人员 跟踪结果，所述特色人员跟踪结果是针对所述特色人员的跟踪结果。
本申请基于通过完全引用将公开内容结合于此、于2011年3 月28日提交的第2011-070114号日本专利申请、并且要求来自该日 本专利申请的优先权权益。
工业实用性
根据本发明，有可能使用监控相机来跟踪人员、并且计算人员 在给定的时间的位置。这允许给定的系统根据位置向跟踪目标人员提 供信息。备选地，在跟踪目标人员是儿童时，本发明可以应用于向父 母发送儿童的跟踪结果的儿童跟踪服务。当然，本发明可以用于在一 般安全系统中跟踪具体人员这样的目的。
标号列表
1 人员区域检测装置
2 体元生成装置
3 人员颜色提取装置
4 人员跟踪装置
100 人员跟踪设备
101 人员区域信息提取单元
102 伴随人员确定单元
103 特色人员选择单元
104 人员跟踪单元
105 跟踪结果计算单元
201 特色人员确定单元
202 特征显著性信息聚集单元
250 特征显著性确定单元
253 特征显著性信息集成单元
机译： 人员跟踪设备，人员跟踪方法和存储人员跟踪程序的非瞬态计算机可读介质
机译： 人员跟踪设备，人员跟踪方法和非瞬态计算机可读介质存储人员跟踪程序
机译： 人员跟踪设备，人员跟踪方法和非临时性计算机可读介质存储人员跟踪程序
