个体鉴别装置和个体鉴别方法

摘要

帧存储器(30)存储对用户身体的至少一部分区域进行成像所获得的图像。生理体征信号检测器(40)通过使用存储在帧存储器(30)中的预定数目帧中的捕获图像，基于用户身体的多个成像区域来检测周期性变化的生理体征的信号序列。相关性计算器(50)获得从身体的各个成像区域检测出的生理体征的信号序列之间的相关性。身份确定部(60)基于从身体的各个成像区域检测出的生理体征的信号序列之间的相关性，来确定身体的各个成像区域是否属于同一个用户。

说明书

技术领域

本发明涉及根据所捕获的图像进行个体鉴别(discrimination)的装置和 方法。

背景技术

在家用游戏机中，有一些配备有像机。这样的游戏机能够对正在玩游戏 的用户进行成像，以在游戏画面上显示用户的图像，并且能够根据所捕获的 用户的图像来检测用户的动作以便将其反映在游戏中。此外，该游戏机还能 够根据像机所拍摄的用户图像来检测用户的脸部表情，并掌握(grasp)正在 玩游戏(in the game playing)的用户的精神状态以便将其反映在游戏进程 (progression)中。此外，也可以多个玩家中的每个玩家持有控制器以操作游 戏机，以及由包括家人、朋友等的多个人员经常玩游戏。

此外，为了检测正在玩游戏的用户的紧张程度，也可施行下面的方法。 具体地，在用户上安装用来检测脉搏的传感器，并将所述传感器输出的脉搏 测量结果输入到游戏机并反映在游戏中。

在专利文献1中描述了一种根据捕获的对象(subject)图像的密度 (density)的时间变化(temporal change)来测量生理体征的方法。

现有技术文献

专利文献

专利文献1：特开2005-218507号公报

发明内容

技术问题

当多个玩家中的每个玩家均持有控制器来操作游戏机，或者当除持有控 制器的游戏玩家外，家人和朋友亦出现在周围时，由像机拍摄的图像中包括 多个用户，因此需要在所捕获的图像中进行个体鉴别。另外，也可根据图像 通过识别脸部、手部等区域进行个体鉴别。然而，如果操作控制器的游戏玩 家的手与另一正在玩游戏者的手相交，往往很难将手部与脸部相关联。

鉴于此问题而提出本发明，其目的是提供一种能够在所捕获的图像中准 确地进行个体鉴别的个体鉴别装置和个体鉴别方法。

解决问题的方案

为解决上述问题，本发明的某一方面的个体鉴别装置包括存储器，存储 对用户身体的至少一部分的区域进行成像所获得的图像，和生理体征信号检 测器，通过使用存储在存储器的预定数目帧中的捕获图像，从用户身体的多 个成像区域来检测周期性变化的生理体征的信号序列。所述个体鉴别装置还 包括相关性计算器，获得从身体成像区域检测出的生理体征的信号序列之间 的相关性，和身份确定部，基于从身体成像区域检测出的生理体征的信号序 列之间的相关性，来确定身体成像区域是否属于同一用户。

本发明的另一方面为一种个体鉴别方法。所述方法包括一生理体征信号 检测步骤：通过使用和参考来自存储器的预定数目帧中的捕获图像，从用户 身体的多个成像区域来检测周期性变化的生理体征的信号序列，所述存储器 存储对用户身体的至少一部分的区域进行成像所获得的图像。所述方法进一 步包括一相关性计算步骤：获得从身体成像区域检测出的生理体征的信号序 列之间的相关性，以及一身份确定步骤:基于从身体成像区域检测出的生理 体征的信号序列之间的相关性，来确定身体成像区域是否属于同一用户。

通过转换本发明的上述构成要素和表现形式的任意组合而得到的内容， 其中包括方法、装置、系统、计算机程序、数据配置、记录介质等也有效地 作为本发明的各方面。

本发明的有益效果

根据本发明，可以根据所捕获的图像精确地进行个体鉴别。

附图说明

图1是根据一实施例的游戏系统的配置图。

图2是根据一实施例的个体鉴别装置的配置图。

图3A是用于说明像机拍摄的多个用户的图像的图。

图3B是用于说明由图2的身份确定部产生的身体成像区域的确定结果 的图。

图4是用于说明通过图2中的个体鉴别装置进行的个体鉴别过程的流程 图。

图5是用于说明通过图2中的个体鉴别装置进行的另一个体鉴别过程的 流程图。

具体实施方式

图1是根据一实施例的游戏系统的配置图。游戏系统包括游戏机200、 显示器20、控制器300、和像机10a和10b。

控制器300以无线或有线的方式连接到游戏机200。像机10a作为内置 组件被合并在显示器20中，并拍摄持有控制器300并且正在玩游戏的用户以 及与用户在一起的朋友、家人等。游戏画面显示在显示器20上。摄像机(video  camera)10b可以把焦点集中在用户身体的一部分上执行拍照，具体地，例如 持握控制器的手部、特定用户的脸部等，所拍摄的图像输入到游戏机200中。 显示器20还可显示由像机10a和10b拍摄的用户图像。

虽然在此将以玩游戏为例来说明实施例，但是本实施例不限于游戏，且 也可应用到通过电视屏幕观看视频等场合。

图2是根据本实施例的个体鉴别装置100的配置图。多个像机10a和10b、 显示器20、控制器300、以及可穿戴式传感器310连接到个体鉴别装置100。 个体鉴别装置100是安装在图1中的游戏机200中的功能配置。

像机10a和10b对用户身体的部分或全部区域进行拍照。可使用一个或 多个像机。例如，可由一个像机拍摄包括游戏玩家在内的多个人。可替换地， 可提供主要拍摄游戏玩家(player)的像机和拍摄包括或不包括游戏玩家在内 的整体多个人的不同像机。可替换地，某个像机可拍摄用户的手部并且不同 的像机可拍摄用户的脸部。所拍摄的图像存储在帧存储器30中。

生理体征信号检测器40通过使用存储在帧存储器30中的预定数目帧的 拍摄图像，根据用户的身体的成像区域来检测周期性变化的生理体征的信号 序列。生理体征信号检测器40能够通过检测在预定数目帧的拍摄图像中身体 成像区域中皮肤的振动或光吸收特性的变化，来检测周期性变化的生理体征 的信号序列。周期性变化的生理体征比如是心跳或呼吸等生理体征。如果在 具有诸如5帧这样的帧数的拍摄图像中检测到暴露了皮肤的身体部分的皮肤 的振动或光吸收特性等发生了改变，则可获取例如心跳的生理体征的波形数 据序列。光吸收特性的变化被检测为皮肤图像的密度和颜色改变。

生理体征信号检测器40可将成像区域划分为多个小区域，并检测每个分 割的小区域的生理体征的信号序列。为减少运算量和抑制噪声，更优选的是 检测每个具有预定面积的区域的生理体征的信号序列。

例如，在下列文件中详细描述了通过检测身体成像区域的皮肤振动或光 吸收特性的变化来测量脉搏的方法。

“Heart rate measurement based on a time-lapse image,”Medical Engineering  and Physics(“基于时滞图像的心率测量”，《医学工程与物理学》)，2007

“Advancements in non-contact,multiparameter physiological measurements  using a webcam,”IEEE Trans Biomed Eng(“使用网络摄像头的非接触式多参 数生理测量的进步”，IEEE生物医学工程专刊)，2010

“Non-contact,automated cardiac pulse measurements using video imaging  and blind source separation,”Optics Express(“使用视频成像和盲源分离的非接 触式自动化心脏脉搏测量”，《光学快报》)，2010

相关性计算器50获得从身体的各个成像区域检测到的生理体征的信号 序列之间的相关性。当第一身体成像区域中检测的生理体征的信号序列被定 义为H1(t)并且第二身体成像区域中检测的生理体征的信号序列被定义为 H2(t)时，可通过下面的表达式来获得信号序列H1(t)和H2(t)之间的相关性R。 然而，也可使用与之不同的计算式。

[表达式1]

$R=\frac{\underset{t}{\Sigma }\{H_1\left(t\right)*H_2\left(t\right)\}}{\sqrt{\underset{t}{\Sigma }{\left\{H_1\left(t\right)\right\}}^2}*\sqrt{\underset{t}{\Sigma }{\left\{H_2\left(t\right)\right\}}^2}}$

身份确定部60基于从身体的各个成像区域检测到的生理体征的信号序 列之间的相关性，来确定身体的各个成像区域是否属于相同的用户。如果第 一身体成像区域的生理体征的信号序列H1(t)和第二身体成像区域的生理体 征的信号序列H2(t)之间的相关性R大于预定阈值T，则身份确定部60确定 所述第一身体成像区域和所述第二身体成像区域属于同一人。如果这两个信 号序列H1(t)和H2(t)之间的相关性R等于或小于预定阈值T，则身份确定部 60确定所述第一身体成像区域和所述第二身体成像区域属于不同的人。

第一身体成像区域和第二身体成像区域可以是由不同像机10a和10b来 成像的区域。例如，如果用户的手部通过第一相机10a成像，而用户的面部 通过第二相机10b成像，则计算从用户手部的捕获图像所检测到的生理体征 的信号序列H1(t)和从用户面部的捕获图像所检测到的生理体征的信号序列 H2(t)之间的相关性R。然后，如果相关性R高，则身份确定部60确定成像 的用户手部和脸部属于同一人，而如果相关性R低，则确定成像的用户手部 和脸部属于不同的人。在这种方式下，即使用户的手部和面部不一定是由相 同的像机成像，也可通过获得从手部和脸部检测的生理体征的信号序列之间 的相关性进行个体鉴别。

显示部70对被确定为属于同一人的多个身体成像区域进行相同的高亮 显示，并在显示器20上显示所述成像区域。例如，显示部70使用相同的颜 色显示被确定为属于同一人的多个身体成像区域。这允许用户在屏幕上检查 个体鉴别装置100如何进行个体鉴别。

传感器输入部80从安装在控制器300中的传感器或可穿戴式传感器310 接收周期性变化的生理体征的信号序列的输入。例如，控制器300配备有脉 搏传感器等，并且可测量控制器300的操作者的脉搏并输入到传感器输入部 80。此外，还可由用户佩戴可穿戴式传感器310，例如在手腕、脚踝等上的 脉搏传感器，测量脉搏并输入到传感器输入部80。

相关性计算器50可获得从传感器输入部80获得的生理体征的信号序列 和从身体成像区域检测到的生理体征的信号序列之间的相关性。基于从传感 器获得的生理体征的信号序列和从身体成像区域检测到的生理体征的信号序 列之间的相关性，身份确定部60可确定当前身体成像区域是否属于控制器操 作者或传感器佩戴者。例如，如果从做特定手势的用户手部的成像区域所检 测到的生理体征的信号序列和从传感器获得的生理体征的信号序列之间的相 关性高，则身份确定部60可确定所述做特定手势的手属于控制器的操作者。 这样能够获悉手部的姿势和控制器的操作由同一人做出，并使得能够将手部 的姿势和控制器的操作视为来自同一用户的游戏输入。

个体信息管理部90将身份确定部60确定的属于同一人的身体成像区域 作为用户的个体信息存储在个体信息存储器92中，并管理所述个体信息。此 外，个体信息管理部90将指示控制器操作者或传感器佩戴者的标识与被确定 为属于控制器操作者或传感器佩戴者的特定的身体成像区域相关联，并且管 理所述成像区域。这样可从所捕获的图像包括的多个用户中识别控制器操作 者或传感器佩戴者的身体区域，并根据例如控制器操作者的面部表情来确定 游戏中的用户的满意程度。

生理体征信号检测器40通过对生理体征的信号序列执行离散傅里叶变 换以检测频率，来获得指示个体的生理体征周期的特征。可替代地，通过获 得生理体征的信号序列的自相关性以检测信号周期，来获得指示个体的生理 体征周期的特征。例如，如果生理体征是心跳，则获得心率作为指示个体的 生理体征周期的特征。个体信息管理部90基于每个用户对表示个体的生理体 征周期的特征进行分类，并将其作为个体信息存储在个体信息存储器92中。 这样可以检测玩游戏的用户的兴奋程度等，例如特定用户的心率的增加。

通过向游戏进程反馈以这种方式获得的用户满意度和兴奋度，能够增强 便利性和娱乐性。例如，如果基于用户的兴奋程度确定用户放松了，则可执 行短期控制，以对游戏进程给出突然变化。可替换地，可基于用户的满意度 来掌握用户对控制器的操作、游戏规则等的熟练水平，并可根据用户的熟练 水平来进行长期控制以调节游戏进程的速度等。此外，如果玩家的心率过高 或心率恢复到正常较慢，则可向玩家给出休息建议。此外，可记录用户的满 意度和兴奋度并通过网络等向游戏开发商反馈，以便用于游戏更新和未来的 游戏开发。

此外，可通过使用面部检测功能检测与持有控制器的游戏玩家不同的用 户的脸部，用户与游戏玩家之间的心率变化和呼吸定时(breathing timing)的 相关值可被视为指示与游戏玩家的共鸣(empathy)的指标(index)，以便评 估包括观看者在内的游戏进行场所的享受度。例如，在聚会游戏(party game) 等中，如果虽然只有玩家兴奋，但指标指示共鸣低并且游戏进行场所缺乏乐 趣，则可基于这样的指标来调整游戏进程。

此外，可基于同一个体的有关脸、手、脚等的身体信息来猜测玩家的姿 势，如果不利的姿势持续了很长一段时间，则可给出纠正姿势的建议。在通 过应用程序使游戏玩家的身体进行类似瑜珈的移动的情况下，人体信息可被 用作确定用户的姿势是否良好的因素。

图3A是用于说明像机10a和10b拍摄的多个用户的图像的图。假设四 个用户400、402、404、和406正在观看位于游戏机200前面的游戏画面。 这些用户是一个家庭，右侧第二用户404(母亲)用双手持握控制器300。左侧 第二用户402(父亲)手腕上戴着可穿戴式传感器310，虽然在图中未示出。

图3B是用于说明由身份确定部60产生的身体成像区域的确定结果的 图。因为从两个身体成像区域410a和410b检测到的生理体征的信号序列之 间的相关性比预定阈值高，所以这些成像区域被确定为属于同一人400。用 于身份确定的相关性的阈值可通过实验确定，以使身份确定的准确性落入一 定的误差范围内。

类似地，因为生理体征的信号序列之间的相关性比预定阈值高，所以两 个身体成像区域412a和412b被确定为属于同一人402。因为生理体征的信号 序列之间的相关性比预定阈值高，所以四个身体成像区域414a、414b、414c， 和414d被确定为属于同一人404。因为生理体征的信号序列之间的相关性比 预定阈值高，所以三个身体成像区域416a、416b、和416c被确定为属于同一 人406。

这里，由于用户402(父亲)戴着可穿戴式传感器310，所以可从可穿戴 式传感器310获得父亲的生理体征的信号序列。来自可穿戴式传感器310的 生理体征的信号序列和两个身体成像区域412a和412b的生理体征的信号序 列之间的相关性比预定阈值高。因此，身份确定部60确定这些身体成像区域 412a和412b属于可穿戴式传感器310的佩戴者(此处为父亲)。个体信息管 理部90将身体成像区域412a和412b与可穿戴式传感器310的穿戴者的识别 信息相关联，并将其存储在个体信息存储器92中。

此外，用户404(母亲)用双手持握控制器300，并且可从安装在控制器 300中的传感器来获取母亲的生理体征的信号序列。来自控制器300的传感 器的生理体征的信号序列和四个身体成像区域414a、414b、414c、和414d 的生理体征的信号序列之间的相关性比预定阈值高。因此，身份确定部60确 定这些身体成像区域414a、414b、414c、和414d属于控制器300的操作者(此 处为母亲)。个体信息管理部90将身体成像区域414a、414b、414c、和414d 与控制器300的穿戴者的识别信息相关联，并将其存储在个体信息存储器92 中。

图4是用于说明通过个体鉴别装置100进行个体鉴别过程的流程图。这 里，基于生理体征为心跳的假设来进行说明。

生理体征信号检测器40从第一身体成像区域检测心跳的信号序列H1(t) (S10)。生理体征信号检测器40从第二身体成像区域检测心跳的信号序列 H2(t)(S12)。

相关性计算器50计算第一心跳信号序列H1(t)和第二心跳信号序列H2(t) 的之间的相关性R(S14)。

如果相关性R大于阈值T(S16的Y)，则身份确定部60确定第一身体 成像区域和第二身体成像区域属于同一人，个体信息管理部90将第一身体成 像区域和第二身体成像区域作为该人的个体信息进行分类，并将其登记在个 体信息存储器92中(S18)。从而，例如某个用户的面部和手部作为属于同一 人的身体部分相关联。

如果相关性R等于或小于阈值T(S16的N)，则身份确定部60确定第 一身体成像区域和第二身体成像区域属于不同的人，个体信息管理部90将第 一身体成像区域和第二身体成像区域作为不同人的个体信息进行分类，并将 其登记在个体信息存储器92中(S20)。这样允许进行多个用户的个体鉴别和 分类。

图5是用于说明通过个体鉴别装置100进行另一个体鉴别过程的流程图。

传感器输入部80通过安装在控制器300中的传感器或佩戴在用户身上的 可穿戴式传感器310检测心跳的信号序列H1(t)(S30)。生理体征信号检测器 40从通过像机10a和10b成像而获得的身体成像区域检测心跳的信号序列 H2(t)(S32)。

相关性计算器50计算第一心跳信号序列H1(t)和第二心跳信号序列H2(t) 之间的相关性R(S34)。

如果相关性R大于阈值T(S36的Y)，则身份确定部60确定相关身体 成像区域属于控制器操作者或传感器佩戴者，个体信息管理部90将身体成像 区域作为控制器操作者或传感器佩戴者的个体信息进行分类，并登记在个体 信息存储器92中(S38)。这样允许对控制器操作者或传感器佩戴者的身体 区域，具体的例如脸部,进行识别，并且使得能够基于控制器操作者或传感 器佩戴者的面部表情来进行例如改变游戏进程的控制。

如果相关性R等于或小于阈值T(S36的N)，则身份确定部60确定相 关身体成像区域不属于所述控制器操作者或传感器佩戴者(S40)。这样使得 能够区分控制器操作者或传感器佩戴者和其他用户。

在上面的描述中，说明了基于生理体征来对身体成像区域进行身份确定 的方法。然而，一旦身体成像区域的身份确定结束，就可继续身体成像区域 的身份确定，而不需要通过使用诸如模板匹配等技术来跟踪例如手部和脸部 的身体成像区域检测生理体征。例如，当用户的身体发生大尺度移动或当用 户的位置发生交换时，因为跟踪将失效所以可重新开始基于生理体征的身份 确定。

虽然本实施例中将心跳作为生理体征的示例，但是呼吸亦可作为成像用 户的身体振动的生理体征来检测。此外，人类具有吸气动作时心率增加而呼 气动作时心率减小的特性。因此，也可根据心跳信号序列来检测到呼吸。下 面将描述一种根据心跳检测呼吸周期或频率的方法。

(1)首先，通过检测由傅立叶变换产生的心跳的波形数据序列的频率以 获得心率。心率可从通过使用心跳波形数据序列的自相关性而得出的周期中 获得。

(2)接着，可基于等于或小于心跳周期的时间间隔连续地得到所获得的 心率，具体地，例如，以0.5秒的间隔得出心率的序列。

当没有进行影响心率的运动时，对应于呼吸运动的心率变化出现在心率 的序列中。吸气动作时心率增加而呼气动作时心率降低。因此，如果通过类 似于上述(1)的方法从心率序列获得心率变化的频率或周期，则其可被视为 呼吸的频率或周期。呼吸的优点在于，其甚至可在身上穿着衣物时检测。此 外，也可根据多个玩家的呼吸波形的同步程度，来检测多个玩家在游戏中是 否在彼此协调。

如上所述，根据本实施例的个体鉴别装置100，通过采用在其中检测脉 搏的区域之间的时间变化的相关性，可识别同一脉搏源的区域，并进行个体 鉴别和分类。即使在所捕获的图像中包括多个用户时，也可进行如脸部、手 部、脚部的区域的个体鉴别，并且可确定区域是否属于同一人。此外，可基 于与来自控制器、可穿戴工具等接触式传感器的脉搏信息的相关性，将被成 像的手部或面部的图像与控制器操作者或传感器佩戴者相关联。

脸部、手部、脚部位于人体末端部位，并远离心脏。然而，身体各部分 脉搏的波形和频率基本上相同。在每个身体部分的脉搏的波形数据序列中生 成取决于与心脏的距离的偏移量。由于这一点，虽然波形相似，但通常会产 生相位差异。为相应于这样的情况，在取得各个身体部位的脉搏的波形数据 序列之间的相关性时，获得带有相位偏移量的多个相关性并采用其中的最大 相关值。这使得即使当身体部位不相同时，也能够确定脉搏波形数据是否是 从同一人的身体获得的。与其他人的脉搏波形数据的高相关性往往是瞬时获 得的。然而，如果长时间观察脉搏的波形数据，则波形变得不同步，相位偏 移随时间而变化很大，因此不能获得高相关性。

以上基于实施例描述了本发明。本领域技术人员应理解，本实施例是例 示性的，并且能够结合各构成要素以及各个处理过程进行各种变形例，此类 变形例也在本发明的范围之内。将描述这样的变形例。

[附图标记列表]

10相机、20显示器、30帧存储器、40生理体征信号检测器、50相 关性计算器、60身份确定部、70显示部、80传感器输入部、90个体信 息管理部、92个体信息存储器、100个体鉴别装置、200游戏机、300控 制器、310可穿戴式传感器。

[工业应用]

本发明可用于根据所捕获的图像进行个体鉴别的技术。