姿势识别装置及姿势识别装置的控制方法

摘要

本发明提供姿势识别装置及姿势识别装置的控制方法，即使在进行姿势输入的使用者周围存在多个使用者的情况下也能正确获取针对每个使用者定制的姿势输入。姿势识别装置根据获取的图像检测姿势并生成与该姿势对应的针对控制对象设备的命令，具有：图像获取单元，获取图像；姿势获取单元，根据获取的图像检测摆出姿势的对象部位，并根据检测出的对象部位的动作或形状来获取姿势；面部检测单元，检测包含于获取的图像中的面部；对应关联单元，使用表示人体形状的人体模型，将检测出的对象部位和检测出的面部进行对应关联；个人识别单元，识别与检测出的面部对应的使用者；命令生成单元，根据识别出的使用者和获取的姿势，生成针对控制对象设备的命令。

说明书

技术领域

本发明涉及一种用于识别根据姿势的输入操作的姿势识别装置。

背景技术

旨在普及一种针对计算机或电子设备，能够通过姿势进行输入的装置。

例如，专利文献1记载了一种通过摄像头等拍摄使用者在空间上摆出的 姿势，并将该姿势变换为输入命令的输入装置。该装置将特定的姿势和特定 的输入命令相关联并进行存储，其具有识别姿势的单元和将识别出的姿势变 换为输入命令的单元。由此，使用者仅在设备前摆出姿势，不直接操作输入 设备，就能够输入任意命令。

现有技术文献

专利文献

专利文献1：日本专利4031255号公报

在用于识别姿势的输入装置中，存在根据使用者的喜好，想要对于某一 个姿势分配不同的输入命令的情况。例如，针对“左右移动手”这一姿势， 会存在想分配“变换电视机频道”这一操作的使用者和想分配“改变电视机 音量”这一操作的使用者。

为了应对这种情况，在专利文献1所记载的装置中，根据摄像头拍摄到 的图像进一步检测面部，从而识别摆出姿势的使用者。由此，能够将姿势、 输入命令与每个使用者对应关联，能够实现符合个人喜好的个性化定制。

但是，虽然专利文献1所记载的装置能够根据面部进行个人识别，但是， 当图像中出现多个面部时，无法正确识别检测出的姿势是谁摆出的。

例如，假设在使用者A和使用者B在电视机正面的情况下，装置通过设 置在电视机正面的摄像头检测出姿势。在这样的状况下，在根据使用者对该 姿势分配了不同的命令(例如，使用者A为“调高频道”，使用者B为“调大 音量”)时，装置不能确定摆出姿势的使用者，所以，不能决定执行哪个命 令为好。

发明内容

本发明是考虑上述课题而做成的，其目的在于，提供一种即使在进行姿 势输入的使用者的周围存在多个使用者的情况下也能够正确获取对每个使 用者制定的个性化的姿势输入的姿势识别装置。

为了解决上述课题，本发明的姿势识别装置采用如下结构：使用表示人 体形状的人体模型，将图像所包含的面部和摆出姿势的对象部位进行对应关 联，并识别摆出姿势的人物。

具体来讲，本发明的姿势识别装置根据获取的图像检测姿势，并生成与 该姿势相对应的针对控制对象设备的命令，其具有：图像获取单元，其用于 获取图像；姿势获取单元，其用于根据所获取的所述图像检测摆出姿势的对 象部位，并根据检测出的对象部位的动作或者形状来获取姿势；面部检测单 元，其用于检测包含于所获取的所述图像中的面部；对应关联单元，其用于 使用表示人体形状的人体模型，将所检测出的所述对象部位和所检测出的所 述面部进行对应关联；个人识别单元，其用于识别与所检测出的所述面部相 对应的使用者；命令生成单元，其用于根据所识别出的所述使用者和所获取 的所述姿势，生成针对控制对象设备的命令。

这样一来，本发明的姿势识别装置分别检测摆出姿势的对象部位和使用 者的面部，并将二者进行对应关联，从而确定摆出姿势的使用者。此外，所 谓对象部位，是使用者摆出姿势的部位，典型地是人的手，但也可以是输入 姿势用的指示器等。

对象部位和面部的对应关联是通过使用作为表示人体形状的模型的人 体模型来进行的。即，仅在检测出的面部和对象部位处于自然位置关系时， 进行对应关联，处于非自然位置关系时，不进行对应关联。就该对应关联而 言，只要能够使用人体模型来进行，可以使用任意的方法。例如，可以以检 测出的面部为起点，推测躯体及胳膊、肘部、手腕等的位置，并根据推测结 果计算手的可动范围，判断在该可动范围内是否包含有对象部位。

另外，人体模型不必要是仅表示人体形状的模型。例如，在使用输入姿 势用的指示器来进行输入的情况下，可以使用表示包含指示器在内的形状的 模型。这样，人体模型可以是包括用于摆出姿势的器具等的形状的模型。

通过这样构成，能够将对象部位与使用者个人相关联，即使在图像中包 含多个人物的情况下，也能够高精度地判断摆出姿势的人物。

另外，本发明的姿势识别装置也可以还具有：姿势存储单元，其用于存 储个人设定数据，该个人设定数据是将姿势和针对控制对象设备的命令的组 与每个使用者进行对应关联的数据；所述命令生成单元进一步根据所述个人 设定数据来生成针对控制对象设备的命令。

这样，优选地，将姿势、与姿势对应的命令与每个使用者对应关联并存 储。

另外，所述对应关联单元也可以使用所检测出的所述面部的坐标和所述 人体模型，针对所检测出的每个所述面部，计算推测为存在对象部位的范围， 在所计算出的所述范围内存在所述对象部位的情况下，将该对象部位和该面 部进行对应关联。

通过对检测出的每个面部应用人体模型，并分别计算推测为存在对象部 位的范围，能够高精度地将检测出的面部和对象部位进行对应关联。

另外，所述姿势存储单元也可以进一步存储与使用者相对应的优先级， 在同一时间段内，所述姿势获取单元获取的姿势有两个以上的情况下，所述 命令生成单元优先处理与优先级更高的使用者相对应的姿势。

本发明的姿势识别装置能够识别摆出姿势的人物，但是，当多个人物同 时摆出姿势时，有时无法确定应生成的命令。为了应对这样的情形，可以定 义每个使用者的优先级，依据该优先级进行处理。例如，可以与其他使用者 所摆出的姿势相比先处理优先级高的使用者摆出的姿势，也可以不处理优先 级低的使用者摆出的姿势。

另外，在所述对应关联单元将所检测出的所述对象部位和所检测出的所 述面部对应关联失败的情况下，所述命令生成单元也可以不考虑摆出姿势的 使用者，而生成与所述姿势相对应的既定的命令。

这样，在对象部位和面部的对应关联失败时，可以生成未与特定的使用 者关联的默认的输入命令。

另外，本发明的姿势识别装置也可以进一步具有使用者推测单元，该使 用者推测单元用于不使用面部的检测结果，而推测摆出姿势的使用者；在所 述对应关联单元所进行的、所检测出的所述对象部位和所检测出的所述面部 的对应关联失败的情况下，所述使用者推测单元推测摆出姿势的使用者。

就人物的推测而言，例如可以根据过去获取的图像来进行，也可以从其 他单元获取信息来进行。例如，在根据过去获取的图像，能够推测出有使用 者位于设备附近时，可以推测为该使用者摆出了姿势；在控制对象设备为电 视机，且能够获取每个使用者的视听履历的情况下，可以根据该视听履历， 推测摆出姿势的使用者。

此外，能够将本发明体现为包括上述单元的至少一部分的姿势识别装 置。另外，也能够将本发明体现为所述姿势识别装置的控制方法、用于使所 述姿势识别装置动作的程序、记录有该程序的记录介质。只要上述处理、单 元在技术上不发生矛盾，就能够进行自由组合来实施。

根据本发明，能够提供一种姿势识别装置，即使在进行姿势输入的使用 者的周围存在多个使用者的情况下，也能够正确获取对每个使用者制定的姿 势输入。

附图说明

图1是第一实施方式的姿势识别系统的结构图。

图2A、图2B是示出个人设定数据的例子的图。

图3是示出姿势定义数据的例子的图。

图4是用于说明根据以往技术的姿势识别处理的图。

图5是第一实施方式的对应关联处理的处理流程图。

图6是示出第一实施方式中图像获取部所获取的图像的例子的图。

图7是第一实施方式的姿势识别装置的处理流程图。

图8是示出在第三实施方式中图像获取部获取的图像的例子的图。

附图标记说明：

100 姿势识别装置；

101 图像获取部；

102 个人设定存储部；

103 处理部；

104 命令生成部；

200 控制对象设备

具体实施方式

(第一实施方式)

<系统结构>

关于第一实施方式的姿势识别系统的概要，参考作为系统结构图的图1 来进行说明。第一实施方式的姿势识别系统是由姿势识别装置100及控制对 象设备200组成的系统。

姿势识别装置100使用摄像头识别使用者摆出的姿势，并确定摆出姿势 的使用者，生成与该使用者及该姿势对应的命令，并发送给控制对象设备 200。

另外，控制对象设备200是一种从姿势识别装置100接收命令的装置， 典型地，是电视机、录像机、计算机、空调、视频会议系统等电器产品。只 要能够通过有线或者无线从姿势识别装置100接收命令，控制对象设备200 可以是任意设备。

在本实施方式中，假设控制对象设备200是电视机，姿势识别装置100 是内置于该电视机中的装置。

下面，详细说明姿势识别装置100。

姿势识别装置100具有图像获取部101、个人设定存储部102、处理部 103、命令生成部104。

图像获取部101是从外部获取图像的单元。在本实施方式中，使用安装 在电视机屏幕的正面上侧的摄像头(未图示)拍摄使用者。图像获取部101 所使用的摄像头可以是获取RGB图像的摄像头，也可以是获取灰度图像或 红外线图像的摄像头。另外，图像并非必须通过摄像头来获取，例如可以是 距离传感器生成的表示距离分布的图像(距离图像)。另外，也可以是距离 传感器和摄像头的组合等。

只要能够获取使用者摆出的姿势和该使用者的面部(具体来讲，面部特 征量)，图像获取部101获取的图像可以是任意的图像。另外，所获取的图 像的视角与电视机的视场角大致相同即可。

个人设定存储部102是一种存储用于识别装置的使用者的信息的单元。 所谓识别装置的使用者的信息，是指用于根据获取的面部图像来判定人物的 信息，例如，是数值化的面部的特征量等。

另外，个人设定存储部102是按照每个使用者存储姿势的内容和与该姿 势对应关联的命令的单元。例如，针对某个使用者，将“使张开的右手向右 方移动的姿势”与表示“调大音量”的命令对应关联并进行存储。

在第一实施方式中，将识别使用者的信息称作“个人设定数据”，将定 义姿势和命令之间的对应关系的信息称作“姿势定义数据”。图2A表示第 一实施方式的个人设定数据的例子，图3表示姿势定义数据的例子。二者的 数据通过作为使用者标识符的用户ID相关联。

处理部103用于根据图像获取部101所获取的图像来获取姿势，并根据 存储于个人设定存储部102中的个人设定数据来确定摆出姿势的人物。另外， 上述处理部103用于根据存储于个人设定存储部102中的姿势定义数据，决 定应该生成的命令。详细的动作将在后面进行叙述。

命令生成部104是一种生成处理部103所决定的命令的单元。所谓命令， 是指用于对控制对象设备200进行控制的信号，可以是电信号，也可以是通 过无线进行调制而得的信号、进行脉冲调制而得的红外线信号等。

姿势识别装置100是具有处理器、主存储装置、辅助存储装置的计算机， 存储于辅助存储装置的程序加载至主存储装置，并由处理器来执行，从而发 挥所述各个单元的功能(处理器、主存储装置、辅助存储装置均未图示)。

<姿势及人物的对应关联处理>

下面，详细说明处理部103所进行的处理。

图4是图像获取部101所获取的图像的例子。即，是从电视机屏幕侧观 察正对电视机屏幕的使用者的图。其中，假设使用者A及使用者B两人位于 电视机前方。

就姿势而言，根据图像来检测摆出姿势的部位(下面称为对象部位)， 来进行提取。在本实施方式的情况下，假设使用者用手摆出姿势。处理部103 例如根据图像检测表示人手的区域(附图标记41)，并跟踪该动作，从而能 够提取用手的动作表示的姿势。另外，通过获取对象部位的形状，能够提取 用手指形状表示的姿势。

此外，例如日本特开2000-149025号公报所记载的那样，通过检测特征 点并与事先存储的模型相比较，能够进行对象部位的检测及姿势的提取。另 外，也能够使用其他公知技术，因此省略对详细方法的说明。

可提取的姿势中有例如“移动整只手来表示方向”、“描绘图形”、“竖起手 指”、“移动手指”等。另外，在使用指示器(marker)的情况下，也可以通过 指示器的种类(颜色、形状)来表现不同的操作。

在以往的技术中，通过检测图像中的面部，能够识别摆出姿势的人物是 谁。但是，在图像中存在多个人物的情况下，无法判断检测出的对象部位与 谁相关联(即，是使用者A的手还是使用者B的手)。因此，在就该姿势， 对每个人物定义了不同命令的情况下，无法唯一地决定应该生成的命令。

为了解决该问题，需要进行处理来将检测出的对象部位和检测出的面部 进行对应关联。因此，本实施方式的处理部103存储表示人体形状的模型(下 面称作人体模型)，使用该人体模型，将检测出的对象部位和检测出的面部 进行对应关联。

在此，例示对应关联的一种实施方式。图5是表示处理部103使用人体 模型来进行对应关联的例子的流程图。其中，假设已经完成图像的获取、面 部的检测、对象部位的检测以及姿势的提取。

首先，根据检测出的面部的位置，使用人体模型，推测图像中使用者两 肩的位置(步骤S11)。

其次，根据推测出的两肩部的位置，推测两肘部的位置(步骤S12)。

然后，根据推测出的两肘部的位置，推测两手腕的位置(步骤S13)。

进而，根据推测出的两手腕的位置，推测两手的可动范围(步骤S14)。

然后，判断在推测出的范围内是否存在检测出的对象部位(步骤S15)。 在此，如果存在对象部位，则能够决定该对象部位与检测出的面部相对应。 另一方面，如果不存在对象部位，则进入步骤S16，判断在图像中是否包含 未处理的面部。其结果，如果存在未处理的面部，则变更处理对象的面部(步 骤S17)，重复从步骤S11开始的处理。

如果不存在未处理的面部，则判断为无法将对象部位和面部进行对应关 联。

此外，根据人体模型来推测肩部、肘部、手腕等的位置的方法例如记载 于“T.H.Yu,T-K.Kim,And R.CiPolla,“Unconstrained Monocular 3D Human  Pose Estimation by Action Detection And Cross-modality Regression Forest”, Proc.of IEEE Conf.on Computer Vision and Pattern Recognition(CVPR), Portland,Oregon,USA,2013”中。此外，在本实施方式中，虽然通过图5所 示处理进行判断，但是对应关联只要根据定义了人体形状的数据进行即可， 可以使用其他方法。

图6是说明面部和对象部位的对应关联结果的图。例如，示出了与面部 61对应的手在区域62内，与面部63对应的手在区域64内。

本实施方式的姿势识别装置通过进行上面说明的处理，能够将摆出姿势 的部位和摆出姿势的人物的面部进行对应关联。

<整体处理>

接着，参考作为处理流程图的图7来说明本实施方式的姿势识别装置100 所进行的整个处理。

首先，图像获取部101从未图示的摄像头获取图像(步骤S21)。在本 步骤中，例如使用设置在电视机屏幕正面上侧的摄像头，获取RGB彩色图 像。

其次，处理部103从获取的图像尝试进行对象部位的检测和姿势的提取 (步骤S22)。例如，在存储有图3所示姿势定义数据的情况下，检测“竖 起一根手指”这一姿势和摆出该姿势的手的位置，使二者关联并临时存储。 在此，在未提取到姿势的情况下，返回步骤S21，再次获取图像。

此外，在本实施方式的说明中，为了简化说明，假设从一幅图像提取一 个姿势，但是，也可以连续获取多个图像，并基于动作变化来提取姿势。该 情况下，在步骤S22中，可以临时存储多帧图像直至基于动作变化来检测姿 势为止。

接着，处理部103检测所有包含在已获取的图像中的面部(步骤S23)。 具体来讲，获取图像中的面部的坐标和该面部的特征量。

接着，处理部103通过进行步骤S11～S17的处理，使检测出的面部和 检测出的对象部位对应关联(步骤S24)。

此外，在本实施方式的说明中，使用一幅图像进行对应关联，但是，在 获取多帧图像的情况下，也可以针对该多帧分别进行对应关联。例如，如果 不能对应关联的帧的比例在规定值以上，则可以判断为对应关联失败。

接着，处理部103判断在步骤S23中检测出的面部是哪位使用者的面部， 并使用步骤S22及步骤S24的处理结果，确定摆出姿势的人物(步骤S25)。

具体来讲，参考存储在个人设定存储部102中的个人设定数据，比较检 测出的面部的特征量，从而获取与该面部对应的用户ID。然后，使用与在步 骤S22中获取的“由对象部位摆出的姿势”和在步骤S24中获取的“与检测 出的面部对应的对象部位”相关的信息，确定摆出姿势的人物的用户ID。例 如，判断为用户ID为“0001”的使用者进行了“竖起一根手指”这一姿势。

接着，在步骤S26中，命令生成部104参考存储在个人设定存储部102 中的姿势定义数据，生成对应的控制信号，并发送给控制对象设备200。在 图3的例子中，生成表示“将频道改变为1”这一命令的控制信号，并将其 发送给控制对象设备200。

根据第一实施方式，基于人体模型，使摆出姿势的对象部位和面部对应 关联，所以，能够高精度地识别检测出的姿势是谁摆出的姿势。由此，即使 在图像内存在多个人物且对每个使用者定制(customize)了姿势的情况下， 也能够正确进行使用者所期望的输入操作。

此外，也可以存储与多个姿势分别对应关联的默认的命令，在步骤S25 中人物的确定失败的情况下，生成该默认的命令。另外，也可以在步骤S25 中人物的确定失败的情况下不生成命令。另外，也可以将表示不能确定使用 者这一出错(error)的信号发送给控制对象设备200。

另外，在本例子中，叙述了一个人摆出一个姿势的例子，但是，在步骤 S22中检测到多个姿势并且在步骤S23中检测出多个面部的情况下，也可以 尝试分别对应关联。其结果，因为在存在多种对应关联的情况下，意味着多 个人物同时摆出姿势，所以，可以将步骤S24～S26的处理重复进行与检测 出的面部的数量相对应的次数。

另外，图7所示各步骤并非必须按顺序执行。例如，任意的处理与其他 处理也可以并行。

(第一实施方式的变形例)

在第一实施方式中，使用人体模型来将摆出姿势的对象部位和面部进行 对应关联，但是，在不执行步骤S24的处理(即步骤S11～S17的处理)也 能够进行对应关联的情况下，可以省略执行该步骤。

例如，在图像中有两个以上人物并且根据检测出的面部及对象部位的坐 标或大小判断为即使不执行步骤S24也能够进行对应关联的情况下，可以不 执行步骤S24而进行对应关联。另外，在图像中只检测出一个面部的情况下 也相同。

这样一来，能够缩短处理时间，并且能够减少姿势输入时使用者的等待 时间。

(第二实施方式)

第二实施方式是一种在图像中存在的多个人物同时摆出姿势的情况下 按照就每个使用者定义的优先级来生成命令的实施方式。第二实施方式的姿 势识别装置的结构除下面说明的部分以外，与第一实施方式相同。

在第二实施方式中，如图2B般，对存储于个人设定存储部102的个人 设定数据追加了优先级。另外，在处理部103判断为同时有两人以上的人物 摆出姿势的情况下，在步骤S26中获取与使用者对应的优先级，不处理优先 级相对较低的使用者所摆出的姿势。例如，在用户ID为“0001”的使用者 和用户ID为“0002”的使用者同时摆出姿势的情况下，对优先级低的、用 户ID为“0002”的使用者摆出的姿势不执行生成命令的处理。

根据第二实施方式，对每位使用者赋予优先级，从而能够防止操作冲突。

此外，优先级的判断也可以仅在例如同时指示调大音量和调小音量等同 时输入相互冲突的内容的情况下进行。

另外，也可以不对使用者赋予优先级，而对命令赋予优先级，从而不生 成优先级低的命令。例如，可以使电源操作优先于音量操作。

(第三实施方式)

第三实施方式是在图像中的面部和对象部位的对应关联失败的情况下 推测摆出姿势的使用者并生成命令的实施方式。第二实施方式的姿势识别装 置的结构除以下说明的部分以外，和第一实施方式相同。

例如，考虑如图8所示地包含在图像中的人物为两人且分别摆出姿势的 情况。虽然检测出的对象部位是两个(附图标记81及83)，但是只检测出 一个面部(附图标记82)，所以，在第一及第二实施方式中，无法针对用附 图标记83表示的对象部位进行对应关联。

因此，在第三实施方式中，当在步骤S24中对应关联失败时，替代步骤 S25，执行下面说明的处理，以推测使用者。

第一种方法是使用过去获取的图像的方法。在使用该方法的情况下，处 理部103将在步骤S21中获取的图像保存一定时间，通过参考已保存的图像 来推测使用者。例如，在检测姿势之前有人物离开屏幕的情况下，能够推测 对应关联失败的对象部位是该人物的对象部位。

第二种方法是使用履历数据的方法。例如，处理部103在步骤S26中生 成命令时生成并保存操作履历，通过参考该操作履历来推测使用者。例如， 如果在当前时间前后存在过去每天都操作设备的使用者，则能够推测对应关 联失败的对象部位是该人物的对象部位。

第三种方法是参考个人设定数据来进行判断的方法。例如，在个人设定 数据中登录的使用者有n人且根据图像检测出的对象部位的数量有n个而检 测出的面部的数量有(n-1)个的情况下，对应关联失败的对象部位可能是已 登录的使用者中面部未被检测出的人物的对象部位。

因此，可以根据在步骤S23中获取的数据，进行面部识别来进行确认。 即，在已登录的使用者中只有一人面部识别失败的情况下，能够推测对应关 联失败的对象部位是该人物的对象部位。

除上面说明的方法外，在能够从外部获取用于推测使用者的信息的情况 下，可以使用该信息推测使用者。例如，在能够获取每个使用者的电视机的 视听履历的情况下，可以使用该视听履历来推测使用者。

此外，在使用者的推测失败的情况下，与第一实施方式相同地，可以生 成默认的命令，也可以不生成命令。另外，在推测使用者时，可以将表示进 行推测的意思的信号发送给控制对象设备200。由此，能够将已推测使用者 这一主旨通知给该使用者。

(变形例)

此外，各实施方式的说明是说明本发明的示例，本发明能够在不脱离发 明主旨的范围内进行适当改变或组合来实施。

例如，虽然在实施方式的说明中，将姿势识别装置100做成嵌入到控制 对象设备200中的装置，但是，姿势识别装置100也可以是独立的装置。

另外，姿势识别装置100也可以作为在控制对象设备200上运行的程序 来进行安装。在作为程序安装的情况下，存储器中存储的程序可以由处理器 来执行，也可以由FPGA(Field Programmable Gate Array：现场可编程门阵 列)、ASIC(Application Specific Integrated Circuit：专用集成电路)等来执 行。

另外，在实施方式的说明中，举出了通过摄像头来获取图像的例子，但 是，只要能够获取姿势并识别使用者的面部，也可以通过例示方法之外的方 法来获取图像，例如，经由网络接收图像等。

另外，就处理部103所使用的人体模型而言，只要是表示人体形状的数 据，可以是如例示那样以数学方式表示面部、肩部、肘部、手腕等位置关系 的数据，也可以是骨格模型等。另外，也可以是用于进行模板匹配的图像数 据等。