用基于深度的跟踪来生成和更新数据库的自学习面部识别

摘要

本发明涉及一种用基于深度的跟踪来生成和更新数据库的自学习面部识别。提出了如下面部识别训练数据库生成技术实施例：其一般涉及收集随着时间推移并且随着人移动通过环境而捕获的该人的面部的特性表征，以创建该人的面部特性表征的训练数据库。当随着时间推移捕获面部特性表征时，面部特性表征将表示从不同角度和距离、不同分辨率、以及在不同环境状况(例如，照明和模糊状况)下观看的人面部。此外，在周期性地收集人的面部特性表征的较长时段内，这些特性表征可以表示人的外貌的演变。这产生了用于面部识别系统的丰富训练资源。另外，由于人面部识别训练数据库可以在面部识别系统需要它之前被建立，因此一旦数据库被采用，则训练将较快。

说明书

背景技术

已经研究了许多年根据图像中描绘的人的面部的外貌来识别这些人 的问题。面部识别系统和处理本质上通过将人面部的某种类型的模型与从 输入图像中提取的人面部的图像或特性表征进行比较来工作。通常通过使 用人面部的图像(或其特性表征)训练面部识别系统来获得这些面部模型。 因此，通常需要训练面部图像或特性表征的数据库来训练面部识别系统。

发明内容

这里描述的面部识别训练数据库生成技术实施例一般涉及收集随着 时间推移并且随着人移动通过环境而捕获的人面部的特性表征，以创建该 人的面部特性表征的训练数据库。在一个实施例中，采用计算机实现处理 来为在环境中检测到的每个人生成面部识别训练数据库。处理开始于输入 同时捕获的帧对的序列。每个帧对包括从彩色摄像机输出的帧和从深度摄 像机输出的帧。接下来，使用面部检测方法和彩色摄像机帧来检测环境中 潜在的人。另外，使用运动检测方法和深度摄像机帧来检测环境中潜在的 人。

使用经由前述面部检测方法和运动检测方法生成的检测结果来确定 环境中一个或多个人的位置。经由面部检测方法生成的检测结果还包括针 对所检测到的每个潜在的人的、描绘该人的面部的彩色摄像机帧的部分的 面部特性表征。对于仅经由运动检测方法检测到的每个人，处理还包括辨 别该人在彩色摄像机的同时捕获的帧中的相应位置以及生成彩色摄像机 帧的该部分的面部特性表征。

对于在环境中检测到的每个人，将为该人生成的每个面部特性表征分 配给专门为该人建立的未知个人标识符，并且将该面部特性表征存储在与 用来实现处理的计算机相关联的存储器中。然后尝试确认每个人的身份。 如果对于人的尝试成功，则将被分配给为该人建立的未知个人标识符的每 个面部特性表征重分配给为该人建立的面部识别训练数据库。

应该注意，提供上述发明内容来以简化形式介绍概念选集，下面在具 体实施方式中进一步描述该概念选集。本发明内容不意图确定所要求保护 的主题内容的关键特征或本质特征，其也不意图用作辅助确定所要求保护 的主题内容的范围。

附图说明

本公开的具体特征、方面以及优点将关于以下描述、所附权利要求以 及附图而变得更好理解，其中，在附图中：

图1A-1B是一般性地概述如下计算机实现处理的一个实施例的流程 图：该计算机实现处理用于为在环境中检测到的每个人生成面部识别训练 数据库。

图2A-2E是一般性地概述如下计算机实现处理的一个实施例的流程 图：该计算机实现处理用于基于同时捕获的帧对的新序列，为在环境中检 测到的每个人生成或补充面部识别训练数据库。

图3是概述如下计算机实现处理的一个实施例的流程图：该计算机实 现处理用于每当多于尝试辨别人的规定尝试次数仍未辨别该人时，丢弃被 分配给未知个人标识符的面部特性表征。

图4是概述如下计算机实现处理的一个实施例的流程图：该计算机实 现处理用于捕获位于环境中距彩色摄像机超过规定最大距离的距离处的 人的放大图像。

图5A-5C是一般性地概述如下计算机实现处理的一个实施例的流程 图：该计算机实现处理用于基于由从不同视点捕获场景的另外的彩色摄像 机和深度摄像机对输出的同时捕获的帧对的序列，为在环境中检测到的每 个人生成或补充面部识别训练数据库。

图6A-6F是一般性地概述如下计算机实现处理的一个实施例的流程 图：该计算机实现处理用于基于由捕获环境内的不同场景的另外的彩色摄 像机和深度摄像机对输出的同时捕获的帧对的序列，为在环境中检测到的 每个人生成或补充面部识别训练数据库。

图7A-7D是一般性地概述用于这里描述的面部识别训练数据库生成 技术实施例的计算机实现运动检测处理的一个实施例的流程图。

图8是在其中可以实现这里描述的面部识别训练数据库生成技术实 施例的适当移动机器人装置的简化部件图。

图9是描绘构成用于实现这里描述的面部识别训练数据库生成技术 实施例的示例性系统的通用计算装置的图。

具体实施方式

在面部识别训练数据库生成技术实施例的以下描述中，参照构成该描 述的一部分的附图，并且在附图中作为例示示出了可实践本技术的特定实 施例。要理解的是，可以利用其他实施例并且可以在不脱离本技术的范围 的情况下进行结构改变。

还要注意的是，特定术语将用于描述本发明以用于清楚目的，并且其 不意图将本发明限制于所选择的特定术语。此外，还要理解的是，每个特 定术语包括以宽泛类似的方式工作以实现类似目的的其全部技术等价物。 这里对“一个实施例”或“实施例”的引用意味着结合实施例描述的特定 特征、结构、或特性可以包括在本发明的至少一个实施例中。说明书中各 个地方出现的短语“在一个实施例中”不一定全部指同一实施例，也不是 与其他实施例相互排斥的独立或替选实施例。此外，表示本发明的一个或 多个实施例的处理流程的顺序不固有地指示任意特定顺序或暗示本发明 的任何限制。

1.0用于面部识别系统的训练数据库生成

这里描述的面部识别训练数据库生成技术实施例一般涉及收集随着 时间推移并且随着人移动通过环境而捕获的该人的面部的特性表征，以创 建该人的面部特性表征的训练数据库。当随着时间推移捕获面部特性表征 时，面部特性表征将表示从不同角度和距离、不同分辨率、以及在不同环 境状况(例如，照明和模糊状况)下观看的人面部。此外，在周期性地收 集人的面部特性表征的较长时段内，这些特性表征可以表示人的外貌的演 变。例如，人可能体重增加或体重减少；长出或去除面部毛发；改变发型； 戴不同帽子等等。因此，可以甚至在训练开始之前建立并填充所得到的训 练数据库，并且随时间推移对该训练数据库进行添加以捕获人的面部姿态 和外貌的上述变化。这产生用于面部识别系统的丰富训练资源。另外，由 于人面部识别训练数据库可以在面部识别系统需要它之前被建立，因此一 旦数据库被采用，则训练将较快。此外，这里描述的面部识别训练数据库 生成技术实施例可以为在环境中找到的多个人生成训练数据库。另外，可 以以增加的面部变化更新现有数据库。这允许逐渐地捕获人面部变化，从 而足以允许即使在人的特征在一时段内大大改变时也能识别该人。例如， 如果人正长出胡须，则他们的面部特征将缓慢变化。然而，由于每天变化 足够小，因此具有部分胡须的新面部可以被添加到数据库。这样，当人的 胡须完全长出时，即使没有使用该面部进行手动训练，他也依然可以被识 别。同样原理适用于由于年龄、体重等而导致的任何逐渐变化。

要注意的是，如贯穿本公开使用的术语“环境”应该被宽泛地解释为 人的任意外部周围。这包括室内设置、室外设置、或这两者的组合。

1.1用于生成面部识别训练数据库的处理

参照图1A-1B，呈现了用于为被检测为位于环境中的每个人生成面部 识别训练数据库的计算机实现处理的一个实施例。处理开始于输入同时捕 获的帧对的序列(处理动作100)。每个帧对包括从彩色摄像机输出的帧 和从深度摄像机输出的帧。摄像机被同步为使得每个摄像机同时捕获场景 的图像。因此，每次捕获场景时，产生同时的一对彩色帧和深度帧。接下 来，使用面部检测方法和彩色摄像机帧来检测环境中潜在的人(处理动作 102)。要注意的是，可以采取采用彩色视频帧的任何适当面部检测方法来 完成前述任务。另外，使用运动检测方法和深度摄像机帧来检测环境中潜 在的人(处理动作104)。要注意的是，可以采取采用深度视频帧的任何 适当运动检测方法来完成前述任务。在一个实现(如图1A所示)中，几 乎同时完成处理动作102和104。

使用经由前述面部检测方法和运动检测方法生成的检测结果来确定 环境中一个或多个人的位置(处理动作106)。经由面部检测方法生成的 检测结果还包括针对所检测到的每个潜在的人的、描绘该人的面部的彩色 摄像机帧的部分的面部特性表征。面部特性表征的类型特定于所采用的特 定面部检测方法，并且与将使用所生成的训练数据库的前述面部识别系统 兼容。接下来辨别仅经由运动检测方法检测到的每个人(处理动作108)， 并且在彩色摄像机的同时捕获的帧中查找每个所辨别的人的相应位置(处 理动作110)。另外，为每个所辨别的人生成彩色摄像机帧的该部分的面 部特性表征(处理动作112)。

处理继续到选择在环境中检测到的人中的先前未选择的人(处理动作 114)。将为所选人生成的每个面部特性表征分配给专门为该人建立的未知 个人标识符(处理动作116)，并且将该面部特性表征存储在与用来实现 处理的计算机相关联的存储器中(处理动作118)。前述计算机可以例如 是在本公开的示例性操作环境部分中描述的计算机之一。

要指出的是，到过程中的该点，已将面部特性表征分配给未知个人标 识符。以此方式，即使所检测到的人的身份仍未知，面部特性表征也正被 创建和保存。因此，如果最终建立所检测到的人的身份，则所保存的面部 特性表征可以被重分配给为该人建立的面部识别训练数据库。为此，处理 继续到尝试确认人的身份(处理动作120)。使用任意适当的传统方法(包 括邀请未知的人与计算机交互以提供辨别信息)来完成该辨别动作。接下 来确定尝试是否成功(处理动作122)。如果尝试成功，则将被分配给为 所选人建立的未知个人标识符的每个面部特性表征重分配给为该人建立 的面部识别训练数据库(处理动作124)。与处理动作120的尝试是否成 功无关，接下来确定是否已选择所有所检测到的人(处理动作126)。如 果不是，则重复处理动作114到126，直到已选择并考虑了所有所检测到 的人为止。在该点处理结束。

1.2相继捕获的帧对序列

为了防止在相继捕获的帧对的序列中检测到的人与新的未知个人标 识符相关联的情形，即使这样的标识符先前被发布给该同一人，也跟踪前 述处理中检测到的每个人的位置。可以采用任何适当的传统跟踪方法用于 此目的。因此，在分析未来的帧对序列时，将已知所检测到的人先前被检 测到并且与未知个人指示符或面部识别训练数据库相关联。以此方式，为 人创建的面部特性表征可以被分配给适当的集合，并且不需要建立新的未 知个人标识符。

在给定前述的情况下，关于将如何处理在相继捕获的帧对序列中检测 到的人存在多种可能性。例如，如果所检测到的人先前被检测到并且已被 跟踪，则根据新序列创建的任何面部特性表征将在先前未辨别该人的情况 下被分配给该人的现有未知个人标识符，或者在该人先前已被辨别的情况 下被分配给该人的面部识别训练数据库。另一方面，如果所检测到的人对 于场景是新的，则未知个人标识符将被创建并且被分配给所产生的面部特 性表征。另外，每当面部特性表征被分配给未知个人指示符(无论现有的 还是新的个人指示符)时，都将尝试辨别人。

更具体地，参照图2A-2E，在一个实施例中，当同时捕获的帧对的新 序列变得可用时，输入该新序列(处理动作200)。然后，使用新的帧对 序列来执行图1中的处理动作102到112。

处理然后继续到选择使用新的帧对序列而在环境中检测到的人之一 (处理动作202)。然后，确定所选人是否对应于先前使用新序列之前的 同时捕获的帧对的序列确定了其位置的人(处理动作204)。如先前所指 示的，在一个实施例中，这通过随着时间推移跟踪先前所检测到的人的位 置来完成。如果确定人对应于这样先前检测到的人，则接下来确定先前是 否确认了该人的身份(处理动作206)。如果先前确认了该人的身份，则 选择根据同时捕获的帧对的新序列为该人生成的面部特性表征中的先前 未选择的面部特性表征(处理动作208)。要注意的是，如先前所述的那 样生成面部特性表征。确定所选面部特性表征是否与被分配给为该人建立 的面部识别训练数据库的每个面部特性表征相差规定程度(处理动作 210)。如果相差规定程度，则将所选面部特性表征分配给为所选人建立的 面部识别训练数据库(处理动作212)，并且将所选面部特性表征存储在 与计算机相关联的存储器中(处理动作214)。否则，丢弃所选面部特性 表征(处理动作216)。在任何情形下，然后确定是否已选择了根据新帧 对序列为所选人创建的所有面部特性表征(处理动作218)。如果不是， 则重复处理动作208到218，直到已选择并考虑了所有面部特性表征为止。

然而，如果在处理动作206中确定先前未确认所选人的身份，则选择 根据同时捕获的帧对的新序列为该人生成的面部特性表征中的先前未选 择的面部特性表征(处理动作220)。然后确定所选面部特性表征是否与 被分配给为该人建立的未知个人标识符的每个面部特性表征相差规定程 度(处理动作222)。如果相差规定程度，则将所选面部特性表征分配给 为所选人建立的未知个人标识符(处理动作224)，并且将所选面部特性 表征存储在与计算机相关联的存储器中(处理动作226)。否则，丢弃所 选面部特性表征(处理动作228)。在任何情形下，然后确定是否已选择 了根据新帧对序列为所选人创建的所有面部特性表征(处理动作230)。 如果不是，则重复处理动作220到230，直到已选择并考虑了所有面部特 性表征为止。处理然后继续到尝试确认人的身份(处理动作232)。如之 前，使用任意适当的传统方法(包括邀请未知人与计算机交互以提供辨别 信息)来完成辨别动作。接下来确定尝试是否成功(处理动作234)。如 果尝试成功，则将被分配给为所选人建立的未知个人标识符的每个面部特 性表征重分配给为该人建立的面部识别训练数据库(处理动作236)。

还存在如下可能性：所选人对于环境是新的或者在过去未被检测到。 为此，如果在处理动作204中确定所选人不对应于先前使用所述新序列之 前的同时捕获的帧对的序列确定了其位置的人，则将为所选人生成的每个 面部特性表征分配给专门为该人建立的未知个人标识符(处理动作238)， 并且将该面部特性表征存储在与用来实现处理的计算机相关联的存储器 中(处理动作240)。接下来，尝试确认人的身份(处理动作242)。然后 确定尝试是否成功(处理动作244)。如果尝试成功，则将被分配给为所 选人建立的未知个人标识符的每个面部特性表征重分配给为该人建立的 面部识别训练数据库(处理动作246)。

一旦如上概述地考虑了当前所选人，则确定是否已选择了使用新帧对 序列在环境中检测到的所有人(处理动作248)。如果不是，则重复处理 动作202到248，直到已选择并考虑了所有检测到的人为止。此时，处理 的当前迭代结束。然而，可以在下一次同时捕获的帧对的新序列变得可用 时，重复该处理。

面部识别方法在根据人面部的图像辨别该人时，通常使用诸如先前描 述的面部特性表征。关于用于尝试确认人的身份的前述处理动作，要注意 的是，可以在尝试中采用为该人生成并被分配给该人的未知个人标识符的 面部特性表征。

1.2.1不可辨别的人

在前述处理中还存在如下可能性：将无法辨别所检测到的人。为了节 约存储器空间，在如图3概述的一个实施例中，如果在处理动作122、234 或244中的任意一个中确定未确认所选人的身份，则记录在未确认该人的 身份的情况下、同时捕获的帧对的序列已被输入和处理的次数(处理动作 300)。然后，确定所记录的数目是否超过规定最大数目(例如，100)(处 理动作302)。如果不超过，则按原样继续以上概述的处理，并且该存储 器节约过程结束。然而，如果所记录的数目超过规定最大数目，则从计算 机的存储器删除被分配给为所选人建立的未知个人标识符的每个面部特 性表征(处理动作304)。

1.2.2变焦方案

要注意的是，可以与这里描述的面部识别训练数据库生成技术实施例 相结合采用的许多面部识别方法经常将不能识别在环境中检测到、但却位 于距摄像机较远距离处的人。虽然未必如此，但是当仅经由运动检测方法 检测人时可能发生前述情形。可以使用变焦方案处理这种情形。在将为人 生成的每个面部特性表征分配给为该人建立的未知个人标识符之前完成 该变焦方案。更具体地，参照图4，在一个实施例中，选择被检测(通过 任意前述方法)为存在于环境中的先前未选择的人(处理动作400)。然 后确定所选人是否在环境中位于距彩色摄像机超过规定最大距离(例如3 米)的距离处(处理动作402)。如果是，则将所选人的位置提供给控制 具有变焦能力的彩色摄像机的控制器(处理动作404)。控制器使得彩色 摄像机以与从彩色摄像机到人的距离成比例的程度对所选人的面部进行 放大，然后捕获人面部的变焦图像。要注意的是，该彩色摄像机可以是前 述彩色摄像机或被放置用以捕获环境的图像的独立摄像机。计算变焦的程 度使得在给定从摄像机到所选人的距离的情况下，得到的图像将以有助于 面部识别的分辨率描绘人面部。然后输入变焦图像(处理动作406)，并 且生成描绘该人面部的变焦图像的部分的面部特性表征(处理动作408)。 然后将该面部特性表征连同为所选人生成的所有其他面部特性表征一起 分配给为该人建立的未知个人标识符。

1.3另外的彩色摄像机和深度摄像机

这里描述的面部识别训练数据库生成技术实施例工作的环境可以相 当大。这样，在一个实施例中，采用一对以上的彩色摄像机和深度摄像机 以覆盖环境。假设在环境中可用一对以上的摄像机，它们可被配置成捕获 同一场景但是从不同视点(point of view)进行捕获。该情形允许在相同时 段中为由不同对的摄像机检测到的同一人或者为一对摄像机无法“看到” 其他对摄像机可“看到”的人时的不同人生成更多的面部特性表征。在这 方面，有利的是，每对摄像机知道在场景中人的位置，使得可以容易地确 定人是使用其他摄像机对检测到的同一人还是不同的人。在一个实施例 中，这通过将摄像机对配置为基本上同时捕获帧对来完成。以该方式，如 果是同一人，则由一对摄像机计算出的人的位置将与由其他对摄像机计算 出的人的位置匹配，并且如果是不同的人，则不匹配。

1.3.1捕获同一场景但是从不同视点进行捕获

更具体地，参照图5A-5C，对于从不同视点捕获场景的每个另外的彩 色摄像机和深度摄像机对，输入同时捕获的帧对的另外的序列(处理动作 500)。接下来，使用面部检测方法和由另外的摄像机对的彩色摄像机输出 的彩色摄像机帧来检测环境中潜在的人(处理动作502)。另外，使用运 动检测方法和由另外的摄像机对的深度摄像机输出的深度摄像机帧来检 测环境中潜在的人(处理动作504)。使用经由前述面部检测方法和运动 检测方法生成的检测结果来确定环境中的一个或多个人的位置(处理动作 506)。经由面部检测方法生成的检测结果还包括针对检测到的每个潜在的 人、描绘该人的面部的彩色摄像机帧的部分的面部特性表征。

接下来辨别仅经由运动检测方法检测到的每个人(处理动作508)， 并且在另外的摄像机对的彩色摄像机的同时捕获的帧中查找每个所辨别 的人的相应位置(处理动作510)。另外，为每个所辨别的人生成彩色摄 像机帧的该部分的面部特性表征(处理动作512)。

处理继续到选择基于从另外的彩色摄像机和深度摄像机对输出的帧 对而在环境中检测到的人中的先前未选择的人(处理动作514)。然后， 基于所辨别的人的位置，确定是否也已使用其他彩色摄像机和深度摄像机 对检测到该人(处理动作516)。如果是，则基于使用其他彩色摄像机和 深度摄像机对而对人的检测，将基于从另外的彩色摄像机和深度摄像机对 输出的帧对而为所选人生成的每个面部特性表征分配给为该人建立的未 知个人标识符(处理动作518)。否则，将基于从另外的彩色摄像机和深 度摄像机对输出的帧对而为所选人生成的每个面部特性表征分配给为该 人建立的未知个人标识符(处理动作520)。在任一情况下，将基于从另 外的彩色摄像机和深度摄像机对输出的帧对而为所选人生成的每个面部 特性表征存储在与计算机相关联的存储器中(处理动作522)。另外，还 尝试确认人的身份(处理动作524)。然后确定尝试是否成功(处理动作 526)。如果尝试成功，则将被分配给为所选人建立的未知个人标识符的每 个面部特性表征重分配给为该人建立的面部识别训练数据库(处理动作 528)。不管处理动作526的尝试是否成功，接下来确定是否已选择了所有 检测到的人(处理动作530)。如果不是，则重复处理动作514到530，直 到已选择并考虑了所有检测到的人为止。在该点处理结束，但是每当从另 外的彩色摄像机和深度摄像机对输入同时捕获的帧对的新序列时可重复 该处理。

1.3.2捕获不同场景

还可假设在环境中可用一对以上的摄像机，摄像机对可被配置成捕获 不同场景。在一对摄像装置无法覆盖整个环境的情形中该配置是有用的。 鉴于此，可以跟踪在一对摄像机覆盖的一个场景中检测到的人，并且如果 该人移动到其他摄像机对覆盖的环境部分中，则当人离开一个场景到其他 场景时他们的位置知识可用来确认在新场景中检测到的人是先前场景检 测到的同一人。另外，如果可行，则可以采用面部识别方法或辨别人的一 些其他方法来确认在新场景中检测到的人是否是在先前场景中检测到的 同一人。这有利于将为新环境部分中的人生成的面部特性表征分配给正确 的未知个人标识符(或者如果先前辨别了该人，则分配给正确的面部识别 训练数据库)。

更具体地，参照图6A-6F，在给定捕获环境内的不同场景的另外的彩 色摄像机和深度摄像机对的情况下，输入同时捕获的帧对的另外的序列 (处理动作600)。接下来，使用面部检测方法和由另外的摄像机对的彩 色摄像机输出的彩色摄像机帧来检测环境中潜在的人(处理动作602)。 另外，使用运动检测方法和由另外的摄像机对的深度摄像机输出的深度摄 像机帧来检测环境中潜在的人(处理动作604)。使用经由前述面部检测 方法和运动检测方法生成的检测结果来确定环境中的一个或多个人的位 置(处理动作606)。经由面部检测方法生成的检测结果还包括针对每个 检测到的潜在的人、描绘该人的面部的彩色摄像机帧的部分的面部特性表 征。

接下来辨别仅经由运动检测方法检测到的每个人(处理动作608)， 并且在另外的摄像机对的彩色摄像机的同时捕获的帧中查找每个所辨别 的人的相应位置(处理动作610)。另外，为每个所辨别的人生成彩色摄 像机帧的该部分的面部特性表征(处理动作612)。

处理继续到选择基于从另外的彩色摄像机和深度摄像机对输出的帧 对而在环境中检测到的人中的先前未选择的人(处理动作614)。然后， 确定先前是否使用其他彩色摄像机和深度摄像机对在环境中的其他场景 中检测到所选人(处理动作616)。如先前所指示，这可以基于当人离开 一个场景到其他场景时对他们的位置的跟踪、面部识别方法、或辨别人的 一些其他方法。如果先前在其他场景中检测到所选人，则进一步确定先前 是否确认了所选人的身份(处理动作618)。如果先前未辨别所选人，则 选择根据同时捕获的帧对的另外的序列生成的面部特性表征中的先前未 选择的面部特性表征(处理动作620)，并且确定所选面部特性表征是否 与被分配给先前为所选人建立的未知个人标识符的每个面部特性表征相 差规定程度(处理动作622)。如果是，则将所选面部特性表征分配给先 前为该人建立的未知个人标识符(处理动作624)，并且将所选面部特性 表征存储在与计算机相关联的存储器中(处理动作626)。否则丢弃所选 面部特性表征(处理动作628)。然后，确定是否已选择了根据同时捕获 的帧对的另外的序列生成的所有面部特性表征(处理动作630)。如果不 是，则重复处理动作620到630，直到已选择并考虑了所有面部特性表征 为止。接下来，尝试确认所选人的身份(处理动作632)。然后确定尝试 是否成功(处理动作634)。如果尝试成功，则将被分配给为所选人建立 的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识别 训练数据库(处理动作636)。

然而，如果在处理动作618中确定先前辨别了所选人，则选择根据同 时捕获的帧对的另外的序列生成的面部特性表征中的先前未选择的面部 特性表征(处理动作638)，并且确定所选面部特性表征是否与被分配给 先前为所选人建立的面部识别训练数据库的每个面部特性表征相差规定 程度(处理动作640)。如果是，则将所选面部特性表征分配给为该人建 立的面部识别训练数据库(处理动作642)，并且将所选面部特性表征存 储在与计算机相关联的存储器中(处理动作644)。否则丢弃所选面部特 性表征(处理动作646)。然后确定是否已选择了根据同时捕获的帧对的 另外的序列生成的所有面部特性表征(处理动作648)。如果不是，则重 复处理动作638到648，直到已选择并考虑了所有面部特性表征为止。

然而，如果在处理动作616中确定先前未在环境中的其他场景中检测 到所选人，则处理继续到将基于从另外的彩色摄像机和另外的深度摄像机 输出的帧对而为所选人生成的每个面部特性表征分配给为该人新建立的 未知个人标识符(处理动作650)。将这些面部特性表征中的每个面部特 性表征也存储在与计算机相关联的存储器中(处理动作652)。然后尝试 确认所选人的身份(处理动作654)。然后确定尝试是否成功(处理动作 656)。如果确认了所选人的身份，则将被分配给为该人建立的未知个人标 识符的每个面部特性表征重分配给为该人建立的面部识别训练数据库(处 理动作658)。

一旦如上所述已考虑了所选人，则确定是否已选择了所有检测到的人 (处理动作660)。如果不是，则重复处理动作614到660，直到已选择并 且考虑了所有检测到的人为止。在该点处理结束，但是每当从另外的彩色 摄像机和深度摄像机对输入同时捕获的帧对的新序列时可以重复该处理。

1.4运动检测

尽管可以采取任意运动检测方法用于这里描述的面部识别训练数据 库生成技术实施例，但是在一个实施例中采用了以下方法。一般，该方法 利用从深度摄像机帧提取的深度数据中的短期变化来检测环境中潜在的 人。

更具体地，参照图7A-7D，在一个实施例中，运动检测处理首先涉及 将第一深度摄像机帧中的所有像素指定为背景像素(处理动作700)。然 后，确定新的相继捕获的深度帧是否已变成可用(处理动作702)。如果 不是，则重复处理动作702直到新的帧可用为止。当输入新的深度帧时， 选择深度帧的先前未选择的像素(处理动作704)，并且确定所选像素的 深度值是否已从紧接当前考虑的帧之前而捕获的深度帧中表示环境内的 相同位置的像素的值改变了多于规定量(处理动作706)。如果深度值已 改变了多于规定量，则将所选像素指定为前景像素(处理动作708)。接 下来确定是否存在剩余的、深度帧的任何先前未选择的像素(处理动作 710)。如果存在剩余像素，则重复处理动作704到710。如果不是，则确 定当前考虑的深度帧是否是序列中的最后帧(处理动作712)。如果不是， 则重复处理动作702到712。

然而，如果是最后帧，则在最后帧中的前景像素当中建立种子点，并 且将与该点相关联的像素分配为斑点(blob)的一部分(处理动作714)。 接下来，选择邻近被分配给斑点的像素(其最初仅是种子点像素)的并且 还未被分配给该斑点的先前未选择的像素(处理动作716)。首先确定所 选像素是否被分配给不同斑点(处理动作718)。如果是，则将两个斑点 合并为一个斑点(处理动作720)。接下来，确定是否存在邻近被分配给 合并的斑点的像素的、还未被分配给合并的斑点的任何先前未选择的像素 (处理动作722)。如果是，则选择这些像素中的先前未选择的像素(处 理动作724)，并且重复处理动作718到724。然而，每当在处理动作718 中确定所选像素没有被分配给不同斑点时，确定所选像素的深度值是否在 规定容限内与被分配给斑点的像素的当前平均值相同(处理动作726)。 如果是，则将所选像素分配给斑点(处理动作728)。如果不是，则不采 取动作。然而，在任一情况下，接下来确定是否存在邻近被分配给斑点(合 并的或未合并的)的像素的并且还未分配给该斑点的任何先前未选择的像 素(处理动作730)。如果存在这样的像素，则重复处理动作716到730。 否则，不采取动作。因此，种子点像素周围的像素均被考虑并且导致斑点 被合并或者如果像素具有所需深度值则被分配给斑点，然后考虑扩大的斑 点(合并的或者未合并的)周围的像素，如此类推使得斑点增大。这继续 直到不再能够找到未分配给斑点并且具有在所述规定容限内与被分配给 斑点的像素的当前平均值相同的深度值的邻近像素为止。

接下来，确定是否存在尚未分配给斑点的前景像素(处理动作732)。 如果剩余这样的像素，则在最后帧中未分配的前景像素当中建立种子点， 并且将与该点相关联的像素分配为新斑点的一部分(处理动作734)。然 后重复处理动作716到734，直到没有剩余未分配的前景像素为止。

一旦没有剩余未分配的前景像素(并且因此不能形成新的斑点)，则 选择斑点中的先前未选择的斑点(处理动作736)。然后确定斑点是否满 足指示该斑点表示人的一组规定准则(处理动作738)。如果不是，则移 除斑点(处理动作740)。然而，如果所选斑点满足规定准则，则将该斑 点指定为表示位于环境内的潜在的人(处理动作742)。

要注意的是，用来指示斑点表示人的准则可以是任何传统的一组准 则。另外，准则可以包括斑点是否符合真实空间维度中的正常人体参数。 例如，斑点是否呈现出与人胸部和头部对应的矩形区域。

2.0彩色摄像机和深度摄像机

现在将更加详细地描述这里描述的面部识别训练数据库生成技术实 施例所采用的前述彩色摄像机和深度摄像机。一般，彩色摄像机输出摄像 机捕获的场景的数字彩色图像的连续序列。如在前面描述中一样，这些图 像有时被称为帧或者图像帧。合适的彩色摄像机的示例是传统的RGB摄 像机。深度摄像机输出摄像机捕获的场景的数字深度图像的连续序列。如 在前面描述中一样，这些图像有时在这里被称为帧或者深度帧。深度帧中 的像素值指示深度摄像机和环境中的对象之间的距离。例如，一个合适的 深度摄像机是传统的基于红外的深度摄像机。这种类型的摄像机将已知红 外图案投影到环境，并且基于红外成像仪捕获的图案变形来确定深度。

如先前所述，这里描述的面部识别训练数据库生成技术的实施例可使 用同时捕获的彩色帧和深度帧对之间的像素相关性。换句话说，知道一对 帧中的一个帧中的哪个像素描绘场景中与另一帧中的给定像素所描绘的 位置相同的位置有时是有用的。尽管可以在每次捕获一对同时帧时采用传 统方法来确认该像素相关性，但是在一个实施例中，采用了定义像素坐标 的预先计算的变换。更具体地，如果彩色摄像机和深度摄像机被同步使得 它们以相同方式一起移动，则它们之间的相对变换将不改变。因此，可预 先计算变换并且使用该变换来确定捕获的每对同时帧的像素相关性。

这里描述的面部识别训练数据库生成技术实施例还可采用固定位置 的彩色摄像机和深度摄像机。固定位置意味着摄像机放置在环境内的特定 位置，并且不独立地从该位置移动。当然，这不排除摄像机在环境内被重 新放置。然而，可以预见在工作期间它们保持在同一位置。另外，当固定 位置的摄像机不移动位置时，这不是意味着在该位置时摄像机不能被平 移、倾斜、旋转或变焦。

可替选地，这里描述的面部识别训练数据库生成技术实施例可采用移 动的彩色摄像机和深度摄像机。例如，摄像机可以安装在移动机器人装置 中。合适的移动机器人装置一般可以是呈现下面属性的任何传统移动机器 人装置。首先，参照图8，机器人装置800能够围绕它打算行进的环境移 动。因此，移动机器人装置800包括用于移动装置通过环境的机动部802。 移动机器人装置800还具有传感器，该传感器用于跟踪并且跟随通过适用 环境的人。具体地，这些传感器包括前述彩色摄像机804和深度摄像机 806。彩色摄像机804和深度摄像机806是可改变位置的，使得可以捕获 环境的不同部分。为此，彩色摄像机804和深度摄像机806可安置在移动 机器人装置800的头部808中，头部808通常放置在前述机动部802之上。 通过重定向摄像机本身、或通过移动头部808或这两者，可以改变摄像机 804、806的视点。后者情形的示例是如下配置：在该配置中，头部围绕 垂直轴旋转以提供360度的平移运动，同时摄像机上下枢转以提供倾斜运 动。摄像机还具有变焦特征。

移动机器人装置800还包括控制单元810，该控制单元810以传统方 式控制机动部802来移动机器人装置通过环境；并且控制头部808或摄像 机804、806或者两者的移动以捕获环境内的不同场景。另外，控制单元 810包括计算装置812(诸如在本公开的示例性操作环境部分中描述的那 些计算装置)。该计算装置812包括控制模块，该控制模块负责向机动部 和头部发起移动控制信号，并且负责以先前描述的方式使用彩色摄像机和 深度摄像机捕获的帧来生成面部识别训练数据库。使用传统方法进行机动 部和头部的移动的控制。然而，由面部识别训练数据库生成子模块来处理 后一功能。

要注意的是，在操作中，当移动机器人装置静止并且摄像机不移动时 (例如，没有平移、倾斜、旋转或变焦)，将执行先前结合图7A-7D描述 的运动检测处理。这防止由于摄像机的相对运动而导致的错误肯定。

3.0示例性操作环境

在多种类型的通用或专用计算系统环境或配置内，这里描述的面部识 别训练数据库生成技术实施例是可操作的。图9示出了可在其上实现如这 里所描述的面部识别训练数据库生成技术的各种实施例和要素的通用计 算机系统的简化示例。要注意的是，图9中的折线或虚线表示的任何方框 表示简化计算装置的可替选实施例，并且如下所述的这些可替选实施例的 任何或者全部可与贯穿该文档描述的其他可替选实施例结合使用。

例如，图9显示示出了简化计算装置10的一般性系统图。通常可以 在具有至少一些最小计算能力的装置(包括但不局限于个人计算机、服务 器计算机、手持式计算装置、便携式电脑或移动计算机、诸如蜂窝电话和 PDA(个人数字助理)的通信装置、多处理器系统、基于微处理器的系统、 机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、音 频或视频媒体播放器等)中找到这样的计算装置。

为了使装置实现这里描述的面部识别训练数据库生成技术实施例，装 置应该具有足以能够进行基本计算操作的计算能力和系统存储器。具体 地，如图9所示，计算能力通常由一个或多个处理单元12示出，并且还 可包括一个或多个GPU(图形处理单元)14，处理单元12和GPU14之 一或两者与系统存储器16通信。注意，通用计算装置的处理单元12可以 是诸如DSP(数字信号处理器)、VLIW(超长指令字)或其他微控制器 的专用微处理器、或者可以是具有一个或多个处理核(包括多核CPU中 的专用基于GPU的核)的传统CPU。

另外，图9的简化计算装置还可包括其他部件，例如诸如通信接口 18。图9的简化计算装置还可包括一个或多个传统计算机输入装置20(例 如，指向装置、键盘、音频输入装置、视频输入装置、触觉输入装置、用 于接收有线或无线数据传输的装置等)。图9的简化计算装置还可包括其 他可选部件，例如诸如一个或多个传统显示装置24和其他计算机输出装 置22(例如，音频输出装置、视频输出装置、用于传送有线或无线数据 传输的装置等)。注意，用于通用计算机的典型通信接口18、输入装置20、 输出装置22以及存储装置26是本领域技术人员公知的，将不会在这里详 细描述。

图9的简化计算装置还可包括多种计算机可读介质。计算机可读介质 可以是可由计算机10经由存储装置26访问的任何可用介质，并且包括作 为可拆卸28和/或不可拆卸30的易失性和非易失性介质两者，用于存储 诸如计算机可读或计算机可执行指令、数据结构，程序模块或其他数据的 信息。通过示例的方式而不是限制，计算机可读介质可包括计算机存储介 质和通信介质。计算机存储介质包括但不限于计算机或机器可读介质或存 储装置(诸如DVD(数字多功能光盘)、CD(致密盘)、软盘、磁带驱动 器、硬盘驱动器、光盘驱动器、固态存储器装置、RAM(随机存取存储 器)、ROM(只读存储器)、EEPROM(电可擦除可编程只读存储器)、 闪存或其他存储器技术、盒式磁带、磁带、磁盘存储装置或其它磁存储装 置)或者可以用来存储期望的信息并且可以由一个或多个计算装置访问的 任意其他装置。

诸如计算机可读或计算机可执行指令、数据结构、程序模块等的信息 的保留还可以通过使用各种前述通信介质中的任何一个对一个或多个调 制数据信号或载波进行编码、或者其他传输机制或通信协议来完成，并且 包括任何有线或无线信息传递机制。注意，术语“调制数据信号”或“载 波”一般指的是如下信号：该信号使得以对该信号中的信息进行编码的方 式设置或改变其特性中的一个或更多特性。例如，通信介质包括有线介质 和无线介质，有线介质诸如为载有一个或多个调制数据信号的直接连线连 接或有线网络，无线介质诸如为用于传送和/或接收一个或多个调制数据 信号或载波的声学、RF(射频)、红外、激光以及其他无线介质。以上的 任何组合也应该包括在通信介质的范围内。

此外，实施这里描述的各种面部识别训练数据库生成技术实施例或其 部分的部分或全部的软件、程序、和/或计算机程序产品可以以计算机可 执行指令或其他数据结构的形式而从计算机或机器可读介质或存储装置 以及通信介质的任意期望组合被存储、接收、传送或者读取。

最后，可在由计算装置执行的诸如程序模块的计算机可执行指令的一 般上下文中进一步描述这里描述的面部识别训练数据库生成技术实施例。 通常，程序模块包括执行具体任务或实现具体抽象数据类型的例行程序、 程序、对象、部件、数据结构等。这里描述的实施例也可以在分布式计算 环境中实践，在分布式计算环境中，任务由一个或多个远程处理装置执行、 或在通过一个或多个通信网络链接的一个或多个装置的“云”内执行。在 分布式计算环境中，程序模块可位于包括媒体存储装置的本地计算机存储 介质和远程计算机存储介质中。此外，前述指令可部分或者全部被实现为 硬件逻辑电路，其可包括或可不包括处理器。

4.0其他实施例

在面部识别训练数据库生成技术实施例的前述描述中，采用了深度摄 像机和使用来自这样的摄像机的深度帧的运动检测方法。然而，还存在可 以仅使用彩色摄像机来检测环境中的人的传统运动检测方法。鉴于此，在 可替选实施例中，移除深度摄像机，并且仅使用彩色摄像机来检测环境中 潜在的人。因此，先前描述的处理将会被修改使得输入从彩色摄像机输出 的帧的序列。然后，结合面部检测方法使用这些图像帧来检测环境中潜在 的人，并且还结合适当的运动检测方法使用这些图像帧来检测环境中潜在 的人。同样地，当如先前所述采用帧的新序列时，这些也仅是从彩色摄像 机输出的帧的新序列。

还要注意，可以以任何期望的组合使用贯穿说明书的任意或所有前述 实施例以形成另外的混合实施例。另外，尽管以特定于结构特征和/或方 法行为的语言描述了主题内容，但是要理解的是，所附权利要求中限定的 主题内容不一定限制于上述特定特征或行为。相反，上述特定特征和行为 被公开作为实现权利要求的示例形式。

根据本公开的实施例，还公开了以下附记：

1.一种用于为被检测为位于环境中的每个人生成面部识别训练 数据库的计算机实现处理，其包括：

使用计算机来执行以下处理动作：

(a)输入同时捕获的帧对的序列，每个帧对包括从彩色摄像 机输出的帧和从深度摄像机输出的帧；

(b)使用面部检测方法和彩色摄像机帧来检测环境中潜在的 人；

(c)使用运动检测方法和深度摄像机帧来检测所述环境中潜 在的人；

(d)使用经由所述面部检测方法和运动检测方法生成的检测 结果来确定所述环境中一个或多个人的位置，经由所述面部检测方法 生成的所述检测结果包括针对所检测到的每个人的、描绘该人的面部 的彩色摄像机帧的部分的面部特性表征；

(e)对于仅经由所述运动检测方法检测到的每个人，

辨别该人在所述彩色摄像机的同时捕获的帧中的相 应位置，

生成描绘该人的面部的彩色摄像机帧的部分的所述 面部特性表征；

(f)对于在所述环境中检测到的每个人，

将为该人生成的每个面部特性表征分配给为该人建 立的未知个人标识符，

将每个所述面部特性表征存储在与所述计算机相关 联的存储器中，

尝试确认该人的身份，以及

每当确认了该人的身份时，将被分配给为该人建立 的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识 别训练数据库。

2.根据附记1所述的处理，还包括：

输入同时捕获的帧对的新序列，每个帧对包括从彩色摄像机输出 的帧和从深度摄像机输出的帧；

重复处理动作(b)到(e)；

对于在所述环境中检测到的并且在所述同时捕获的帧对的新序列 中描绘的每个人，

确定该人是否对应于先前使用所述新序列之前的同时捕获的 帧对的序列确定了其位置的人，

每当确定该人对应于先前使用所述新序列之前的同时捕 获的帧对的序列确定了其位置的人时，确定先前是否确认了该人的身 份，

每当确定先前确认了该人的身份时，对于根据所述 同时捕获的帧对的新序列生成的每个面部特性表征，确定所述面部特 性表征是否与被分配给为该人建立的面部识别训练数据库的每个面部 特性表征相差规定程度，

对于根据所述同时捕获的帧对的新序列生成的 每个面部特性表征，每当确定所述面部特性表征与被分配给为该人建 立的面部识别训练数据库的每个面部特性表征相差规定程度时，将该 面部特性表征分配给为该人建立的面部识别训练数据库，并且将该面 部特性表征存储在与所述计算机相关联的存储器中。

3.根据附记2所述的处理，其中，所述彩色摄像机和深度摄像机 布置在能够围绕所述环境移动的移动机器人装置上，并且其中，从所 述环境内与捕获先前捕获的帧对的视点不同的视点捕获所述同时捕获 的帧对的新序列，通过以下至少之一实现所述新视点：所述移动机器 人装置改变所述彩色摄像机和深度摄像机正指向的方向而不改变在所 述环境内的位置、或者所述移动机器人装置改变在所述环境内的位置。

4.根据附记1所述的处理，还包括：

输入同时捕获的帧对的新序列，每个帧对包括从彩色摄像机输出 的帧和从深度摄像机输出的帧；

重复处理动作(b)到(e)；

对于在所述环境中检测到的并且在所述同时捕获的帧对的新序列 中描绘的每个人，

确定该人是否对应于先前使用所述新序列之前的同时捕获的 帧对的序列确定了其位置的人，

每当确定该人对应于先前使用所述新序列之前的同时捕 获的帧对的序列确定了其位置的人时，确定先前是否确认了该人的身 份，

每当确定先前未确认该人的身份时，对于根据所述 同时捕获的帧对的新序列生成的每个面部特性表征，确定该面部特性 表征是否与被分配给为该人建立的未知个人标识符的每个面部特性表 征相差规定程度，

对于根据所述同时捕获的帧对的新序列生成的 每个面部特性表征，每当确定该面部特性表征与被分配给为该人建立 的未知个人标识符的每个面部特性表征相差规定程度时，

将该面部特性表征分配给为该人建立的 未知个人标识符，并且将该面部特性表征存储在与所述计算机相关联 的存储器中，

尝试确认该人的身份，以及

每当确认了该人的身份时，将被分配给为 该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立 的面部识别训练数据库。

5.根据附记4所述的处理，其中，所述彩色摄像机和深度摄像机 布置在能够围绕所述环境移动的移动机器人装置上，并且其中，从所 述环境内与捕获先前捕获的帧对的视点不同的视点捕获所述同时捕获 的帧对的新序列，通过以下至少之一实现所述新视点：所述移动机器 人装置改变所述彩色摄像机和深度摄像机正指向的方向而不改变在所 述环境内的位置、或者所述移动机器人装置改变在所述环境内的位置。

6.根据附记1所述的处理，还包括：

输入同时捕获的帧对的新序列，每个帧对包括从彩色摄像机输出 的帧和从深度摄像机输出的帧；

重复处理动作(b)到(e)；

对于在所述环境中检测到的并且在所述同时捕获的帧对的新序列 中描绘的每个人，

确定该人是否对应于先前使用所述新序列之前的同时捕获的 帧对的序列确定了其位置的人，

每当确定该人对应于先前使用所述新序列之前的同时捕 获的帧对的序列确定了其位置的人时，确定先前是否确认了该人的身 份，

每当确定先前未确认该人的身份时，确定在未确认 该人的身份的情况下、同时捕获的帧对的序列已被输入并处理的次数， 并且确定所述次数是否超过规定最大数目，

每当确定在未确认该人的身份的情况下、同时 捕获的帧对的序列的已被输入并处理的次数超过所述规定最大数目 时，从所述存储器删除被分配给为该人建立的未知个人标识符的每个 面部特性表征。

7.根据附记1所述的处理，还包括：

输入同时捕获的帧对的新序列，每个帧对包括从彩色摄像机输出 的帧和从深度摄像机输出的帧；

重复处理动作(b)到(e)；

对于在所述环境中检测到的并且在所述同时捕获的帧对的新序列 中描绘的每个人，

确定该人是否对应于先前使用所述新序列之前的同时捕获的 帧对的序列确定了其位置的人，

每当确定该人不对应于先前使用所述新序列之前的同时 捕获的帧对的序列确定了其位置的人时，

将为该人生成的每个面部特性表征分配给为该人建 立的未知个人标识符，

将每个所述面部特性表征存储在与所述计算机相关 联的存储器中，

尝试确认该人的身份，以及

每当确认了该人的身份时，将被分配给为该人建立 的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识 别训练数据库。

8.根据附记7所述的处理，其中，所述彩色摄像机和深度摄像机 布置在能够围绕所述环境移动的移动机器人装置上，并且其中，从所 述环境内与捕获先前捕获的帧对的视点不同的视点捕获所述同时捕获 的帧对的新序列，通过以下至少之一实现所述新视点：所述移动机器 人装置改变所述彩色摄像机和深度摄像机正指向的方向而不改变在所 述环境内的位置、或者所述移动机器人装置改变在所述环境内的位置。

9.根据附记1所述的处理，还包括在执行将为人生成的每个面部 特性表征分配给为该人建立的未知个人标识符的处理动作之前，执行 如下处理动作：

对于在距所述彩色摄像机超过规定最大距离的距离处检测到的每 个人，

将该人的位置提供给控制具有变焦能力的彩色摄像机的控制 器，所述控制器能够基于该人的位置来以与从所述彩色摄像机到该人 的距离成比例的程度对该人的面部进行放大，并且捕获该人的面部的 变焦图像，

输入该人的面部的所述变焦图像，以及

生成描绘该人的面部的变焦图像的部分的所述面部特性表 征。

10.根据附记1所述的处理，其中，尝试确认人的身份的处理动 作包括如下动作：所述动作在尝试确认人的身份时，采用为该人生成 的并被分配给为该人建立的未知个人标识符的面部特性表征。

11.根据附记1所述的处理，还包括如下处理动作：

输入同时捕获的帧对的另外的序列，每个另外的帧对包括从另外 的彩色摄像机输出的帧和从另外的深度摄像机输出的帧，所述另外的 彩色摄像机和深度摄像机捕获所述环境中与其他彩色摄像机和深度摄 像机所捕获的场景相同的场景但是从不同视点进行捕获，并且每个另 外的帧对是与从所述其他彩色摄像机和深度摄像机输出的帧对基本同 时捕获的；

使用面部检测方法和来自所述另外的彩色摄像机的帧来检测环境 中潜在的人；

使用运动检测方法和来自所述另外的深度摄像机的帧来检测所述 环境中潜在的人；

使用经由所述面部检测方法和运动检测方法生成的检测结果来确 定所述环境中一个或多个人的位置，经由所述面部检测方法生成的所 述检测结果包括针对所检测到的每个人的、描绘该人的面部的彩色摄 像机帧的部分的面部特性表征；

对于仅经由所述运动检测方法检测到的每个人，

辨别该人在所述另外的彩色摄像机的同时捕获的帧中的相应 位置，

生成描绘该人的面部的另外彩色摄像机帧的部分的所述面部 特性表征；

对于基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧 对而在所述环境中检测到的每个人，

基于所辨别的该人的位置，确定是否也已使用所述其他彩色 摄像机和深度摄像机检测到该人，

每当确定也已使用所述其他彩色摄像机和深度摄像机检 测到该人时，基于使用所述其他彩色摄像机和深度摄像机对该人的检 测，将基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧对 而为该人生成的每个面部特性表征分配给为该人建立的未知个人标识 符，并且将基于从所述另外的彩色摄像机和另外的深度摄像机输出的 帧对而为该人生成的每个所述面部特性表征存储在与所述计算机相关 联的存储器中，

每当确定尚未也使用所述其他彩色摄像机和深度摄像机 检测到该人时，将基于从所述另外的彩色摄像机和另外的深度摄像机 输出的帧对而为该人生成的每个面部特性表征分配给为该人建立的未 知个人标识符，尝试确认该人的身份，并且每当确认了该人的身份时， 将被分配给为该人建立的未知个人标识符的每个面部特性表征重分配 给为该人建立的面部识别训练数据库。

12.根据附记1所述的处理，还包括如下处理动作：

输入同时捕获的帧对的另外的序列，每个另外的帧对包括从另外 的彩色摄像机输出的帧和从另外的深度摄像机输出的帧，所述另外的 彩色摄像机和深度摄像机捕获所述环境中与其他彩色摄像机和深度摄 像机所捕获的场景不同的场景；

使用面部检测方法和来自所述另外的彩色摄像机的帧来检测环境 中潜在的人；

使用运动检测方法和来自所述另外的深度摄像机的帧来检测所述 环境中潜在的人；

使用经由所述面部检测方法和运动检测方法生成的检测结果来确 定所述环境中一个或多个人的位置，经由所述面部检测方法生成的所 述检测结果包括针对所检测到的每个人的、描绘该人的面部的彩色摄 像机帧的部分的面部特性表征；

对于仅经由所述运动检测方法检测到的每个人，

辨别该人在所述另外的彩色摄像机的同时捕获的帧中的相应 位置，

生成描绘该人的面部的另外彩色摄像机帧的部分的所述面部 特性表征；

对于基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧 对而在所述环境中检测到的每个人，

确定先前是否在所述环境中的不同场景中检测到所检测到的 人，

如果先前在所述环境中的不同场景中检测到该人，则确 定先前是否确认了该人的身份，

每当确定先前未确认该人的身份时，对于根据所述 同时捕获的帧对的另外的序列生成的每个面部特性表征，确定该面部 特性表征是否与被分配给先前为该人建立的未知个人标识符的每个面 部特性表征相差规定程度，

对于根据所述同时捕获的帧对的另外的序列生成的 每个面部特性表征，每当确定该面部特性表征与被分配给先前为该人 建立的未知个人标识符的每个面部特性表征相差规定程度时，将该面 部特性表征分配给先前为该人建立的未知个人标识符，并且将该面部 特性表征存储在与所述计算机相关联的存储器中，

尝试确认该人的身份，以及

每当确认了该人的身份时，将被分配给为该人建立 的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识 别训练数据库，

如果先前未在所述环境中的不同场景中检测到该人，

将基于从所述另外的彩色摄像机和另外的深度摄像 机输出的帧对而为该人生成的每个面部特性表征分配给为该人新建立 的未知个人标识符，

将基于从所述另外的彩色摄像机和另外的深度摄像 机输出的帧对而为该人生成的每个所述面部特性表征存储在与所述计 算机相关联的存储器中，

尝试确认该人的身份，以及

每当确认了该人的身份时，将被分配给为该人建立 的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识 别训练数据库。

13.根据附记1所述的处理，还包括如下处理动作：

输入同时捕获的帧对的另外的序列，每个另外的帧对包括从另外 的彩色摄像机输出的帧和从另外的深度摄像机输出的帧，所述另外的 彩色摄像机和深度摄像机捕获所述环境中与其他彩色摄像机和深度摄 像机所捕获的场景不同的场景；

使用面部检测方法和来自所述另外的彩色摄像机的帧来检测环境 中潜在的人；

使用运动检测方法和来自所述另外的深度摄像机的帧来检测所述 环境中潜在的人；

使用经由所述面部检测方法和运动检测方法生成的检测结果来确 定所述环境中一个或多个人的位置，经由所述面部检测方法生成的所 述检测结果包括针对所检测到的每个人的、描绘该人的面部的彩色摄 像机帧的部分的面部特性表征；

对于仅经由所述运动检测方法检测到的每个人，

辨别该人在所述另外的彩色摄像机的同时捕获的帧中的相应 位置，

生成描绘该人的面部的另外彩色摄像机帧的部分的所述面部 特性表征；

对于基于从所述另外的彩色摄像机和另外的深度摄像机输出的帧 对而在所述环境中检测到的每个人，

确定先前是否在所述环境中的不同场景中检测到所检测到的 人，

如果先前在所述环境中的不同场景中检测到该人，

确定先前是否确认了该人的身份，

每当确定先前确认了该人的身份时，对于根据 所述同时捕获的帧对的另外的序列生成的每个面部特性表征，确定该 面部特性表征是否与被分配给为该人建立的面部识别训练数据库的每 个面部特性表征相差规定程度，

对于根据所述同时捕获的帧对的另外的序 列生成的每个面部特性表征，每当确定该面部特性表征与被分配给为 该人建立的面部识别训练数据库的每个面部特性表征相差规定程度 时，将该面部特性表征分配给为该人建立的面部识别训练数据库，并 且将该面部特性表征存储在与所述计算机相关联的存储器中。

14.根据附记1所述的处理，其中，使用运动检测方法和深度摄 像机帧来检测环境中潜在的人的处理动作包括如下动作：

将第一深度摄像机帧中的所有像素指定为背景像素；

对于以捕获帧的顺序包含在同时捕获的帧对的序列中的相继捕获 的深度帧中的每个帧的每个像素；

辨别该像素的深度值是否已从紧接当前考虑的帧之前所捕获 的深度帧中表示所述环境内的相同位置的像素的值改变了多于规定 量；

每当该像素的深度值改变了多于所述规定量时，将该像素指 定为前景像素；

一旦已处理了同时捕获的帧对的序列中包含的最后帧以辨别其像 素深度值是否已改变了多于所述规定量，

(i)在所述最后帧中的前景像素当中建立种子点，并且将与 所述种子点相关联的像素分配为分离斑点的一部分，

(ii)对于邻近被分配给所述斑点的像素的、还未被分配给该 斑点的每个像素，递归确定其深度值是否在规定容限内与被分配给所 述斑点的像素的当前平均值相同，如果是，则将该邻近像素分配为所 述斑点的一部分，直到不再能够找到未分配给斑点的并且具有在所述 规定容限内与被分配给所述斑点的像素的当前平均值相同的深度值的 邻近像素为止，

(iii)每当在执行递归确定动作(ii)期间找到被分配给不同 斑点的邻近像素时，将两个斑点合并成一个斑点，并且继续递归确定 动作(ii)，以及

(iv)对于未分配的前景像素重复处理动作(i)到(iii)，直 到不再能够形成斑点为止，

一旦不再能够形成斑点，则对于每个斑点，

确定该斑点是否满足指示该斑点表示人的一组规定准则，

移除不满足所述一组规定准则的每个斑点，以及

将每个剩余斑点指定为表示位于所述环境内的不同潜在的 人。

15.一种用于为被检测为位于环境中的每个人生成面部识别训练 数据库的计算机实现处理，其包括：

使用计算机来执行以下处理动作：

(a)输入从彩色摄像机输出的帧的序列；

(b)使用面部检测方法和彩色摄像机帧来检测环境中潜在的 人；

(c)使用运动检测方法和彩色摄像机帧来检测环境中潜在的 人；

(d)使用经由所述面部检测方法和运动检测方法生成的检测 结果来确定所述环境中一个或多个人的位置，经由所述面部检测方法 生成的所述检测结果包括针对所检测到的每个人的、描绘该人的面部 的彩色摄像机帧的部分的面部特性表征；

(e)对于仅经由所述运动检测方法检测到的每个人，

定位描绘该人的面部的彩色摄像机帧的部分，以及

生成描绘该人的面部的彩色摄像机帧的部分的所述 面部特性表征；

(f)对于在所述环境中检测到的每个人，

将为该人生成的每个面部特性表征分配给为该人建 立的未知个人标识符，

将每个所述面部特性表征存储在与所述计算机相关 联的存储器中，

尝试确认该人的身份，以及

每当确认了该人的身份时，将被分配给为该人建立 的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识 别训练数据库。

16.根据附记1所述的处理，还包括：

输入从所述彩色摄像机输出的帧的新序列；

重复处理动作(b)到(e)；

对于在所述环境中检测到的并且在从彩色摄像机输出的所述帧的 新序列中描绘的每个人，

确定该人是否对应于先前使用在所述新序列之前捕获的彩色 摄像机帧的序列确定了其位置的人，

每当确定该人对应于先前确定了其位置的人时，确认先 前是否确认了该人的身份，

每当确认先前确认了该人的身份时，对于根据所述 帧的新序列生成的每个面部特性表征，确定该面部特性表征是否与被 分配给为该人建立的面部识别训练数据库的每个面部特性表征相差规 定程度，

对于根据所述帧的新序列生成的每个面部特性 表征，每当确定该面部特性表征与被分配给为该人建立的面部识别训 练数据库的每个面部特性表征相差规定程度时，将该面部特性表征分 配给为该人建立的面部识别训练数据库，并且将该面部特性表征存储 在与所述计算机相关联的存储器中。

17.根据附记1所述的处理，还包括：

输入从所述彩色摄像机输出的帧的新序列；

重复处理动作(b)到(e)；

对于在所述环境中检测到的并且在从所述彩色摄像机输出的所述 帧的新序列中描绘的每个人，

确定该人是否对应于先前使用在所述新序列之前捕获的彩色 摄像机帧的序列确定了其位置的人，

每当确定该人对应于先前确定了其位置的人时，确定先 前是否确认了该人的身份，

每当确认先前未确认该人的身份时，对于根据所述 帧的新序列生成的每个面部特性表征，确定该面部特性表征是否与被 分配给为该人建立的未知个人标识符的每个面部特性表征相差规定程 度，

对于根据所述帧的新序列生成的每个面部特性 表征，每当确定该面部特性表征与被分配给为该人建立的未知个人标 识符的每个面部特性表征相差规定程度时，

将该面部特性表征分配给为该人建立的未 知个人标识符，并且将该面部特性表征存储在与所述计算机相关联的 存储器中，

尝试确认该人的身份，以及

每当确认了该人的身份时，将被分配给为 该人建立的未知个人标识符的每个面部特性表征重分配给为该人建立 的面部识别训练数据库。

18.根据附记1所述的处理，还包括：

输入从所述彩色摄像机输出的帧的新序列；

重复处理动作(b)到(e)；

对于在所述环境中检测到的并且在从所述彩色摄像机输出的所述 帧的新序列中描绘的每个人，

确定该人是否对应于先前使用在所述新序列之前捕获的彩色 摄像机帧的序列确定了其位置的人，

每当确定该人不对应于先前确定了其位置的人时，

将为该人生成的每个面部特性表征分配给为该人建 立的未知个人标识符，

将每个所述面部特性表征存储在与所述计算机相关 联的存储器中，

尝试确认该人的身份，以及

每当确认了该人的身份时，将被分配给为该人建立 的未知个人标识符的每个面部特性表征重分配给为该人建立的面部识 别训练数据库。

19.一种用于检测位于环境中的人的计算机实现处理，其包括：

使用计算机来执行以下处理动作：

输入从深度摄像机输出的帧序列；

将第一深度摄像机帧中的所有像素指定为背景像素；

对于以捕获帧的顺序的包含在所述帧序列中的相继捕获的深 度帧中的每个帧的每个像素；

辨别该像素的深度值是否已从紧接当前考虑的帧之前所 捕获的深度帧中表示所述环境内的相同位置的像素的值改变了多 于规定量；

每当该像素的深度值改变了多于所述规定量时，将该像素 指定为前景像素；

一旦已处理了所述帧序列中包含的最后帧以辨别其像素深度 值是否已改变了多于所述规定量，

(i)在所述最后帧中的前景像素当中建立种子点，并且将 与所述种子点相关联的像素分配为分离斑点的一部分，

(ii)对于邻近被分配给所述斑点的像素的、还未被分配 给该斑点的每个像素，递归确定其深度值是否在规定容限内与被分 配给所述斑点的像素的当前平均值相同，如果是，则将该邻近像素 分配为所述斑点的一部分，直到不再能够找到未分配给斑点的并且 具有在所述规定容限内与被分配给所述斑点的像素的当前平均值 相同的深度值的邻近像素为止，

(iii)每当在执行递归确定动作(ii)期间找到被分配给 不同斑点的邻近像素时，将两个斑点合并成一个斑点，并且继续递 归确定动作(ii)，以及

(iv)对于未分配的前景像素重复处理动作(i)到(iii)， 直到不再能够形成斑点为止，

一旦不再能够形成斑点，则对于每个斑点，

确定该斑点是否满足指示该斑点表示人的一组规定准则，

移除不满足所述一组规定准则的每个斑点，以及

将每个剩余斑点指定为表示位于所述环境内的不同潜在 的人。

20.根据附记19所述的处理，其中，确定斑点是否满足指示该斑 点表示人的一组规定准则的处理动作包括：确定该斑点的至少一部分 是否呈现出基本长方形形状。