用于捕获物体的运动的方法以及运动捕获系统

摘要

一种用于捕获物体的运动的方法，所述方法包括：将至少一个标记安装在所述物体上；将安装有所述至少一个标记的所述物体带入采集体积中；布置至少两个基于事件的光传感器，使得所述至少两个基于事件的光传感器的相应视场覆盖所述采集体积，其中每个基于事件的光传感器具有像素阵列；依据由像素感测到的来自所述至少一个标记的入射光的变化，从所述至少两个基于事件的光传感器的像素异步地接收事件；以及处理事件以在所述采集体积内定位所述至少一个标记并且捕获所述物体的运动。

说明书

技术领域

本发明涉及一种用于捕获物体的运动的方法以及一种运动捕获系统。

背景技术

机器视觉是包含用于采集、处理、分析和理解图像以供在例如以下广泛类型的应用中使用的方法的领域：安全应用(例如，监控、入侵检测、物体检测、面部辨识等)、环境用途应用(例如，照明控制)、物体检测和跟踪应用、自动检查、过程控制和机器人引导等。因此，机器视觉可以与许多不同系统集成。

在这些上述应用中，运动检测和跟踪可用于检测场景中的移动物体的准确位置，尤其是对于例如视频游戏、电影、体育、电视节目、虚拟现实和增强现实、运动科学工具和模拟器的计算机生成图像(CGI)解决方案。

因此，出于此目的，也称为运动捕获(mo-cap)的定位系统通常用于检测和估计配备有标记的物体的位置。

在本领域中，例如Vicon和OptiTrack的若干商业运动捕获系统使用配备有IR照明的多个基于帧的相机来检测无源逆反射标记。这些相机的曝光设置被配置成使标记在视频流中突出，以便可以轻松地跟踪它们。

这些相机具有通常约120到420fps的固定帧率，这导致两个重要的限制。首先，采集过程会产生大量不必要的数据，这些数据仍必须处理以检测标记，从而导致不必要地使用计算能力且因此限制系统可达到的时延。其次，可以视为物体位置的采样频率的固定帧率会限制系统可以以良好的保真度捕获的动态。

此外，在本领域中，Keskin,M.F等人在他们的以下论文中提出对可见光系统的定位技术的调查：“经由可见光系统的定位(Localization via Visible Light Systems)”，《电气与电子工程师协会会报》，第106期第6卷，第1063至1088页。他们提及来自科学文献的许多文章，描述了从自校准参考LED接收到的信号估计光接收器位置的问题的解决方案(例如，基于信号强度、到达时间、到达角度等)，所述信号可以通过它们的强度调制模式识别。具体来说，这些文档讨论光电检测器或常规成像传感器作为光接收器的使用。上文已经提及常规成像传感器的局限性。光电检测器还具有固定但高得多的数据速率。

本发明的目标是提供一种用于捕获物体的运动的新方法，所述方法适合于以高精度和/或高时间分辨率检测和跟踪物体的姿态和定向，从而以高保真度捕获快速移动。

发明内容

提出一种用于捕获物体的运动的方法。所述方法包括：

将至少一个标记安装在物体上；

将安装有至少一个标记的物体带入采集体积中；

布置至少两个基于事件的光传感器，使得至少两个基于事件的光传感器的相应视场覆盖采集体积，其中每个基于事件的光传感器具有像素阵列；

依据由像素感测到的来自至少一个标记的入射光的变化，从至少两个基于事件的光传感器的像素异步地接收事件；以及

处理事件以在采集体积内定位至少一个标记并且捕获物体的运动。

在实施例中，处理事件可以包括：

基于对所述事件之间的时序重合的检测，确定从至少两个基于事件的光传感器的相应像素接收的事件涉及共同标记；以及

基于相应像素的2D像素坐标确定共同标记的位置，从中接收其间检测到时序重合的事件。

具体来说，可以在时间差小于1毫秒的事件之间检测时序重合。

另外，所述方法可以进一步包括将采集体积中的3D坐标映射到每一个基于事件的光传感器中的2D像素坐标，其中确定共同标记的位置包括获取被映射到相应像素的2D像素坐标的共同标记的3D坐标，从中接收其间检测到时序重合的事件。

在另一实施例中，至少一个标记包括适合于发射光的有源标记。作为实例，有源标记可以以预设的闪烁频率或伪随机闪烁模式发射闪烁光。

或者，至少一个标记包括无源反射器，并且所述方法进一步包括用外部光照射采集体积，使得无源反射器适用于从例如红外光的外部光反射光。

此外，所述至少一个标记可以被配置成发射或反射具有波长特性的光，并且至少两个基于事件的光传感器配备有滤光器以滤出不具有波长特性的光。

在实施例中，至少两个基于事件的光传感器固定到共同刚性结构，例如刚性框架，所述刚性结构可以遵循移动物体的移动路径移动，以防止物体逸出相机的视场。

还提供一种运动捕获系统，其包括：

由采集体积中的物体携载的至少一个标记；

至少两个基于事件的光传感器，其具有覆盖采集体积的相应视场，其中每个基于事件的光传感器具有像素阵列，所述像素阵列被配置成依据由像素感测到的来自至少一个标记的入射光的变化而异步地生成事件；以及

计算装置，其耦合到至少两个基于事件的光传感器以处理事件，以在采集体积内定位至少一个标记并且捕获物体的运动。

上述方法和系统显著地提高定位测量的时延和时间分辨率，允许以微秒和毫米级的精度进行更高保真的移动捕获，同时极大地减少所需的计算能力。这使得根据本发明的运动捕获系统更加灵活并且适合于更多应用，例如增强现实(AR)或虚拟现实(VR)以及用于运动分析、电影和视频游戏的运动捕获。

附图说明

参考附图，将在下文的描述中显现本发明的其它特征和优点，其中：

图1说明根据本发明的系统的总体设置；

图2是适合于实施本发明的基于事件的光传感器的框图；

图3是根据本发明的说明性方法的流程图；

图4a到4f说明检测和跟踪2D坐标中的标记的实例；以及

图5a到5e说明检测和跟踪3D坐标中的标记的另一实例。

具体实施方式

图1说明本发明的运动捕获系统的总体设置。

所述系统包括至少两个基于事件的光传感器51、52，所述基于事件的光传感器可以分别依据基于事件的光传感器观察的场景中的光的变化而生成事件。

在所说明的实施例中，基于事件的光传感器51、52在地面上方的高度h处附接到共同刚性结构，例如刚性框架8，并且它们观察到具有在采集体积1中部分地重叠的视场61、62的场景，所述采集体积适合于包含可以由基于事件的光传感器51、52观察和感测的物体3。具体来说，视场61、62重叠，使得可以同时在两个基于事件的光传感器中观察到物体。换句话说，一旦设置基于事件的光传感器51、52，所述基于事件的光传感器就围绕采集体积的外周布置，其中所述基于事件的光传感器的视场61、62覆盖物体3所在的采集体积1。

物体3可以是人、其它移动物体或其位置、姿势和定向将被检测和跟踪的多个人。物体3携载至少一个标记4。通常，多个标记固定在物体3的表面上。物体3位于采集体积1中，使得可以通过基于事件的光传感器51、52观察和检测标记。

标记4被设计成易于由基于事件的光传感器51、52检测。所述基于事件的光传感器可以发射或反射连续的或变化的光，这些光可以由基于事件的光传感器检测到，所述基于事件的光传感器然后相应地生成事件。

通过此布置，采集体积1中的标记4可以由基于事件的光传感器51、52观察到，所述基于事件的光传感器生成与来自标记4的入射光的变化相对应的事件。

此外，所述系统包含图1中未示出的计算装置，例如台式计算机、笔记本电脑或移动设备，所述计算装置与基于事件的光传感器耦合以接收事件并且用计算机视觉算法处理这些事件以检测和跟踪标记。因此可以采集标记4的位置以及采集体积1中的物体3的运动。

图2示出基于事件的光传感器，所述基于事件的光传感器包括面向场景放置的基于事件的异步视觉传感器10并且通过包括一个或几个透镜的采集光学器件15接收场景的光流，所述采集光学器件依据透镜的光学器件特性提供视场。传感器10放置于采集光学器件15的图像平面中。所述传感器包括组织成像素的矩阵的感测元件(例如，光敏元件)的阵列。对应于像素的每一感测元件依据场景中光的变化产生连续事件信号。

基于事件的光传感器包括处理器12，所述处理器处理源自传感器10的事件信号，即从各种像素异步地接收的事件的序列，且接着形成并输出基于事件的数据。使用与传感器10耦合的专用逻辑电路(ASIC、FPGA、…)或芯片的处理器12的硬件实施方案也是可行的。

具体来说，异步传感器10执行采集以输出信号，所述信号对于每一像素可以呈到达激活阈值Q的一系列时刻t

激活阈值Q可以是固定的，或可以根据明度来调适。例如，所述阈值当被超出时可以与用于生成事件的明度的对数的变化进行比较。或者，可以分别设置不同阈值以增加明度激活以及减少明度激活。

借助于实例，传感器10可以是P.Lichtsteiner等人在“128×128 120dB 15μs时延异步时间对比度视觉传感器(128×128 120dB 15μs Latency Asynchronous TemporalContrast Vision Sensor)”(IEEE固态电路期刊，第43卷、第2期，2008年2月，第566-576页)或专利申请US 2008/0135731 Al中描述的类型的动态视觉传感器(DVS)。视网膜的动力学(动作电位之间的最小持续时间)可以用此类型的DVS来处理。动态行为超出具有真实采样频率的常规摄像机的动态行为。当DVS用作基于事件的传感器10时，关于源自像素的事件的数据包含像素的地址、事件的发生时间和对应于事件的极性的明度属性，例如，如果明度增加则+1，且如果明度减小则-1。

可以在本发明的上下文中有利地使用的异步传感器10的另一实例是异步基于时间的图像传感器(ATIS)，其描述在C.Posch等人的论文“具有无损像素层级视频压缩和时域CDS的QVGA143dB动态范围帧自由PWM图像传感器(A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS)”(IEEE固态电路期刊，第46卷，第1期，2011年1月，第259-275页)中给出。当ATIS用作基于事件的传感器10时，关于源自像素的事件的数据包含像素的地址、事件的发生时间和对应于绝对明度的估计值的明度属性。

标记4可以是无源的，即它们自己不发光。

例如，逆反射反射器例如从外部红外光源反射外部照明光。反射光使基于事件的光传感器生成如上文所提及的事件。

或者，标记4也可以是有源的，即使用电源并发射光，例如可见或近红外光，这可能导致基于事件的光传感器生成事件。

由于基于事件的光传感器具有高时间分辨率，因此与常规的基于帧的相机相比，它们可以使用更多种类的光信号。具体来说，从标记反射或由标记发射的光可能展示特定的时间行为，然后可以出于各种目的对其进行解码。例如，使用具有特定闪烁频率的闪烁LED实现可靠地识别标记，从而更容易区分外观相似的物体或消除对称图案的定向的歧义。

此外，由于基于事件的光传感器根据感测元件从出现在传感器视场中的标记接收的光的变化生成事件，因此可以配置基于事件的光传感器以检测由预先设计的标记专门生成的事件。这可以通过将标记配置为发射或反射具有波长特性的光(例如在某些预设波长范围内)，并向光传感器添加滤光器以从标记中滤出不具有预设波长范围的光来实现。或者，这也可以通过将基于事件的光传感器配置为仅感测由标记引起的强光变化，同时保持快速反应时间来实现。

参考图3，现在我们在下文中讨论用于通过上述运动捕获系统来捕获物体的运动的方法。

在开始(S1)时，上述至少一个标记安装在物体的表面上，例如表演者或运动员的身体上。具有标记的物体位于采集体积中。如上文所论述，标记是有源的或无源的，并且被设计成有助于其通过基于事件的光传感器的检测。每个标记可以固定在物体的任何部分上，并且在人类的情况下，标记通过附接到头/脸、手指、手臂和腿。

同时(S2)，至少两个基于事件的光传感器单独地围绕采集体积的外周布置。基于事件的光传感器可以固定到共同刚性结构，使得基于事件的光传感器之间的相对位置固定。

精确地布置光传感器，并且其视场从不同角度覆盖采集体积。采集体积是可以包含例如表演者或运动员的物体，或在采集体积中移动的其它物体的空间。根据应用定义采集体积的大小和形状，特定布置是立方体，例如房间或球体，其中物体可以自由地移动且将捕获其运动。例如，如果固定基于事件的光传感器的共同刚性结构是可移动结构，则采集体积可以移动。

通过此布置，可以观察到采集体积中的物体并且因此可以响应于来自视场的入射光的变化而由基于事件的传感器上的像素异步地生成事件。在实例中，将两个基于事件的光传感器设置在物体的高度上方，它们的视场向下朝向物体。

另外，任选地，光传感器可以适当地被配置成实现高时间分辨率且滤出不具有某些波长特性的光，这样保证事件仅由相关物体产生，从而将所需的计算能力和时延降至最低。

在基于事件的光传感器的设置期间，还可以校准所述基于事件的光传感器以估计允许将采集体积中的3D坐标映射到任一基于事件的光传感器中的2D像素坐标(即，浮点像素地址)的参数。

出于此目的，作为实例，已知的标记图案，例如闪烁LED的不对称网格跨越采集体积充分地移动并由每个基于事件的光传感器检测到。基于事件的光传感器感知LED、识别闪烁频率，并且将每个2D测量值与3D结构的每一元素相关联。然后，可以将在采集体积的坐标系中表示的3D点映射到它们在任一基于事件的光传感器的像素坐标中的2D投影，从而产生由事件形成的一组2D迹线，如每个传感器中的像素观察到。这些2D迹线与图案的3D维度的知识相结合，然后可以通过经典的光束调整技术估计每个光传感器的姿势和定向。

知道将3D坐标映射到像素坐标的参数，可以反转模型以例如经由经典的三角测量方法从一组对应的2D观察中推断出3D坐标。就此而言，优选地使用更多基于事件的光传感器，由此实现用于后续定位的更高三角测量精度。

然后(S3)，基于事件的光传感器根据来自标记的入射光的变化生成事件。通过立体3D重建处理(S4)在步骤S3处由处理器12接收的事件，以便在3D采集体积中定位标记。

由于由基于事件的光传感器生成的数据与由基于帧的相机生成的数据本质上不同，因此用于检测和跟踪标记的不同方法适用于本发明中的特定算法。这些算法充分利用基于事件的范例和高时间分辨率，以将计算复杂性降低最低。

现在讨论用于检测和跟踪基于事件的数据中的标记的示例性算法。当在基于事件的光传感器前方移动时，标记从基于事件的光传感器的像素连续地触发事件。因此，响应于移动标记的事件在每个基于事件的光传感器中生成并且例如通过全局处理平台或通过本地专用嵌入式系统单独地处理，以便检测和跟踪每个基于事件的光传感器中的标记2D位置。

然后，包含由每个基于事件的光传感器生成的来自相同标记的同时事件的这些事件进行配对或关联，以基于时间和/或几何特性找到它们的对应关系，使得可以检测和跟踪标记的3D位置。

例如，对于有源标记，从每个基于事件的光传感器的相应像素接收的事件将基于来自不同基于事件的光传感器的这些事件之间的时序重合的检测来确定它们是否与共同标记相关。可以在时间差小于1毫秒的事件之间检测时序重合。对于无源标记，经典的几何对极限制可以用于将每个基于事件的光传感器上的事件与共同标记相关联。在配对事件之后，然后处理其对应性以定位标记。

在示例性实例中，布置若干基于事件的光传感器C1、C2…Cn，以响应于标记的移动而检测和跟踪标记。

当标记存在于光传感器的视场中时，光传感器C1在时间t

通常，一组相邻像素检测标记，并且来自每个光传感器中的所述一组像素的相应事件ev(i

基于时间和几何约束使用数据相关性进行这些对应，从而允许系统检测和丢弃伪候选轨迹、验证一致的轨迹并将唯一ID分配给确认的标记。例如，如果来自C1、C2…Cn的事件之间存在时序重合，即如果t

还可以以简单方式处理新的标记。例如，可以由在像素的小邻域中生成的聚类事件处理标记。一旦集群达到预定义的大小和/或显示可以与背景噪声区分开来的运动，就可以创建新的轨迹。或者，在有源标记的情况下，还可以使用特定闪烁频率或每个标记或一部分标记的伪随机闪烁模式来编码唯一ID。基于事件的光传感器的微秒精度允许对每个标记的频率进行解码，这可以用于进一步提高检测的可靠性和/或匹配传感器之间的检测。

现在参考图4a到4f论述检测和跟踪标记的更详细示例性实施方案，图4a到4f示出三个基于事件的光传感器C1、C2和C3在2D坐标中观察和跟踪的标记41，并且其3D位置在2D轨迹的每次更新时进行三角测量。

在开始时，如图4a中所示，当标记41显现在采集体积中时，查看标记41的传感器C1、C2和C3可以单独地生成事件集群。在图4a中，传感器C1和C2查看标记41并且由于遮挡的障碍物O，传感器C3无法查看标记41。因此，首先，仅传感器C1和C2生成对应于标记41的事件集群CL1和CL2。

一旦每个传感器中的事件集群达到预设大小，系统将使用几何约束(例如对极几何)来检查一个传感器中的集群是否对应于一个或多个其它传感器中的另一个集群。另外，还可以进一步检查上述每个传感器中的事件之间的时序重合，以确定它们是否源自一个共同标记。如图4b中所示，由传感器C1和C2产生的集群CL1、CL2确定为彼此对应，即源自相同标记。由于传感器C3中没有生成集群，因此没有集群对应于在传感器C1和C2中生成的集群CL1、CL2。因此，标记41从其可见的传感器C1和C2进行三角测量。

如图4c中所示，当传感器C1中的集群CL1对应于传感器C2的集群CL2时，形成传感器C1和C2中的标记41的2D轨迹。

然后，当标记41在方向A上移动时，可以通过监测在每个传感器中此标记41的最后一个已知2D位置的给定空间邻域内接收到的新事件来维持2D轨迹。例如，接收每个传感器中的新事件集群，所述集群包含传感器C1中的集群CL1'、传感器C2中的集群CL2'，以及传感器C3中的集群CL3(当由于遮挡的障碍物，标记41在传感器C3中不再可见时)。它们可以属于标记41的实际移动或噪声，因此在每个传感器中单独地创建此标记41的候选2D运动。

然后，如图4d中所示，如果由标记41不可见的传感器C3中的集群CL3表示的此候选2D运动在几何和时间约束方面与由标记可见的传感器C1和C2中观察到的集群CL1'和CL2'表示的候选2D运动相对应，则在传感器C3中为所考虑的标记41创建新的2D轨迹，如图4e中所示。例如，这可以用于处理在一个传感器中的所考虑标记的去遮挡。

一旦2D轨迹已经被更新并且被检查为彼此对应，则对由其3D坐标表示的标记41的新3D位置进行三角测量，如图4f中所示。

或者，还可以跟踪3D坐标中的标记并且使用3D坐标来简化在类似硬件设置中跨传感器的2D轨迹的匹配，如图5a至5f中所示，其中在开始时，标记41在传感器C1和C2中可见，并且由于遮挡的障碍物，所述标记在传感器C3中不可见。

3D轨迹可以与图4a到4b中的2D跟踪的上述实例类似地初始化，即在每个传感器中单独地使用事件聚类并在集群具有足够大小和/或具有时序重合时检查它们的对应关系，如图5a到5b中所示。分别在传感器C1和C2中生成集群CL1和CL2，并且检查其对应关系。不同于2D跟踪，在对应关系检查之后，另一三角测量步骤应用于传感器C1和C2中的集群CL1和CL2上。因此，之后标记轨迹被维持在3D坐标中，而不是2D坐标中。

基于过去的3D坐标或位置，如图5c中所示，可以估计标记41的3D速度和加速度，以便预测标记41的预期未来3D位置。

就此而言，所考虑标记41的最后一个已知3D位置以及预测的位置可以在所有传感器中投影，不仅在标记可见的传感器C1和C2中，而且在标记由于障碍物O而不可见的传感器C3中。当标记41可以由传感器C3查看时，如图5c中所示，生成新的事件集群CL3，其靠近或重叠传感器C3中的预测投影。然后，可以监测在投影周围的空间邻域中接收到的新的事件集群CL1'、CL2'、CL3，以识别每个传感器中的候选2D运动，如图5d中所示。

然后可以使用鲁棒优化算法来估计新的3D位置，以最好地解释观察到的2D运动并同时检测伪2D运动候选，如图5e中所示。

有利地，使用基于事件的光传感器代替基于帧的相机对系统的时间分辨率具有直接影响。通过上述布置，立体3D重建已被示为在约1kHz下运行，与现有的商业运动捕获系统相比，这已经改进了10倍。这使得本发明能够捕获高速移动，例如携载一个或多个标记的摆动高尔夫球杆头的移动。

基于事件的光传感器能够基于时空中的最近相邻方法进行标记跟踪。移动标记生成的事件在时间和图像平面空间上应该接近(事件通常以微秒的精度测量)。实施这种运动捕获的方法相对简单，并且将不必要的计算量降到最低。结合运行频率的增加，与本领域中的商业系统相比，这导致测量时延的显著改进。

此外，与常规的基于帧的相机相比，基于事件的光传感器导致功率消耗的显著降低。当系统静止时，检测和跟踪方法可以以极其有效的方式利用基于事件的数据的稀疏性，从而导致降低系统所需的整体计算能力。

上述方法可以使用非暂时性计算机可读介质中记录的程序指令来实施，以实施可以由计算机执行的各种操作。所述介质还可以单独地或与程序指令组合包含数据文件、数据结构等。介质上记录的程序指令可以是出于说明性实施例的目的专门设计和构造的程序指令，或者它们可以是众所周知的种类且可为计算机软件领域的技术人员所用。非暂时性计算机可读介质的实例包含磁性介质，例如硬盘、软盘和磁带；光学介质，例如CD ROM盘和DVD；磁光介质，例如光盘；以及硬件装置，其专门被配置成存储和执行程序指令，例如只读存储器(ROM)、随机存取存储器(RAM)、快闪存储器等。程序指令的实例包含例如由编译程序产生的代码等机器代码和含有计算机可以使用解释器执行的更高级代码的文件两者。所描述的硬件装置可以被配置成用作整体。

本发明的实施方案可以用于许多应用中，包含人机交互(例如，手势、姿势、面部的辨识和/或其它应用)、控制过程(例如，工业机器人、自主和其它车辆)、跟随一组关注点或物体(例如，车辆或人)在视觉场景中和相对于图像平面的移动、扩增现实应用、虚拟现实应用、访问控制(例如，基于手势开门、基于被授权人的检测而打开进入的路)、检测事件(例如，用于视觉监控或人或动物)、计数、跟踪等。本领域的一般技术人员鉴于本公开将认识到存在大量的其它应用。

上文描述的实施例是本发明的说明。可以对其作出各种修改，而不脱离源于所附权利要求书的本发明的范围。