首页> 中国专利> 使用主要和次要标志的运动捕捉

使用主要和次要标志的运动捕捉

摘要

捕捉目标的运动。一种方法包括:将多个主要标志耦合到目标;将至少一个次要标志耦合到目标;捕捉多个主要标志数据点,其中每个主要标志数据点对应于多个主要标志中的一个主要标志;捕捉至少一个次要标志记号,每个次要标志记号对应于并且唯一地识别所述至少一个次要标志中的每个次要标志;并且通过使用所述至少一个次要标志记号来识别多个主要标志。

著录项

  • 公开/公告号CN101496031A

    专利类型发明专利

  • 公开/公告日2009-07-29

    原文格式PDF

  • 申请/专利权人 索尼株式会社;索尼电影娱乐公司;

    申请/专利号CN200680040296.3

  • 发明设计人 德曼·乔丹;丹尼斯·J·小豪克;

    申请日2006-08-28

  • 分类号G06K9/00;

  • 代理机构北京东方亿思知识产权代理有限责任公司;

  • 代理人董方源

  • 地址 日本东京都

  • 入库时间 2023-12-17 22:18:57

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-08-12

    未缴年费专利权终止 IPC(主分类):G06K 9/00 专利号:ZL2006800402963 申请日:20060828 授权公告日:20120704

    专利权的终止

  • 2012-07-04

    授权

    授权

  • 2009-09-23

    实质审查的生效

    实质审查的生效

  • 2009-07-29

    公开

    公开

说明书

相关申请的交叉引用

本申请要求均于2005年8月26日递交的题为“Motion Capture UsingActive Markers and Passive Markers”、申请号为60/711,923的共同未决美国临时专利申请和题为“Personal Wearable Digitizer used in MotionCapture”、申请号为60/711,905的共同未决美国临时专利申请的优先权。以上参考的专利申请的内容通过引用被结合于此。

技术领域

本发明一般地涉及运动捕捉,并且更具体地,涉及使用主要和次要标志(marker)来生成三维图形和动画的运动捕捉。

背景技术

运动捕捉系统用于捕捉真实物体的运动,并且作为将其制作成动画的一种方式,将其映射到由计算机生成的物体上。通常在制作运动图像和视频游戏时将这样的系统用于创建用作源数据的人物的数字表示以创建计算机图形(CG)动画。在典型系统中,表演者穿着一套在多个位置附有标志(例如,在身体和四肢上附有较小的反射标志)的衣服,并且数字相机在照明标志的同时从不同角度记录下表演者的运动。系统然后分析图像以确定在每一帧中表演者衣服上的标志的位置(例如,如空间坐标)和方向。通过跟踪标志的位置,系统产生标志随时间的空间表示,并且建立运动中的表演者的数字表示。该运动然后被应用于数字模型,该数字模型然后可以被纹理化(texture)并且被渲染(render)以产生表演者和/或表演的完整的CG表示。这种技术已经被特效公司用于在许多流行电影中产生高度逼真的动画。

某些运动捕捉系统优于诸如关键帧(keyframing)之类的传统动画技术的优点在于实时可视的能力。制作组可以实时地或者准实时地查看表演者的运动的空间表示,从而使得表演者能够变化实体表演以捕捉最佳数据。此外,运动捕捉系统检测不能够通过使用其他动画技术来容易地再现的实体运动的细微差异,从而产生更精确地反映自然运动的数据。因此,使用通过运动捕捉系统而收集的源材料的动画通常呈现实质上更加逼真的外观。

捕捉运动数据的传统方法可能经受耗时的手动步骤。例如,某些方法利用是小的反射球体(sphere)的标志。捕捉空间中的灯照明反射球体,并且相机捕捉所产生的反射。因为标志是球形的,所以来自单个灯的光可以从与入射光相关联的半球被几乎全向地反射,结果,所反射的光可以被放置在捕捉空间中的多个位置处的多个相机捕捉。通过这种方式,标志的空间坐标可以被确定。还必需逐帧地单独跟踪每个数据点以产生运动经历,通过该运动经历来影响所期望的动画。出于相同原因,即因此从球形标志反射的光提供捕捉空间中明亮且精确的数据点,所以所捕捉的数据点相对较小并且因此在外观上也可能几乎相同。区分各个所捕捉的数据点可能十分困难,并且逐帧地跟踪各个数据点可能因此变得十分复杂。因为当将被跟踪的所捕捉数据点(即,标志)基本不可区分时,自动跟踪方法存在问题,所以作为替代通常需要长时间的并且大量占用资源的手动处理,以确保精确地区分每个所捕捉的数据点并且从一帧到另一帧地使这些数据点与其自身正确地相关联。此外,可能也需要大量标志用于充分地解析与表示经动画制作的CG表演者的表面的高分辨率3-D表面网格的顶点(vertex)相关联的运动,因此混合了由大量数据进行自动和手动跟踪的问题。

因此,所需要的是一种克服在传统系统中发现的这些关于标志识别和跟踪的重大问题的方法和系统。

发明内容

本发明的实施例提供结合运动捕捉相机、使用主要和次要标志来捕捉运动。

在一种实现方式中,一种方法包括:将多个主要标志耦合到目标;将至少一个次要标志耦合到目标;捕捉多个主要标志数据点,其中每个主要标志数据点对应于多个主要标志中的一个主要标志;捕捉至少一个次要标志记号(signature),每个标志记号对应于并且唯一(uniquely)地识别至少一个次要标志中的每个次要标志;并且通过使用至少一个次要标志记号来识别多个主要标志。

在另一种实现方式中,捕捉至少一个次要标志记号的步骤包括捕捉至少一个次要标志的独特(unique)属性。

在另一种实现方式中,照明经受周期性门控(gating)从而生成照明的导通状态和关断状态;在照明的导通状态期间捕捉照明的反射;并且在照明的关断状态期间捕捉独特属性。在另一种实现方式中,从亮标志中捕捉照明的反射;并且从暗标志中捕捉独特属性。

对于本领域中的普通技术人员而言,在查看如下的详细说明和附图之后,本发明的其他特征和优点将变得更加显而易见。

附图说明

通过研究附图,可以部分地收集本发明的关于其结构和操作这两方面的细节,其中类似标号指代类似部分,并且其中:

图1是示出根据一个实施例的运动捕捉系统的示图;

图2(a)是示出根据一个实施例的捕捉主要标志数据点和次要标志记号的方法的流程图;

图2(b)是示出根据一个使用交替帧的实施例的捕捉主要标志数据点和次要标志记号的方法的流程图;

图3(a)是示出根据一个实施例的使用次要标志身份(identity)来标记(label)主要标志的方法的流程图;

图3(b)是示出根据一个实施例的通过使用交替帧将次要标志身份用于标记主要标志的方法的流程图;

图4是示出根据一个实施例的主要和次要标志的物理布置的示图;

图5是示出根据另一实施例的主要标志和具有形状属性的次要标志的物理布置的示图;

图6是示出在不同实施例中使用的典型门控触发器的示图;

图7是示出根据一个实施例的具有门控光源和两个同步的门控运动捕捉相机的捕捉空间的示图,一个相机用于捕捉主要标志数据并且另一个用于捕捉次要标志数据点;以及

图8是示出根据一个实施例的具有门控光源和两个同步的门控运动捕捉相机的捕捉空间的示图,两个相机同步地捕捉主要标志数据和次要标志数据点。

具体实施方式

如将在下文中进一步描述的,本发明满足了对这样一种运动捕捉系统的需求,这种运动捕捉系统允许逐帧地对标志进行更强的跟踪。在以下的详细描述中,类似的元件标号被用于描述在一个或多个附图中示出的类似元件。

对与本领域中的技术人员而言,在阅读了此描述之后,如何在各种替代实施例和替代应用中实现本发明将变得清楚。然而,虽然将在此描述本发明的各种实施例,但是应理解,仅通过示例而非限制性方式示出这些实施例。照此,不应将这种对各种替代实施例的详细描述解释为限制本发明的由所附权利要求书给出的范围和广度。

标志是大部分形式的运动捕捉所必需的组件,并且包括两个较宽类别:有源和无源标志。因为无源标志的保真度和分辨率高于其他标志,所以在许多应用中优选地使用无源标志。然而,由于在使用无源标志的过程中处理数据所存在的困难和所需要的手动操作,在混合系统中将这两种不同类型的标志相结合是有益的。

例如,在某些实现方式中,可以通过使用包括有源和无源标志二者的混合系统来获得期望的运动捕捉结果。通常,无源标志需要跟踪而有源标志不需要跟踪。在其他的实现方式中,在混合系统中使用主要和次要标志来获得期望的运动捕捉结果。在这些其他的实现方式中,主要标志是类似于无源标志的需要跟踪的标志,并且次要标志是类似于有源标志的不需要跟踪的标志。然而,在其他的实现方式中,有源标志被用作主要标志并且无源标志被用作次要标志。

一般地,有源标志的特征在于使用功率源来发射某种类型的能量。有源标志或者组件的示例包括LED、有源RFID(射频识别)标签、数据手套、电位计、加速计、外部佩带的外骨骼(externally-worn exoskeleton)和声速鸣叫发射器(sonic-chirp emitter)。无源标志通常不需要功率源。无源标志或者组件的一个示例是回复反射(retro-reflective)球体,其实质上构成较小的发光球,该发光球在处于亮光中时产生容易被光学装置捕捉到的小的、强烈的光点。无源标志的其他示例包括无源RFID标签、在暗处发光的斑点(patch)、形状带(shape tape)和提供电磁记号的电磁标签。可以在“亮”和“暗”标志之间作出进一步的区分。例如,回复反射球体可以被表征为亮标志,而在暗处发光的标志可以被表征为暗标志。

可以从有源标志得到实时可视的运动捕捉数据,然后可以将由这些标志生成的骨架数据用于标记由运动捕捉系统生成的无源标志数据。这将会产生实时的视觉预览,同时大大减少后处理中的手动清理,从而生成高质量的光学运动捕捉数据。混合系统因此既提供实时表演又提供运动的高保真度。

参考图1,根据本发明的一个实施例的混合运动捕捉系统100包括连接到用户工作站120的运动捕捉处理器110。在所示出的实施例中,运动捕捉处理器110包括图像捕捉模块112、重建模块114、主要标志跟踪模块116、数字建模模块118和存储模块158。连接到运动捕捉处理器110的是两个运动捕捉相机130、132。在本发明的一个实施例中,根据各种用户和动画相关的要求,使用远多于两个的运动捕捉相机。运动捕捉相机130、132聚焦在捕捉空间140上,在捕捉空间140中,目标150(在图1中被示出为任意形状的对象)处于由空间坐标定义的位置处。

如图1示出的实施例所示,目标150使多个主要标志152A-C和一个次要标志154与之耦合。可以由图像捕捉模块112来控制相机130、132以一帧接一帧地捕捉主要标志152A-C和次要标志154的图像并且将其传送到运动捕捉处理器110的图像捕捉模块112。在一种实现方式中,相机130、132在交替的图像帧中捕捉主要标志152A-C和次要标志154的图像。在另一种实现方式中,相机130、132在相同帧中捕捉主要标志152A-C和次要标志154的图像。因此而捕捉的图像帧可以被置于存储模块158中。可替代地,或者同时地,可以由在工作站120处的用户实时地查看这些图像帧。

在一种实现方式中,来自相机130、132的数据是以称作“节拍(beat)”的数据集合来捕捉的。节拍对应于这样的数据,即在对应于场景拍摄或者场景拍摄的一部分的时间段上所捕捉到的数据。每个相机130、132可以针对每个节拍生成分离的文件。因此,对于单个节拍而言,针对一个相机130和另一相机132中的每个相机都将存在一个文件。应理解,在使用相当大数目的相机130、132的情况下,每个节拍将因此包括相应大数目的分离数据文件,每个相机一个分离数据文件。此外,对于每个相机130、132,对应地存在标定数据(calibration data)的主体,该标定数据例如包括关于每个相机在捕捉空间140中的3-D位置、其聚焦方向(例如,相机130、132沿3-D“光线”聚焦的该3-D“光线”)以及其当前景深的信息。应理解,可以添加标定数据的其他项,或者用其他项来替代在此讨论的示例数据。

在一种实现方式中,重建模块114可操作以读取针对节拍而生成的文件(“节拍文件”)的部分或全部和针对适当相机130、132的相应标定数据,并且将相机数据融合成未经标记的数据的原始3-D“点云”。这些数据可以被存储到存储器158中,或者被直接提供给主要标志跟踪模块116。

如将在下文中更加详细地说明的,主要标志跟踪模块116接收原始3-D点云数据的帧,或者从存储模块158中取回所存储的点云数据的帧。主要标志跟踪模块116还对帧执行跟踪功能从而使每个帧的主要标志与其之前或者之后的帧精确地映射,将次要标志身份用作对逐帧标记各个主要标志的辅助。一旦标记完成,经标记的数据被传送到数字建模模块118。数字建模模块118针对每个帧在虚拟空间中创建顶点系统,该顶点系统构成表示目标150的经建模的表面。因为在一个帧中捕捉到的主要标志152A-C在随后的帧中被适当地标记为相同的主要标志152A-C,所以主要标志因此被逐帧地连接起来,并且经建模的表面的运动可以被平滑地渲染。

如图1所示,根据本发明的至少一个实施例,次要标志154可以被放置得相对接近特定的主要标志152B。在另一种实现方式中,次要标志154不必被放置得接近任一个主要标志152A-C。在一种实现方式中,在主要标志152A-C和次要标志154之间分别存在多对一的对应。主要标志152与次要标志154的比率可以从一比一变化到对于当前的实现方式而言是适当的任何比率。使用者可以实现诸如这样的变化之类的变更,从而在将主要标志152从一个帧映射到下一个帧(即,跟踪)时适应预期的简化或者困难。例如,在一种实现方式中,几百个主要标志被用于捕捉人面部和身体上的细微运动。

图2(a)是示出根据一个实施例的捕捉主要标志数据点和次要标志记号的方法的流程图。该方法包括,在210,将主要标志152耦合到目标150。在212,一个或多个次要标志被耦合到目标150。在一种实现方式中,在210和212处的耦合包括将涂料或者其他反射涂层应用到目标150上。接下来,在214,当前帧被用于捕捉主要标志数据点。在一种实现方式中,主要标志152A-C是反射球体,并且球体表面上被照明的反射点实质上构成主要标志数据点。也就是说,例如,来自主要标志152A的一个反射构成一个主要标志数据点。在216,捕捉次要标志154的记号,包括次要标志记号的位置。在一种实现方式中,主要标志数据点和次要标志记号实质上被同时捕捉到。

通常,次要标志实质上是可唯一地识别的,并且根据某种模式的特征化,每个次要标志都具有实质上独特的记号。例如,在一种实现方式中,次要标志以形状为特征。在另一种实现方式中,次要标志以颜色为特征。在另一种实现方式中,次要特征以亮度为特征,例如其在暗处发光的强度。此外,次要标志可以是有源标志,包括诸如LED之类的可视器件和诸如声速鸣叫发射器或者有源RFID发射器之类的不可视设备。在另一种实现方式中,次要标志可以以诸如形状、颜色、亮度和发射之类的上述有源和无源特征的部分或者全部特征的组合为特征。也就是说,次要标志可以以任何类似于以上提及的那些特征的可唯一识别的记号以及诸如RF和电磁记号之类的其他不可视特征为特征。此外,可以在单一实现方式中同时使用多种不同类型的次要标志。

还应理解,根据用户要求,主要标志可以包括以上讨论的任何类型的标志。

在某些实现方式中,诸如主要-次要、有源-无源和亮-暗之类的标志配对被用于区分所捕捉的对象的部分或者区域,而非一个为另一个提供参考。例如,在一种实现方式中,亮标志被用于运动捕捉身体并且暗标志被用于运动捕捉面部。因此,在这种实现方式中,亮-暗标志配对被用于将捕捉到的面部数据点与身体数据点区分开来。

如果在200判断出当前帧不是最后一帧,那么在222,下一帧被提前并且该帧成为新的当前帧。方法然后继续,在214,通过使用新的当前帧来捕捉下一组主要标志数据点。该方法如所描述的那样继续,直到当前帧被确定为最后一帧。根据这种实现方式,主要标志数据和次要标志记号被这样基于逐个帧而获取。

图2(b)是示出根据另一实施例的捕捉主要标志数据点和次要标志记号的方法的流程图。类似于在图2(a)中示出的方法,该方法包括,在230,将主要标志152A-C耦合到目标150。在232,一个或多个次要标志154被耦合到目标150。在234,当前帧被用于捕捉主要标志数据点。然后,在240,判断当前帧是否是最后一帧。如果当前帧不是最后一帧,那么在242,下一帧被提前,作为新的当前帧。在244,捕捉次要标志的记号。如果在250判断出当前帧不是最后一帧,那么在252,下一帧被提前并且成为新的当前帧。方法然后继续,在234,通过使用新的当前帧来捕捉下一组主要标志数据点。该方法如所描述的那样继续,直到在240、250确定当前帧是最后一帧。根据这种实现方式,主要标志数据和次要标志记号被这样基于交替的逐个帧而获取。

图3(a)是示出根据一个实施例的使用次要标志身份来标记主要标志数据点的方法的流程图。在一种实现方式中,主要在340的数据后处理期间执行该方法,该方法一般地对应于由图1的主要标志跟踪模块116执行的标记任务。在图3(a)中示出的方法包括,在310,针对所考虑的帧,用运动捕捉相机来捕捉主要标志数据点和次要标志记号,并且存储所捕捉到的数据点和记号。在另一种实现方式中,对这样捕捉的数据的存储可以与实时的或者准实时的处理可以是同时的。可替代地,所捕捉到的数据可以被同时地存储并实时地或者准实时地处理。然后在312,执行重建以产生3-D点云的原始数据。

标记开始于在314选择第一帧作为当前帧。在316,当前帧中的主要标志数据点被定位。在318,根据所捕捉到的该帧的次要标志记号的独特属性来确定次要标志身份(“ID”)。实质上独特的次要标志ID是可能的,这是因为从中得到这些次要标志ID的次要标志记号自身实质上可唯一地识别。例如,在一种实现方式中,次要标志可以包括个体上独特的条形码。然后在320,将次要标志ID与适当的主要标志数据点相关联。次要标志ID提供独特的记号并且因此相对容易跟踪,而主要标志数据点单独难以彼此区分。在一种实现方式中,根据次要标志与主要标志数据点的空间接近程度来进行主要标志数据点的关联。在另一种实现方式中,次要标志被用作一组邻近的主要标志数据点的总的位置参考。由于根据次要标志ID轨迹而推断出的附加位置信息,使得这组实质上不可个体地区分的主要标志数据点因此可以被更容易地跟踪。在另一种实现方式中,可以将主要标志数据点与两个或更多个次要标志ID相关联,这两个或更多个次要标志ID对应于实质上位于该主要标志数据点附近的次要标志。例如,这样定位的两个或更多个次要标志ID也可以通过所呈现的空间图案而被实质上唯一地识别。应理解,存在用于手动和自动地以多对一、多对多和一对多的关系将一个或多个主要标志数据点与一个或多个次要标志ID相关联的其他选择。

接下来在322,根据一个或多个相关联的次要标志ID来唯一地标记主要标志数据点。此外,主要标志数据点可以根据一个或多个已经标记了的其他主要标志数据点而被标记。然后在324,对应于当前帧的所标记的主要标志数据点被存储。接下来在326,根据主要标志数据点来建立目标150的虚拟模型。可替代地,主要标志数据点可以被用于使现有模型与目标150相匹配。如果在330判断该帧不是所考虑的最后一帧,那么在332,下一帧被提前为新的当前帧。然后在316,在新的当前帧中定位主要标志数据点,并且该方法如在上文中所讨论的那样继续,直到最后一帧被确定。

图3(b)是示出根据另一实施例的通过使用交替帧将次要标志身份用于标记主要标志的方法的流程图。在一种实现方式中,主要在后处理390期间执行该方法,后处理390一般地对应于由图1的主要标志跟踪模块116执行的任务。该方法包括,在310,用运动捕捉相机来捕捉并且存储所考虑的帧的主要标志数据点和次要标志记号。然后在312,执行重建以创建原始数据的3-D点云。

在352,第一帧被选作当前帧。在354,当前帧中的主要标志数据点被定位。如果在360判断出当前帧不是所考虑的最后一帧,那么在362,下一帧被提前为新的当前帧。在364,根据所捕捉的帧的次要标志记号的独特属性来确定次要标志身份(“ID”)。实质上独特的次要标志ID是可能的,这是因为从中得到这些次要标志ID的次要标志记号自身实质上可唯一地识别。然后在366,将次要标志ID与适当的主要标志数据点相关联。在一种实现方式中,根据次要标志与主要标志数据点的空间接近程度来进行主要标志数据点的关联。在另一种实现方式中,可以将主要标志数据点与两个或更多个次要标志ID相关联,这两个或更多个次要标志ID对应于实质上位于该主要标志数据点附近的次要标志。例如,这样定位的两个或更多个次要标志还可以通过它们呈现的空间图案而被实质上唯一地识别。应理解,存在许多种将主要标志数据点与一个或多个次要标志ID相关联的方法。然后在368,根据一个或多个与每个主要标志数据点相关联的次要标志ID来唯一地标记主要标志数据点。然后在370,存储对应于当前帧的所标记的主要标志数据点。接下来在372,根据主要标志数据点来建立目标150的虚拟模型。如果在380判断出当前帧不是所考虑的最后一帧,那么在382,下一帧被提前为新的当前帧。然后在354,在新的当前帧中定位主要标志数据点,并且该方法如在上文中所讨论的那样继续,直到在360、380处确定出最后一帧。

图4示出根据本发明的一个实施例的在可变形表面上的主要和次要标志的物理布置。例如,该表面可以是运动捕捉序列中的由表演者穿着的紧身衣裤的一部分。由变形网格400来表示该表面。在这种实现方式中,网格400的顶点定义主要标志410耦合到该表面的位置。在图4中,所示出的二十四个主要标志是实质上相同的反射球体。为了清楚起见,仅三个被索引。三个次要标志420被绘制为相同的椭圆。如所示出的,根据一对多的对应,次要标志420可以分别位于主要标志410之间的开放区域中。可替代地,次要标志420可以被放置得十分接近主要标志410。如之前所讨论的,应理解,次要标志420包括有源和无源标志的任何类型或组合。

在一种实现方式中,如在310处那样,一个帧的主要标志410和次要标志420被捕捉。如在312处那样,通过重建,如在上文中所讨论的,表示由多个相机130、132生成的节拍文件的融合的3-D原始点云被产生。3-D点云包括主要数据点和次要标志记号。在一种实现方式中,根据次要标志记号来确定次要标志ID(回想起在全体次要记号中一个次要标志记号实质上是独特的),并且基于最接近程度将相应的主要标志数据点与次要标志ID相关联(在320)。也就是说,根据最接近主要标志410(从该标志处捕捉到主要标志数据点)的次要标志420的次要标志ID,向该主要标志数据点分配标记。在另一种实现方式中,通过将次要标志420的固有独特性与它们的空间位置结合,可以创建次要标志420的独特空间图案。因此,不仅可以根据主要标志相对于单个次要标志420的位置而且可以根据由多个次要标志420形成的空间图案来识别主要标志。

在一个实施例中,通过使用独特的形状来提供次要标志的记号。图5示出根据这样的实施例的主要标志510和具有形状属性的次要标志522、524、526的物理布置。次要标志522是三角形,标志524是六边形,并且标志526是五角星。用变形网格500来表示表面。该示例中的网格500的顶点同样定义主要标志510被耦合到该表面的位置。与图4中情况相同,二十四个主要标志被示出为实质上相同的反射球体。在该示例中,三个次要标志522、524、526被放置在主要标志510之间的区域中。所有三个次要标志522、524、526都被唯一地成形,因此具有独特的光学记号。

在一种实现方式中,如在310处那样,一个帧的主要标志510和次要标志522、524、526被捕捉。如在312处那样,通过重建,如在上文中所讨论的,表示由多个相机130、132生成的节拍文件的融合的3-D原始点云被产生。3-D点云包括对应于主要标志510的主要数据点和对应于次要标志522、524、526的次要标志记号。然后,可以根据次要标志基于独特形状的光学记号来分配次要标志ID。然后,基于最接近程度将相应的主要标志数据点与次要标志ID相关联(在320)。因为次要标志522、524、526的固有独特性,所以可以关于由多个次要标志形成的独特的空间图案来进一步识别主要标志510。在另一种实现方式中,虽然所使用的次要标志522、524、526并不是实质上个体地独特的,但是仍然形成实质上局部独特的图案,藉此可以标记主要标志510。

图6是示出在若干实施例中使用的典型门控触发器信号600的示图。这样的门控触发器是为人熟知的。如所示出的,信号具有分别对应于导通和关断状态的高状态610、620、630和低状态612、622、632。门控触发器的示例使用是对诸如闪光灯(strobe light)之类的光源的导通/关断循环控制。

图7是示出根据一个实施例的具有门控光源和两个同步的门控运动捕捉相机720、730的捕捉空间700的示图,一个相机720用于捕捉主要标志数据点并且另一相机730用于捕捉次要标志记号。在替代实施例中,相机720、730均可以用于捕捉主要标志数据点和次要标志记号二者。

在图7所示的实施例中,门电路710供应第一门控信号712和第二门控信号714。第一门控信号712以与第二门控信号714相反的相位进行触发。第一门控信号712触发第一运动捕捉相机720和照明源722。因此,当第一门控信号712到达导通状态时,照明源722被导通达导通状态的半个周期的时间长度,并且第一运动捕捉相机720捕捉捕捉空间700的图像帧。当第一门控信号712处于导通状态时,第二门控信号714处于关断状态,因此由信号714来触发的第二运动捕捉相机730处于关断状态。当门控信号前进半个周期时,状态反转。第一门控信号712转变为关断状态,从而将照明源722和第一运动捕捉相机720置于关断状态。第二门控信号714转变为导通状态并且触发第二运动捕捉相机730以捕捉捕捉空间700的图像帧。因此,第一运动捕捉相机720捕捉到当捕捉空间700被照明时的图像帧,并且第二运动捕捉相机730捕捉到当捕捉空间未被照明时的图像帧。

在一个实施例中,目标740已经将构成主要标志(九个被示出,两个被索引)的小反射球体750和构成次要标志的在暗处发光的斑点752与之耦合。虽然为了便于图示,在图7中示出的次要标志752视觉上看起来相同,但是应记起次要标志被定义为实质上可唯一识别。在该示例中,通过使用各种形状、颜色和发光强度,并且进一步包含诸如条形码之类的可视图案,在暗处发光的次要标志可以表示独特的记号。

现参考图7所示的实施例,当第一门控信号712被导通时,照明源722被触发导通并且照明捕捉空间700,从而使得反射球体750反射捕捉空间700中的小的亮光点。同时第一运动相机720也被触发导通,并且因此捕捉图像帧中的亮光点。第一运动捕捉相机720因此捕捉如上所述的主要标志数据点。当在下一个半周期处第一门控信号712和第二门控信号714的状态反转时,照明被关断。虽然没有了照明,反射球体是暗的,但是在暗处发光的次要标志752可视地发光。在该半个周期期间,第二运动捕捉相机730同时被触发到导通状态,并且因此捕捉包括在现在变暗了的捕捉空间700中发光的次要标志752的图像帧。也就是说,第二运动捕捉相机捕捉次要标志752的记号(例如,发光)。因此,由第一和第二运动捕捉相机720、730捕捉到的两个图像帧序列一起构成包括主要标志数据点和次要标志记号的交替帧序列。在一种实现方式中,然后根据诸如在图3(b)中示出的方法之类的方法来处理该运动捕捉序列。

图8是示出根据一个实施例的具有门控光源和两个同步的门控运动捕捉相机820、830的捕捉空间800的示图,其中两个相机同步捕捉主要标志数据点和次要标志记号。如图8所示,门电路810供应第一门控信号812和第二门控信号814。与图7所示的实施例相反,该实现方式中的第二门控信号814与第一门控信号812处于相同的相位。此外,触发运动捕捉相机820、830以在第一和第二门控信号812、814的导通和关断两种状态处捕捉图像帧。与之前相同,第一选通信号812仅在导通状态期间触发照明源822。因此,当第一门控信号812到达导通状态时,照明源822被导通达导通状态的半个周期的时间长度,并且第一和第二运动捕捉相机820、830二者都捕捉被照明的捕捉空间800的图像帧。当第一和第二门控信号812、814转变为关断状态时,照明源822被关断达关断状态的半个周期的时间长度,并且第一和第二运动捕捉相机820、830二者都捕捉变暗了的捕捉空间800的图像帧。也就是说,第一和第二门控信号812、814在相位上同步,从而使得第一和第二运动捕捉相机820、830一致地操作。运动捕捉相机820、830二者因此捕捉交替的被照明和变暗的捕捉空间800的视图的帧序列。

在本发明的一个实施例中,目标840已经将构成主要标志的较小反射球体850和构成次要标志的在暗处发光的斑点852与之耦合。虽然为了便于图示,在图8中示出的次要标志852视觉上看起来相同,但是应记起次要标志通常是实质上可唯一识别的。在该示例中,与关于图7所呈现的示例类似,通过各种形状、颜色、发光强度或者包含诸如条形码之类的可视图案,在暗处发光的次要标志可以表示独特的记号。

在图8所示的实施例中,当第一和第二门控信号812、814转变为导通状态时,照明源822被触发导通并且照明捕捉空间800。这使得反射球体850反射捕捉空间800中的小的亮光点。同时第一和第二运动捕捉相机820、830也被触发导通,并且因此捕捉各自的图像帧中的亮光点。也就是说,第一和第二运动捕捉相机820、830捕捉如上所述的主要标志数据点。当在下一个半周期处第一和第二门控信号的状态反转时,照明源822被关断。虽然没有了照明,反射球体850是暗的,但是在暗处发光的次要标志852可视地发光。在该半个周期期间,第一和第二运动捕捉相机820、830同时被关断状态触发,并且因此捕捉另一图像帧,这次捕捉现在变暗了的捕捉空间800中可见的次要标志852的记号。也就是说,第一和第二运动捕捉相机820、830二者都捕捉包括主要标志数据点和次要标志记号的交替帧序列。在一种实现方式中,然后根据诸如在图3(a)中示出的方法之类的方法来处理该序列。

在另一种实现方式中,公开了在运动捕捉中使用的个人可佩带的数字化器。个人可佩带的数字化器包括具有用于捕捉身体部分运动的元件的衣服。可佩带的数字化器可以提供身体表面(头部、面部、身体)的数字表示而无需光学捕捉。例如,具有压电条的紧身衣裤使身体表面数字化。在另一示例中,具有“形状带”的紧身衣裤使身体表面数字化。可以使用在将带弯曲之后改变光特性的光纤。

由可佩带的数字化器捕捉到的非光学数据被传送到利用该数据来确定目标(或多个目标)运动的运动捕捉处理系统。该处理系统利用位置信息来建立并且更新表示(一个或多个)目标的三维模型(点云或者网)。

已经描述了本发明的各种示例性实现方式。然而,本领域中的普通技术人员将认识到另外的实现方式也是可能的并且落入本发明的范围之内。例如,在一种变体中,可以将不同的方法用于如下的关联:通过使用两个数据集之间一对一、一对多以及多对一的关系使主要标志数据点与次要标志记号相关联。此外,在图7和图8中示出的系统的各种组合可以满足使用者的不同需要。

因此,本发明并不仅局限于上述的这些实现方式。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号