用于确定摄像机相对于真实对象的位置和方向的方法和系统

摘要

本发明涉及一种用于确定摄像机(11)相对于真实对象(12)的位置和方向的方法，该方法用于虚拟数据模型(13)与由摄像机(11)生成的图像融合，所述图像包括真实对象(12)的至少一个部分。该方法包含以下步骤：将摄像机(11)设置在传感器系统(20)的活动部分(22)上，该活动部分能与至少一个测量探头(23)连接，所述测量探头适合于接触真实对象(12)的至少一个部分；对该传感器系统的设置有摄像机(11)的活动部分(22)进行定位，使得通过摄像机可以生成图像；和生成该传感器系统(20)相对于真实对象(12)的位置数据(31)；以及基于传感器系统(20)的位置数据(31，32)确定摄像机(11)的位置和方向。

说明书

技术领域

本发明涉及一种用于确定摄像机或显示装置相对于真实对象的位置和方向的方法和系统，该方法和系统用于虚拟数据模型与由摄像机或显示装置生成的图像的融合，所述图像包括真实对象的至少一个部分。

背景技术

这种方法和这种系统在现有技术中、特别是在与所谓的增强现实系统相关的现有技术中是公知的。这使得计算机生成的虚拟信息可以与真实环境中的视觉印象相叠加。为此，优选的是通过佩戴在头上的半透明的数据眼镜，使真实世界的视觉印象与虚拟信息相互融合。虚拟信息或对象的插入在此可以与上下文相关地实现，也就是说适配于以及基于各个观察到的真实环境。使用的虚拟信息基本上可以是任何类型的数据，如文本、图像等。真实环境可以通过例如佩戴在用户头上的摄像机来探测。通过虚拟和真实环境的叠加，用户可以容易的进行应有/实际的比较。在增强现实系统用户的头部运动中，所有人工对象必须追踪不断变化的视场。

在初始化过程中，例如，真实环境中的对象是与摄像机相互关联的。由此可以使真实环境与摄像机图像匹配。真实环境可以是复杂的装置，探测对象可以是该装置的显著元件。在以下所谓的跟踪过程中(该过程代表了实际的工作过程)，例如，当系统用户收到在相对于真实环境的期望位置插入到使用的显示装置中的与上下文相关的信息时，插入的虚拟数据模型追踪用户的运动和随之发生的对真实世界的视野的变化。

此外，结合了虚拟模型与现实相叠加的增强现实技术是现有技术中公知的，其目的是检验模型的或根据规范建立的现实的正确性。应用范围例如是工厂规划(如在DE10128015A1或DE102004046144A1中描述)，或如汽车设计(如在DE20203367A中描述)。由现有技术也已知了这样的装置，用手使这些装置运动并因此占据虚拟世界中的一个观察位置(例如US5436638A)。

这样的增强现实系统或方法基本上涉及对摄像机相对于现实的姿势进行识别。摄像机姿势是摄像机在空间中的位置和方向。现实大多呈现为某种形式的模型，例如呈现为3D模型，所述模型描述了现实或一部分现实的几何性质。该3D模型可以例如从设计图中获得，比如CAD文件。真实对象通常与对象坐标系相关，而摄像机又与摄像机坐标系相关。在此通常有问题的是：为了确定摄像机姿势，尤其要准确地确定对象坐标系和摄像机坐标系之间的变换。

发明内容

本发明的目的是提供一种开头所述类型的系统和方法，其允许在各种情况下在很大程度上准确地相对于现实呈现虚拟对象。

通过根据权利要求1的特征和根据权利要求8的特征的方法来达到这一目标。此外，还通过根据权利要求14的特征和根据权利要求21的特征的系统来达到该目标。本发明还涉及根据权利要求24的计算机程序产品。

本发明的应用实例尤其是包括工厂规划、产品开发中的样机构造或实验构造(例如汽车研发中的碰撞测试)和机械设备建造的验收。由此尤其是能够比较虚拟模型相对于真实对象的质量，或真实对象相对于虚拟模型的质量。

根据本发明的系统和方法的可能应用尤其是包括增强现实技术在服务和维护领域中的应用、在生产中的应用、和在移动环境中的一般应用。使用根据本发明的方法和根据本发明的系统的优点是，在为了借助于传感器系统确定摄像机相对于真实对象的精确姿势而求出对象坐标系和摄像机坐标系之间的变换时精度特别高，因此虚拟数据模型可以与现实在很大程度上准确地叠加，或可以确定数据模型和现实之间精确的相对偏差。

特别地，本发明涉及一种开头所述类型的用于确定摄像机相对于真实对象的位置和方向的方法，该方法包括以下步骤：将摄像机安置在传感器系统的一个活动部分上，该活动部分可耦接到至少一个适合于接触真实对象的至少一个部分的测量探头上；对该传感器系统的设置有摄像机的活动部分进行定位，以使摄像机可以生成图像；生成该传感器系统相对于该真实对象的位置数据；和基于传感器系统的位置数据确定摄像机的位置和方向。

为了以理想方式实时地确定摄像机姿势，可以使用各种不同的传感器或传感器组合，有利的是可以使用具有测量探头的高精度机械测量臂，其用于校准相对传感器位置。因此，可以使用高精度传感器系统来确定对象坐标系和摄像机坐标系之间在很大程度上准确的变换，以作为确定摄像机姿势的出发点。

特别地，传感器系统的固定部分设置成与真实对象有固定关系，并且建立传感器坐标系作为传感器系统的参照系。此外，确定该传感器坐标系相对于真实对象的位置。有利的是，通过以下方式确定传感器坐标系相对于真实对象的位置，即测量探头在至少一个校准过程中与真实对象的至少一个部分相接触。

在本发明的一种实施方式中，所述至少一个校准过程根据多个存储的校准算法之一来执行。例如，用户选择真实对象的CAD模型的至少一个部分，其中，基于所述选择，为至少一个校准过程和至少一个测量程序选择一个校准算法。

在本发明的另一个方面，涉及一种开头所述类型的用于确定摄像机或显示装置相对于真实对象的位置和方向的方法，该方法包括以下步骤：将跟踪系统安置在传感器系统的第一活动部分上，该第一活动部分可耦接到至少一个适合于接触真实对象的至少一个部分的测量探头上；和以相对于传感器系统的第二活动部分的固定关系安置所述摄像机或显示装置。

传感器系统的第一活动部分这样地定位，使得传感器系统的第二活动部分可被跟踪系统探测到，传感器系统的第二活动部分与摄像机或显示装置这样地定位，使得通过所述摄像机或显示装置生成图像。然后，生成传感器系统相对于真实对象的第一位置数据和跟踪系统相对于传感器系统的第二活动部分的第二位置数据。在第一和第二位置数据的基础上确定摄像机或显示装置的位置和方向。

该方面反映了根据本发明的构思的有利实现，即本发明的构思也可以用于所谓的头戴式显示器(HMD)。例如，传感器系统的第二活动部分可以独立于第一活动部分移动，并被第一活动部分的跟踪系统所探测。这样，移动摄像机或显示装置(例如头戴式显示器)与传感器系统之间的耦合使得摄像机或显示装置的姿势可以使用传感器系统相对于真实对象的准确校准参数来计算，而不必机械地绑定到传感器系统上。机械式传感器测量系统与跟踪系统(例如光学跟踪系统)的结合形成一个整体系统，所述跟踪系统固定在机械式传感器系统的传感头上并“跟踪”(追踪)摄像机或显示装置，所述整体系统具有更高的量程和更轻的传感头，以及在很大程度上准确的确定姿势。

特别地，在通过测量探头进行探测之后，可以动态地通过跟踪系统与对象坐标系之间的变换、跟踪系统与传感器系统的第二活动部分之间的变换和传感器系统的第二活动部分与摄像机或显示装置之间的变换，计算与传感器系统的第二活动部分连接的摄像机或显示装置的姿势。

在一种实施形式中，跟踪系统构造为机械式跟踪系统或光学跟踪系统。光学测量或跟踪系统在这方面具有优势，它们具有轻的、符合人体工程学的易于使用并可独立移动的传感头，该传感头例如可被佩戴在头上。然而，该传感头只能在被跟踪系统的光学传感器看到的地方提供有效的值。机械式测量系统的传感头比较重并且量程也较短。然而，该传感头可被带到更难进入的地点(例如车辆内部)。

在本发明的一种实施形式中，确定了虚拟数据模型与真实对象的匹配品质，特别是实现了真实对象的至少一个部分与虚拟数据模型的至少一个部分之间的至少一个距离的测量。例如，利用基于边缘或基于面的跟踪方法确定虚拟数据模型与真实对象的匹配品质。

真实对象的至少一个部分与虚拟数据模型的至少一个部分之间的至少一个距离的确定可以这样实现，即：用户选择图像中虚拟模型的一个部分或利用测量探头选择现实中真实对象的一个部分，从而确定第一点，接着用户通过测量探头选择真实对象的对应部分或图像中虚拟模型的对应部分，从而确定第二点，其中，待确定的距离就是所述第一点和第二点之间的距离。

测定虚拟数据模型与真实对象的匹配品质可以包括步骤：由用户或实施的算法在真实对象和虚拟数据模型的融合过程中执行比较，直到数据模型的至少一个部分与真实对象的对应部分在很大程度上正确地叠加，其中，将执行的比较的尺度作为关于匹配品质的报告的基础使用。

特别地，在数据模型相对于真实对象的定位过程中，本发明还可以生成相对准确的误差信息，特别是不可靠性信息，如在DE102005061952中详述。

根据本发明的系统的一种有利实施例将摄像机或跟踪系统安置在转接装置上，该转接装置在摄像机/跟踪系统与测量探头之间建立机械式连接。通过使用转接装置使测量探头和摄像机/跟踪系统相互连接，现在可以非常容易地执行高精度的叠加。特别地，转接装置设计为能重复地或更换地安装不同的测量探头并又可拆除。优选地，转接装置设计为当与一个测量探头连接时，该测量探头可被传感器系统自动地识别。

另一种实施形式将用于显示摄像机图像的显示装置(特别是屏幕)安装到该转接装置上。同样地，用于计算期望姿势的处理装置也可被安装到该转接装置上。在此例如将摄像机、处理装置和显示装置实施为集成装置，该集成装置被安装到该转接装置上，该转接装置又在测量探头和该集成装置之间建立机械式连接。

本发明的其它优选实施形式和扩展形式将在从属权利要求中描述。

附图说明

本发明将在下文中参照附图进行更为详细的解释，附图体现了本发明的优选实施方式。

图1以示意图示出了根据本发明的用于确定摄像机相对于真实对象的位置和方向的系统的一种实施形式；

图2以示意图示出了根据图1的系统以及各个部件之间可视化的变换；

图3以示意图示出了根据本发明的用于确定摄像机或显示装置相对于真实对象的位置和方向的系统的其它实施形式，分别带有各个部件之间可视化的变换；

图4以示意图示出了根据本发明的系统的另一种实施形式；

图5示出了关于增强现实系统中的方法过程的流程图，其中实现了根据本发明的构思。

具体实施方式

图1以示意图示出了根据本发明的用于确定摄像机相对于真实对象的位置和方向的系统的实施形式。系统10包括一个传感器系统20，该传感器系统20具有至少一个活动部分22，所述活动部分22通过活动铰链固定到一个固定部分21上。该传感器系统还可以具有分别相互通过铰链等连接的另外的活动部分，或者可以具有一个或多个使该传感器系统的各个部分相耦接的光学跟踪系统。这样形成的测量臂形式的活动部分22在当前实例中通过一个转接装置24与至少一个测量探头23连接，所述测量探头适合于与真实对象12的至少一个部分形成接触。该传感器系统可以以各种各样的方式构造，特别是也可以作为光学传感器系统实现。设置在传感器系统20的测量臂22上的摄像机11用于生成图像。摄像机11可以设置有用于照亮真实对象的光源。

另外，设置了接口装置26，用于输出传感器系统20相对于真实对象12的位置数据，以便确定摄像机11相对于真实对象12的位置和方向(姿势)，下文中将会解释。位置数据通常应理解为用于推断相关组件的位置和方向的数据。例如，传感器系统只传送来自各个传感器组件的原始位置数据和组件的尺寸，它们只有在外部计算机中处理为适当的、可针对用途进行分析处理的位置数据。

在当前实例中，摄像机姿势的计算通过计算机形式的外部处理装置14来执行，该装置连接到接口装置26。这样计算的摄像机姿势用于按照上下文正确地将虚拟数据模型13与摄像机11生成的图像相融合，该图像显示在屏幕形式的外部显示装置15上。为此，计算机14既连接到传感器系统20也连接到摄像机11，以便一方面获得用于确定摄像机姿势所必须的参数和另一方面获得摄像机11的图像。虚拟数据模型13存储在计算机14中，并基于对该虚拟数据模型的计算以基于上下文正确的方式在屏幕15上在摄像机的图像上与真实对象12相叠加。

目的是确定摄像机11相对于真实研究对象12的对象坐标系40的姿势(也就是位置和方向)，并因此能够将数据模型13的形式的虚拟几何体叠加到真实对象12上。例如，虚拟几何体13可以是构件的CAD设计图，而真实对象12是从CAD设计得到的真实原型。此外，建立一个传感器坐标系30(所谓的传感器世界坐标系)作为传感器系统的参照系。

图2以示意图示出了根据图1的系统，各个部件之间具有可视化的变换。为了理想地实时获得摄像机11的姿势，可以使用传感器系统20的各种不同的传感器或传感器组合。有利地，可以使用高精度机械式测量臂，以测量臂21、22的形式示意性地示出。但是，所述姿势并不是直接从传感器测量结果获得，而是还要基于传感器世界坐标系30向真实对象12的对象坐标系40的变换32以及摄像机坐标系60与传感头坐标系70之间的变换62，其中传感头由测量探头23形成。这些变换32和62优选永久存储在计算机14或传感器系统20中。由此，不必总是重新生成这些变换，而只需相应地调用这些变换来计算姿势。

为了确定传感头坐标系70与摄像机坐标系60之间的变换62，可以使用现有技术中公知的校准方法(例如“手眼校准”)。例如，使用如在Y.Zhuang，Y.C.Shiu的“A noise-tolerant algorithm for robotic hand-eye calibration with orwithout sensor orientation measurement”，IEEE Transactions on Systems，Manand Cybernetics，第23卷(1993)，July/August，Nr.4，New York(U.S.)，第1168-1175页中描述的方法(“Roboter visuell-motorische Eichung”)。

对象坐标系40与传感器世界坐标系30之间的变换32，迄今为止在增强现实领域是普遍存在问题的。为了解决这一问题，根据本发明，使用与摄像机相结合的传感器系统，例如借助传感器系统20和摄像机11说明的那样。尤其是使用了一种传感器系统20，其中使用所谓的测量探头23进行接触真实对象12。这意味着，作为(所谓的校准过程的)起始点，几何属性(如表面或孔)被传感器系统20的操作者接近和接触，这样确定它们在传感器世界坐标系30中的位置。因此，用这种方法在所谓的校准中确定对象坐标系40和传感器世界坐标系30之间的变换32。传感器世界坐标系与传感器系统20的固定部分21成固定的关系并且与真实对象12成固定的关系。同样，固定部分21也与真实对象12成固定关系。传感头坐标系70和传感器世界坐标系30之间的变换31由传感器系统20提供。

校准之后，传感器系统的测量臂22与使用的摄像机11一起被定位，使得摄像机可生成图像。在这个过程中，生成传感器系统20相对于真实对象12的位置数据，以构成变换31，并且，在该位置数据的基础上确定摄像机11的位置和方向。此外，在当前实施例中，用于确定摄像机相对于传感头23的姿势的变换62是必不可少的。

尤其是执行以下步骤来确定计算摄像机姿势的起始参数，该起始参数例如是增强现实可视化(AR可视化)所需的。

通过对带有摄像机11的传感器系统20进行定位，使摄像机11可以探测对象12来生成图像，确定测量探头23相对于传感器世界坐标系30的位置，并将测量探头23相对于传感器世界坐标系30的位置数据以变换31的形式输出。然后，基于变换31、传感器世界坐标系30相对于真实对象12的位置(变换32)并基于摄像机11相对于测量探头23的位置(变换62)确定摄像机11相对于真实对象12的位置和方向。基本上，AR可视化所需的摄像机11和真实对象12之间的变换T的结果为：

T^-1＝32^-1·31·62^-1

在用于确定摄像机姿势的起始参数被确定之后，可以通过公知的计算方法来确定所述姿势。该计算在计算机14上进行，该计算机连接到包含摄像机11的相应传感器上，并能在考虑摄像机参数、姿势和显示面的情况下由3D数据生成虚拟图像，该虚拟图像与已有利地根据摄像机数据修正的摄像机图像相混合，并在显示装置15和/或头戴式屏幕系统18、19上显示(图3a或3b)。摄像机参数的确定本身是现有技术已知的。同样地，根据摄像机参数本身修正摄像机图像也是公知的。摄像机数据的传输可以优选采用数字传输标准进行，例如IEEE1394标准。

用这种方法可以确定摄像机坐标系60与数据模型13(在起始位置13-1)的坐标系51之间的变换61，以及在起始位置13-1的坐标系51与数据模型13在转移位置13-2的坐标系52之间的转移变换53。

在计算机14中存储了相应的计算机程序，该计算机程序根据上述方法执行基于特定位置数据确定摄像机11的位置和方向的过程。

通过使用最好是刚性的转接装置24使可更换的测量探头23和摄像机11相互连接，现在可以非常简便地实现高度精确的叠加。根据本发明，转接装置24使用现有技术中的机械方法这样地设计，使得可以以高的重复精度安装和固定不同的测量探头23。有利地，探头23设置有一种能力，使得可装备相应传感器装置的转接装置24能够自动地识别该探头并且计算机14可以相应地自动调用修正的探头信息。转接装置24可以优选由支架或类似的机械器件(例如钢索等)支撑，或操作者能够被解放。

图3以示意图示出了根据本发明的用于确定摄像机或显示装置相对于真实对象的位置和方向的系统10的其它实施例，分别在各个部件之间具有可视化变换。系统10又包含具有至少一个测量臂22形式的第一活动部分的传感器系统20，至少一个测量探头23可耦接到该第一活动部分上。此外，设置有传感器系统20的第二活动部分25，该第二活动部分在当前实例中不与机械臂22机械式连接，也就是一个独立的可运动的传感头25。在最简单的情况下，该传感头25可以仅仅是任意的标记。

设置在传感器系统的测量臂22上的跟踪系统16(例如光学跟踪系统)用于跟踪(“Tracken”)传感头25。为此，跟踪系统包括带有计算机系统的摄像机，该摄像机探测和跟踪例如传感头25的标记。为此，确定跟踪系统坐标系80与(例如由所述标记定义的)传感头坐标系90之间的变换81。为了确定测量探头坐标系70与跟踪系统坐标系80之间的变换，可以再次使用“手眼校准”。此外，传感头坐标系90与摄像机坐标系100之间的变换91是公知的。变换101表示摄像机坐标系100与数据模型13的坐标系51之间的变换。

在根据图3a的实施方式中，摄像机17设置在传感器系统的传感头25上，并且适合于且定位为生成包含真实对象12的至少一个部分的图像。摄像机生成的图像成像在头戴式显示器(HM)18上并在该图像中插入虚拟信息，用户9将该头戴式显示器戴在头上。跟踪系统16(也称为由外向内传感器系统(outside-in-Sensor-System))或测量臂22这样地设置，使得摄像机17被跟踪系统16探测到。摄像机17和显示器18构成所谓的视频透视系统，其中在用户眼前设置视频屏幕(显示器18)，在该视频屏幕上使真实的和虚拟的视觉印象融合在一起。

为了通过可与接口装置26耦接的处理装置14确定摄像机17相对于真实对象12的位置和方向，接口装置26(见图1)用于输出传感器系统20相对于真实对象12的第一位置数据(特别是用于计算变换31)和跟踪系统16的第二位置数据(特别是用于计算变换81)。所述数据用于虚拟数据模型13与摄像机17生成的图像的融合。接口装置26可以是无线的或有线的，也可以包含多个单独的接口，或在传感器系统的不同位置。例如，跟踪系统16也可以通过接口装置的一个对应接口直接连接到计算机14。

换言之，由外向内传感器系统16观察所谓的由外向内传感头25并动态确定其相对于传感头坐标系90的姿势。一个适当的由外向内传感器系统16可以是具有一个或多个摄像机的光学跟踪系统，光线标记为其构成传感头25。但是，也可以使用通过测量时间或角度来确定姿势的方法。使用传感头25至摄像机17(优选固定在头戴式屏幕系统18上)的变换91，可以为观察者9叠加虚拟对象13，该虚拟对象相对于真实对象12具有尽可能准确的姿势。摄像机17可能是立体摄像机系统，并且HMD显示有立体感的图像。更优选地，HMD被装备有摄像机和由外向内传感头的便携式监视器代替。

在图3b的实施方式中，半透明的头戴式显示器形式的显示装置19(光学透视显示装置)取代摄像机17和显示器18直接设置在传感器系统的传感头25上。就光学透视来说，融合是通过所谓的光学混频器(用户眼前的半透明显示装置)实现的，在半透明显示装置上通过装置的透明度看到真实世界，并通过向显示装置投影实现虚拟信息的叠加，因此摄像机17可被省去。显示装置19的位置确定可以与根据图3a的系统类似地实现(如参照对摄像机17的说明)。此外，传感头坐标系90与显示器坐标系110之间的变换91是公知的。变换111表示显示器坐标系110与数据模型13的坐标系51之间的变换。在这种情况下通常仍需要所谓的透视校准，例如在文献US2002/0105484A1中描述的。

参照图1和2关于摄像机11姿势确定的说明也同样适用于跟踪系统16在根据图3的布置中的姿势确定，在该布置中跟踪系统16取代摄像机11设置在测量臂22上。

图4示出了另一种有利的结构，其中用于显示摄像机11的图像的显示装置15安装到转接装置24上。此外，计算机14也安装到转接装置24上。优选的，摄像机11、计算机14和显示装置15实施为安装到转接装置24上的集成装置。在这种情况下指的是集成解决方案(例如基本上由现有技术已知的具有屏幕和集成摄像机的紧凑计算机)。

图5示出了在实施本发明概念的增强现实系统中方法过程的流程图。特别地，图5示出了利用图1至3的系统结构进行构件叠加的优选过程。

在第一步骤中，保证对象12和传感器世界坐标系30彼此具有固定的关系(步骤1.0)。然后利用测量探头23执行校准过程(步骤2.0)并将结果存储在计算机14中。该校准过程优选包括在对象12上识别适宜的校准几何体(例如孔或面)。不同形式的探头(例如尖端或球)可以有利地适用于不同的校准几何体。为了避免更换测量探头，有利的是校准几何体根据测量探头形状进行输入。为了能够执行校准过程，可能的算法必须同时知道相对于传感器世界坐标30的实际特征和在对象坐标系40中的对应应有特征。优选地，用户可以通过鼠标点击选择CAD模型的一个部分(例如一个点，一条边或一个面)，来告知系统涉及哪一种对应。特别地，现在一个算法根据规则集从选定的CAD部分周围的CAD拓扑和选定的校准算法确定测量程序的顺序，其中，适宜的测量程序根据该规则集设置为最佳选择。另一种可能性在于，用户还可以在一开始不选择校准算法，而只选择CAD部分，然后由规则集全局性定义校准算法、特定测量程序、探头的选择和测量程序以及要输入的CAD部分的顺序。如果没有CAD模型，也可以直接指定具有有限自由度的应有特征(步骤2.1)。

如果程序已经知道哪个CAD部分或哪个输入的应有特征将以哪个测量程序输入，或该程序已经将其告知用户(例如在视觉上)，用户就可以插入需要的测量探头，如果还未插入的话，并实施该测量程序(例如圆形探测球在一个平面上移动)。对每个选中的CAD部分执行这一过程。最后，该校准算法可以确定变换32(步骤2.1.1和步骤2.1.2)。

现在可以继续测试。例如，附加设计元件现在可以虚拟地附着到作为真实对象12的样品车辆上，或者可以实施结构元件的应有/实际比较(步骤3.0)。为此，可能要载入一个或多个虚拟对象，例如用虚拟现实建模语言(VRML)描述的虚拟对象(步骤3.1)。但是可选的，也可以直接显示校准所用的虚拟几何体。优选地，数字模型的材料特征是可变的(步骤3.2)。

如果视觉控制不令人满意，在必要时可以明确地记载偏差(步骤4.0)。真实对象的感兴趣部分和虚拟数据模型的对应部分之间距离的测量可以例如通过以下方法实现：用户在图像中选择虚拟模型的一部分，例如感兴趣点，从而确定第一点，随后用于利用测量探头选择真实对象上的对应部分，从而确定第二点，待确定的距离就是所述第一和第二点之间的距离。选择的顺序也是可反过来的，也就是说，可以首先利用测量探头选择现实中的真实对象上的感兴趣的点，然后选择虚拟模型上的对应点。

还可以通过与参与者进行交流来存储实际屏幕状态(步骤4.1，例如存储为JPEG)。如果要生成定量声明，用户一方面可以例如通过一个如鼠标滚轮的操作元件，改变叠加的虚拟几何体13的修正变换53(图2)的单个自由度，直到几何体13尽可能正确地叠加到真实部分12(步骤4.2a)。该修正变换53就生成了关于偏差的声明。可选地，可以通过计算机辅助确定偏差(步骤4.2b)。在该实例中，一个优化方法改变修正变换53并测量剩余的偏差，其计入优化方法的成本函数。成本函数的测量能够以二维或三维的方式实现。三维数据一方面可由附加的3D传感器(例如激光扫描仪)确定，或通过现有技术中公知的3D重构算法获得，3D重构算法利用了不同的摄像机视图和相关的跟踪数据。

根据本发明的系统和方法的优势和应用再次总结如下：

现有的系统具有如下缺点：传感器坐标系和对象坐标系之间关系的建立通常不能充分解决。例如，跟踪系统观察现实中的例如一个标记(比如在车辆上)。但是该标记必须先利用测量系统相对于世界坐标系(车辆坐标系)单独校准。因此上述系统和方法的明显优势就是校准和观察系统的直接结合，优点如下：

-节省叠加任务的时间，因为不必在校准和观察工具间进行切换。这关系到物理上的改变和操作软件的切换。

-节省硬件开销，例如在光学系统中，因为昂贵的标记只需为组合头获取和维护，而不必为不同的头获取和维护。

-降低软件复杂度，因为软件不需要管理例如不同的光学标记。