在部件的组件的生产中控制使用便携式手持工具的手动操作

摘要

本发明涉及一种用于在部件的组件的生产过程中控制手动操作的系统，该系统包括允许组装技术人员在所述部件的组件的多个元件上执行手动操作的便携式手持工具以及至少部分地集成到附接于所述便携式手持工具的电子模块中的定位装置，该定位装置能够通过所述定位便携式手持工具在与表示所述部件的组件的三维建模图像的一组建模数据相关联的三维坐标系中的位置来确定与元件相关联的至少一个手动操作的位置。根据本发明，所述定位装置包括属于所述电子模块的深度相机和能够基于由所述深度相机捕获的图像来估计所述便携式手持工具的位置的处理模块。

说明书

技术领域

本发明总体上涉及使用便携式手持工具生产和/或维护部件的组件的操作，以允许组装技术人员在组件的元件上执行手动操作。

便携式手持工具可以是设计成对拧紧元件(诸如形成螺栓组件的螺栓和螺母)执行拧紧操作的拧紧工具(扳手或螺丝刀)。便携式手持工具还可以是设计成配合诸如铆钉等元件的工具，或者是设计成在部件的组件上的各种位置处穿孔、焊接或切割的工具。

背景技术

在许多工业领域，例如与运输相关的工业领域，特别是其中组装过程可能高度复杂的航空航天工业中，在部件的组装过程中对组装技术人员使用手持工具所执行的手动操作进行控制是必不可少的。

特别地，控制拧紧操作是必要的，这是因为组装的复杂性和组装技术人员必须作用于其上的通常大量的拧紧元件是难以追踪的误差源。在确定为确保组装可靠性的要求之中，特别是需要确保在预定的部件的组装中涉及的所有螺栓组件实际上已拧紧。还需要确保实际上已拧紧的每个螺栓组件在拧紧扭矩方面被适当地拧紧。具体地，过度拧紧的螺栓组件可能会不可逆转地损坏组装的部件。相反，未充分拧紧的螺栓组件可能会在振动作用下松开。

最后，期望允许组装技术人员在部件的组件的生产过程中对他们使用手持工具执行的手动操作进行实时控制，并且优化他们在该生产上花费的时间。

文献US 8311658涉及一种系统，该系统用于在部件的组件的生产过程中控制拧紧操作，并且用于当便携式拧紧工具在每个拧紧操作的位置处移动时通过定位便携式拧紧工具来定位由操纵该便携式拧紧工具的组装技术人员执行的每个拧紧操作。为此，该系统使用了定位装置，该定位装置一方面包括便携式拧紧工具上配备的射频信号发射器，另一方面包括放置在组件的生产空间中的多个射频信标(beacons)。拧紧工具在与生产空间关联的三维坐标系中的位置以及因此的由拧紧工具拧紧的拧紧元件的位置在传统上是例如采用飞行时间与真距离多点定位技术(time-of-flight and true-range multilaterationtechnique)基于从拧紧工具的位置发射并由射频信标接收的射频信号而获得的。从拧紧工具的位置发射的射频信号可以进一步包括与每个拧紧操作的状态(诸如拧紧操作已开始、正在进行中和/或已结束的指示)有关的信息。由定位装置确定的拧紧工具所占据的各种位置通过通信网络(WAN、LAN或因特网)被传输到报告和显示系统，该报告和显示系统特别包括便携式的设备屏幕(电话、平板电脑)和固定的计算机屏幕。报告和显示系统将它接收到的在与生产空间关联的三维坐标系中的每个位置转换成在与表示部件的组件的三维建模图像的一组建模数据(例如，CAD文件)相关联的三维坐标系中的位置。然后，报告和显示系统可以控制在各种屏幕上显示实时突出的每个拧紧元件在三维建模图像上的位置以及与每个拧紧元件相关的拧紧操作的状态的图像。文献US 8311658中描述的系统因此使得可以远程地定位、监测和保存各种拧紧操作的状态。此外，负责拧紧操作的技术人员也可以对拧紧操作的进展状态进行控制。

然而，该系统有许多缺点。首先，该系统是昂贵的，因为它需要使用大量的接收信标，这可能取决于待生产的组件的复杂性和尺寸而显著。另外，基于波的使用的定位技术可能会因组装技术人员移动所在的工作环境而产生偏差。例如，飞行器和航天器的金属框架和蒙皮形成了波无法通过的法拉第笼(Faraday cage)。另外，很难找到将拧紧工具与信标之间的通信优化的信标的正确位置。因此，通常需要对传输协议进行优化以克服信号反射的问题。最后，这种系统无法获得在某些用于定位的情况下所需的精度水平(通常为毫米或小于毫米的量级)。

发明内容

为了克服上述缺点，本发明提供了一种用于以高精度定位和识别通过手持工具在部件的组件的元件上执行的手动操作的低成本解决方案。

更具体地，本发明涉及一种用于在部件的组件的生产过程中控制手动操作的系统，该系统包括允许组装技术人员在所述部件的组件的多个元件上执行手动操作的便携式手持工具以及至少部分地集成到附接于所述便携式手持工具的电子模块中的定位装置，所述定位装置能够通过定位所述便携式手持工具在三维坐标系中的位置来确定与元件相关联的至少一个手动操作的位置，该系统的特征在于，

所述三维坐标系与所述部件的组件的三维模型关联，

控制系统包括存储有多个CAD文件的存储器，该多个CAD文件允许在生产的各个阶段建构部件的组件的三维建模图像，

并且所述定位装置包括属于所述电子模块的深度相机以及能够估计并保存所述便携式手持工具的当前位置的处理模块，所述当前位置是通过将从所述深度相机所捕获的至少一个当前图像中提取出的点云与从表示所述部件的组件的当前状态的三维建模图像中提取出的网格或点云对准来估计的，表示当前状态的所述三维建模图像是基于来自存储器中存储的多个CAD文件之中的一个CAD文件来构建的。

根据本发明的系统的其他有利和非限制性特征：

-所述定位装置还可以包括集成到所述电子模块中的惯性测量单元，处理模块能够基于由所述惯性测量单元递送的测量结果估计出便携式手持工具从最后估计和保存的当前位置进行的移动，并且能够基于最后的当前位置和所述移动估计出所述便携式手持工具的至少一个更新位置；

-处理模块可以被集成到电子模块或远程设备中；在后一种情况下，电子模块包括通信装置，该通信装置能够将由深度相机捕获的图像和来自所述惯性测量单元的测量结果传输到远程设备，以供处理模块处理；

-系统还可以包括至少一个便携式用户界面，该至少一个便携式用户界面能够根据由所述定位装置确定的相关联手动操作的位置，自动地向所述组装技术人员指示要应用于所述元件的设定点参数；

-所述至少一个便携式用户界面被集成到所述电子模块和/或移动电话和/或便携式平板电脑中；

-用户界面优选地是显示屏；

-设定点参数被预先保存在所述系统的存储模块中，该存储模块保存有要应用于所述部件的组件的所述多个元件中的每一个的一组设定点参数；

-电子模块可以包括确认装置，该确认装置能够触发与手动操作有关的信息的自动保存；

-该确认装置可以是手动操作按钮，该手动操作按钮的致动触发了与手动操作有关的信息的所述自动保存；

-所述信息包括确认时间以及允许唯一地识别与手动操作相关联的元件的参考标记；

-手持工具是例如拧紧扳手或螺丝刀、铆接机、订书机、钻机、切割机或焊机。

本发明的另一主题是一种用于在部件的组件的生产过程中控制手动操作的方法，该方法包括以下步骤：

-组装技术人员使用便携式手持工具在所述部件的组件的多个元件上执行手动操作；以及

-通过定位所述便携式手持工具在三维坐标系中的位置来确定与元件相关联的手动操作的位置，

该方法的特征在于，

三维坐标系与所述部件的组件的三维模型关联，

该方法包括在存储器中存储多个CAD文件的步骤，该多个CAD文件允许在生产的各个阶段构建部件的组件的三维建模图像，

并且确定步骤包括由属于附接于所述便携式手持工具的电子模块的深度相机进行图像捕获，以及通过将从所述深度相机所捕获的至少一个当前图像中提取出的点云与从表示所述部件的组件的当前状态的三维建模图像中提取出的网格或点云对准来估计和保存所述便携式手持工具的当前位置的步骤，表示当前状态的所述三维建模图像是基于来自存储器中含有的多个CAD文件之中的一个CAD文件来构建的。

根据方法的一些可能的实施方式：

-该方法还可以包括以下步骤：基于由属于所述电子模块的惯性测量单元递送的测量结果估计便携式手持工具从最后估计和保存的当前位置进行的移动，并基于最后当前位置和所述移动估计所述便携式手持工具的至少一个更新位置；

-方法还可以包括根据来自确定步骤的相关联手动操作的位置向便携式用户界面自动地传输要应用于所述元件的设定点参数的步骤；

-所述传输步骤优选地包括在显示屏上显示所述设定点参数，所述显示屏被集成到所述电子模块、移动电话和/或便携式平板电脑中。

附图说明

参考通过非限制性实例给出的附图提供的以下描述将使得容易理解本发明由什么构成以及如何实现本发明。在附图中：

图1以简化形式示出了根据本发明第一可能实施例的用于控制手动操作、特别是拧紧操作的系统；

图2以框图的形式示出了图1的用于控制手动操作的系统的电子模块；

图3以简化形式示出了根据本发明另一可能实施例的用于控制手动操作的系统；

图4示出了在基于由深度相机捕获的图像和由附接至可移动物体上或集成到可移动物体中的电子模块的惯性测量单元测量的数据来估计可移动物体的位置的方法中将要实施的可能步骤，该方法例如在图1至图3的用于控制手动操作、特别是拧紧操作的系统中实施。

具体实施方式

在附图中，相同或等同的元件将具有相同的附图标记。

在下文中，将在对使用便携式手持工具(诸如螺丝刀或扳手，并且在下文中被称为“便携式拧紧工具”)的拧紧类型的手动操作进行控制的非限制性背景下描述本发明。然而，本发明还适用于对涉及手持工具的其他类型的手动操作进行控制。因此，便携式手持工具还可以是设计成配合诸如铆钉或订书钉等元件的工具，或者是设计成在组件上的各种位置处穿孔、将组件的各种部件焊接或对组件的部件进行切割的工具。

现在将参考附图来描述用于对使用便携式拧紧工具的拧紧操作进行控制的若干系统。所有这些系统共同使用了定位装置，该定位装置完全地(图1和图2)或至少部分地(图3)被集成到附接在便携式拧紧工具的电子模块中，这些定位装置能够通过定位便携式拧紧工具(当面对拧紧元件时)在与表示所述部件的组件的三维建模图像的一组建模数据相关联的三维坐标系中的位置来确定与拧紧元件相关联的至少一个拧紧操作的位置。在下文中，将便携式拧紧工具描述为用于螺母的拧紧扳手。然而，本发明适用于为其他类型的拧紧元件设计的其他类型的拧紧工具，例如用于拧紧螺钉的螺丝刀，或者如上所述，适用于允许其他类型的手动操作的其他类型的手持工具，例如订书机、打钉机(nailing machine)、铆接机、钻机、焊机或切割机。手持工具可以是随后附接电子模块的任何预先存在的手持工具(例如，传统的手动扳手或扭矩扳手)。作为变型，便携式手持工具被设计成从一开始就包含电子模块。

图1通过非限制性实例示意性地示出了根据本发明第一可能实施例的便携式拧紧工具，这里是用于螺母的拧紧扳手1，该便携式拧紧工具属于用于在生产部件的组件时对给定类型的手动操作(这里是拧紧)进行控制的系统。在图1中，附图标记2表示组装技术人员必须在部件的组件(未示出)中组装的部件以及技术人员必须使用便携式拧紧工具1拧紧以便组装该部件的两个螺母20、21的实例。便携式拧紧工具1包括电子模块3，在该第一实施例中，该电子模块3包含允许技术人员对他们执行的拧紧操作进行实时控制的所有功能。

图2示出了根据该第一实施例的电子模块3的框图。如上所述，这里的电子模块3包括能够定位拧紧扳手1的位置的所有定位装置。这些定位装置首先包括深度相机30，该深度相机30捕获组装技术人员移动该扳手以便连续地执行组件生产过程中的各种拧紧操作时拧紧扳手的环境的三维图像。深度相机30可以是立体相机，或根据飞行时间原理操作的相机(TOF相机)，或被称为结构化光相机的相机。在由于本公开的其余部分中给出的原因而特别有利的一个实施例中，电子模块3的定位装置还可以包括惯性测量单元31，该惯性测量单元31能够递送沿着与电子模块关联(并因此与拧紧扳手关联)的三个正交轴线的线性加速度的测量结果和角速度的测量结果。定位装置还包括处理模块32，该处理模块32接收由深度相机30捕获的三维图像，并且在适当的情况下，接收由惯性测量单元31进行的测量结果。根据本发明，处理模块32包括计算算法，该计算算法使得可以基于由深度相机30捕获的至少三维图像来估计电子模块3的位置，并且因此估计拧紧扳手1的位置。在与组件的3D模型关联的三维坐标系中估计该位置，该3D模型是通过保存在存储器33a中的CAD文件中包含的三维建模数据来获得的，如将在下文中说明的。电子模块3的数据库33b使得可以保存与拧紧操作、特别是技术人员在组装过程中作用于其上的拧紧元件的标识符有关的数据。

如图2所示，在该实例中，电子模块3还包括各种用户界面，特别是显示屏34。用户界面还可以包括一个或多个手动操作按钮35，以及一个或多个视觉指示器36(诸如发光二极管等)。电子模块3还包括一个或多个通信模块37，从而允许该电子模块与诸如便携式平板电脑、PC或服务器等外部设备交换信息。如果手持工具是连接的工具(例如，智能扭矩扳手)，则可以设置通信模块以便允许电子模块3与该连接的工具交换数据。可以使用任何有线(以太网等)或无线(Wi-Fi、蓝牙等)通信协议。最后，图2示出了微处理器38a及其相关联的存储器38b，从而使得可以控制电子模块3的各个部件和动力电池39的操作。

图1和图2的系统可以如下使用：组装技术人员拿起拧紧扳手1并移动它，直到拧紧扳手面对待拧紧的螺栓组件中的一个，例如图1所示的螺栓组件20。基于由深度相机30捕获的图像，电子模块3将能够计算并保存电子模块3相对于组件的三维模型的位置。更具体地，如将在下面更详细地说明的，可以通过将从由深度相机30递送的至少一个当前3D图像中提取的点云与从对部件的组件的当前状态进行建模的三维图像(例如，CAD文件)中提取的点云对准来估计电子模块3的当前位置，其中三维图像是处理模块32从存储器33a中获得的。作为变型，从由深度相机30递送的图像中提取的点云可以直接在对部件的组件的当前状态进行建模的三维网格上对准。三维网格可以直接对应于对组件进行建模的CAD文件。在任何情况下，电子模块3都能够在任何时间或至少定期地知道其相对于建模组件的当前状态的相对位置。基于3D图像进行的估计使得可以获得小于毫米的精度水平的估计位置。因此，当拧紧工具1面对组装技术人员将要作用于其上的螺栓组件时，该系统使得可以以高精度定位并因此识别该螺栓组件。如将在下面说明的，当电子模块3进一步配备有惯性测量单元31时，处理模块32可以有利地构造为基于深度相机30所捕获的图像来估计拧紧工具1从其已估计并保存的最后当前位置进行的移动，并且根据该移动和该最后估计的当前位置来更新拧紧工具1的位置。

技术人员必须执行的每个手动操作的设定点参数可以有利地预先保存，例如保存在电子模块3的存储模块33a中保存的对组件进行建模的CAD文件中。在拧紧工具1的非限制性实例中，参数是待应用于每个拧紧元件的拧紧设定点。对于铆接式手持工具，设定点参数涉及待施加的力。对于钻式手持工具，设定点参数包括例如钻头的直径和/或旋转速度。对于焊机式手持工具，设定点参数包括例如焊丝的直径和速度、焊接电弧的脉冲频率和/或强度。因此，在一个可能的实施例中，根据由电子模块3基于当拧紧工具面对特定拧紧元件时捕获的图像估计出的该拧紧元件在组件中的位置，该电子模块3可以基于估计的位置从存储模块33a检索适合于组装技术人员正在作用的拧紧元件的设定点(这里是拧紧设定点(典型地是拧紧扭矩))，并且自动地控制该拧紧设定点在电子模块3的屏幕34上的显示。应当注意，除了屏幕34之外或者作为屏幕34的代替，可以使用其他用户界面，例如可以使用声音指示器，该声音指示器向组装技术人员提供声音信号以指示他们必须根据与该拧紧元件相关联的拧紧操作的位置应用于拧紧元件的拧紧设定点参数，或者可以使用远程设备上的显示屏幕，例如便携式平板电脑(图1中未示出)，电子模块3可以使用例如Wi-Fi或蓝牙协议经由无线通信模块与该平板电脑交换信息。

在任何情况下，相对于所有的现有解决方案，对于组装技术人员来说无可置疑地节省了时间，在所有的现有技术方案中技术人员必须并行查阅文档以便知道他们必须针对组件的每个元件应用的设定点参数。

视觉指示器36(例如二极管)可以发出预定颜色的光(例如绿光)，以便向组装技术人员指示他们确实正作用在正确的拧紧元件上。一旦执行了拧紧，技术人员就可以通过例如手动操作按钮35来确认拧紧操作。然后，该按钮的致动触发了与组装技术人员刚刚执行的拧紧操作有关的信息的自动保存，优选地保存在数据库33b中。该信息有利地包括拧紧操作结束的精确时间戳，例如对应于组装技术人员通过按钮35确认拧紧操作的时间(按钮触发的时间)，以及包括用于唯一地识别与拧紧操作相关联的拧紧元件的参考标记(reference)。作为相对于手动操作按钮的致动的变型，在一些实施例中，拧紧操作的确认和与拧紧操作有关的信息的保存可以是自动的：例如，在手持工具是机械扭矩扳手的情况下，当存在惯性测量单元31时，由惯性测量单元31进行的测量结果可以用于识别扳手围绕螺栓组件的突然加速，对应于当达到拧紧扭矩时扳手的咔哒声。在手持工具是连接的扭矩扳手、也就是说尤其能够传输信息的扭矩扳手的另一实施例中，可以将扳手设置为经由配置有与扳手所使用的通信协议相匹配的通信协议的通信模块37向电子模块3传输已经达到作为设定点的拧紧扭矩输入的指示，这对应于操作的确认。

由惯性测量单元31进行的测量结果可以用于估计实际施加的拧紧扭矩。作为变型，在便携式拧紧工具1是能够测量实际施加的拧紧扭矩的智能扳手或连接扳手的情况下，也可以将电子模块3设置为检索并保存由扳手测量的拧紧扭矩。

按钮35的致动也可以触发在屏幕34上自动显示待由组装技术人员执行的下一拧紧操作，例如图1中螺栓组件21的拧紧。组装技术人员对于他们必须在组装中执行的每个拧紧操作重复上述所有操作。在完成这些操作时，例如通过显示在屏幕34上的特定消息，可以提示组装技术人员拍摄所生产的组件的照片。手动操作按钮35可以用作借助相机30拍摄照片的触发器。有利地将照片保存在例如数据库33b中。因此，可以具有组装过程的质量的视觉证明。

在上述实施例中，组装技术人员具有允许对部件的组件的手动操作进行控制、检查和监测的完全自主的手持工具。

图3示出了根据本发明的用于控制拧紧操作的系统的另一实施例。该系统与上面参考图1和图2描述的系统的类似之处在于，其包括附接到便携式拧紧工具1的电子模块3，该模块至少包括深度相机30，并且优选地还包括惯性测量单元31。然而，对由深度相机捕获的3D图像的实际处理以及在适当的情况下来自惯性测量单元的测量结果在这里不是在电子模块3中本地执行而是在远程设备4中执行。该远程设备优选地是旨在由组装技术人员使用的便携式平板电脑。换句话说，上面参考图2描述的处理模块32、存储模块33a和数据库33b在这里不再集成到电子模块3中，而是集成到远程设备4中(图3中未示出集成)。估计工具相对于组件模型的位置所需的所有数据由电子模块3的通信模块37经由通信链路5(例如，Wi-Fi或蓝牙类型的无线链路)传输到便携式平板4的对应通信模块(未示出)。因此，组装技术人员具有尺寸大于图3中模块3的屏幕34的远程设备的屏幕40，从而便于控制和监测操作。例如，由处理模块估计的拧紧工具的当前位置可以在屏幕40上与组件的三维建模图像叠加查看。这里同样，可以有利地基于使得能够识别拧紧元件的拧紧工具的估计位置，从存储在数据库中的CAD模型文件中检索适合于组装技术人员将要作用于其上的拧紧元件的拧紧设定点，并且通过在屏幕40上显示而指示给组装技术人员。

与上面参考图1和图2所述的系统中一样，一旦执行了拧紧，就由技术人员借助于手动操作按钮35手动地或自动地确认拧紧操作。在任何情况下，确认触发了与组装技术人员刚刚执行的拧紧操作有关的信息在电子模块3的数据库中和/或在远程设备的远程数据库中的自动保存。

因此，根据本发明的控制系统允许组装技术人员能够实时检查他们确实已经拧紧了所有的拧紧元件，并且在将适配的拧紧设定点另外自动供应给技术人员的变型中，能够确保每个拧紧元件已经以正确的拧紧参数被拧紧。

可以在任何时间检索和显示由电子模块3和/或由远程设备4保存的所有信息。下面的表1给出了与给定拧紧元件有关的拧紧操作的状态的示例性表示。

[表1]

在上述实例中，组装技术人员或任何其他人员可以核实携带参考标记11532的拧紧元件在11:57时(对应于拧紧操作的确认时间)被拧紧，其中设定点或估计的拧紧扭矩等于120N.m。可以添加其他信息，诸如拧紧动作的日期或与组装技术人员唯一相关联的标识符。

现在将参考图4详细描述在用于基于由深度相机捕获的图像和由附接到或集成到可移动物体中的电子模块的惯性测量单元测量的数据来在给定环境中定位可移动物体的方法中要实施的各种可能步骤。期望定位的可移动物体可以是上文在控制手动拧紧操作的非限制性背景下描述的便携式手持工具1，在该情况下，定位方法可以通过电子模块3的处理模块32或远程设备4中的远程处理模块的计算算法来实现。更一般地，期望定位的物体可以是能够在环境内移动或被移动的任何物体，例如机械臂的末端。

在下文中，以非限制性的方式认为可移动物体将定位于其中的环境对应于生产部件的组件的生产空间。

回想一下，可用于估计电子模块的位置并因此估计该模块固定于其上或集成到其中的可移动物体的位置的数据是：

-包含允许对部件的组件进行三维建模的数据的CAD文件；

-由深度相机捕获的三维图像；以及

-由惯性测量单元递送的测量结果。

在应用于控制诸如拧紧等手动操作的背景下，CAD文件必须使得可以在组装过程中的各个阶段对部件的组件进行建模。换句话说，可以获得允许在该组件的生产中的各个阶段构建表示组件的各种数字模型的建模数据。

下面描述的算法的目的是识别集成有深度相机和惯性测量单元的电子模块在与对应于部件的组件当前状态的数字模型相关联的三维坐标系中的相对位置。

1.

如上所述，组件可以根据已经组装或尚未组装的部件而处于多种状态。为了获得位置，算法需要知道数字模型的当前状态，这是因为算法将深度相机所观察到的信息与数字地观察到的信息进行比较，即与表示部件的组件的当前状态的三维建模图像进行比较。当前数字模型可以由第三方(操作者、生产监测软件)直接输入，从表示数字模型的当前状态的CAD文件中选择。作为变型，当前数字模型是基于从深度相机所提供的当前三维图像中提取的兴趣点的选择来确定的，这些兴趣点与根据2D/3D物体识别中常规使用的技术计算出的局部参数相关联。为了确定组件的建模当前状态，将计算出的局部参数与在组件的各个阶段的3D模型的基础上通过数字模拟相机所看到的以相同方式获得的参数进行比较。

在图4的右边，示出了由深度相机捕获的真实组件的示例性三维当前图像Im

2.

用于确定模块相对于数字模型的相对位置的一般原理在于搜索将捕获的三维图像Im

-一方面，由深度相机捕获的当前三维图像的点云(该点云被称为“源”点云)；以及

-另一方面，建模的三维图像的点云(该点云被称为“目标”点云)。

图4的右手部分示出了从当前三维图像Im

为了获得可能的“源”点云的最准确表示并因此便于两个点云的对准，步骤110将优选地使用由深度相机在给定时段上连续捕获的多个图像，每个捕获的图像被转换成点云。这些连续图像的捕获时间优选地足够接近(例如，对应于每秒30个图像的捕获频率)，使得各个镜头(shot)是相似的。然后，将通过这些连续镜头获得的点云对准，以便形成仅一个“源”点云。为了对准这些点云并形成源点云，步骤110将基于由惯性测量单元递送的测量结果来计算每个镜头之间的相对移动。通过以此方式进行，有利地获得了非常高密度的点，同时降低了由深度相机潜在产生的数字噪声。

优选地，在两个阶段中执行将“源”点云与“目标”点云对准的过程，首先执行粗略对准(子步骤121)，然后执行精细对准(子步骤122)。

对于粗略对准的实现，子步骤121包括例如随机选择“源”点云中的多个点。将每个选择的点与“目标”点云中的具有与和选择的点相关联的局部参数最接近的局部参数的点进行配对，并且寻求优化变换方式以最小化同一对点之间的距离。

图4的与子步骤121相对的右手部分示出了从当前三维图像Im

从子步骤121中找到的对准开始，子步骤122实现ICP(迭代最近点)类型的算法，该算法在于将“源”点云中的每个点与“目标”点云中的按照欧几里得距离(Euclideandistance)而言的最近点相关联，然后迭代地搜索使每个配对点之间的距离最小化所需的变换方式。对于优化的每次迭代，将点重新关联。

在子步骤122完成时，电子模块知道获得云中的点的对准所需的变换方式，并且因此从中推断出电子模块在与建模的图像关联的三维坐标系中的位置。

如上所述，在该方法的一个变型实现中，从深度相机30所递送的图像中提取的点云可以不在对组件进行建模的点云上对准，而是直接在对部件的组件的当前状态进行建模的三维网格上对准。

3.

为了不必太频繁地重复步骤110至步骤120(这在计算时间方面是昂贵的)，计算算法有利地将通过在步骤130中基于由所述惯性测量单元递送的测量结果计算模块相对于先前保存的位置的移动来更新位置。因此，可以以常规方式使用例如卡尔曼滤波(Kalmanfiltering)来更新位置。

然而，对于位置的每次更新，由深度相机捕获新的三维图像。该图像可以有利地变换为点云并基于先前计算的移动与“目标”点云对准，然后添加到“源”点云中。为了防止“源”点云包含太多的点(这可能导致存储器问题)，算法可以有利地当区域太密集时通过随机删除点来过滤“源”云。通过优先删除相对不一致的点和/或通过用小的密集点集的重心来替换小的密集点集，也可以设想选择过剩点的更智能的方式。

步骤130可以重复一定次数，例如预定次数N次，这如图4所示。然而，移动计算随着时间的推移会显著损失精度，特别是因为加速度测量结果被积分两次以计算移动。为了对抗这种现象，在N次迭代之后，计算算法可以有利地使用例如ICP类型算法来执行在步骤130中由深度相机获取的所有点云对“目标”点云的重新对准。

4.

只要估计的位置被认为是可靠的，就可以执行利用由惯性测量单元递送的测量结果进行电子模块的位置估计的更新。因此，期望周期性地检查估计的可靠性。为此，在步骤140中，计算算法可以被有利地配置为基于“源”点云的估计位置将从相机捕获的图像中提取的点云与“源”点云对准。然后，将位置的可靠性定义为“源”云中的每个点相对于“目标”云的欧几里得距离的总和。如果可靠性高于某个预定阈值，则必须将使用来自惯性测量单元的测量结果的位置估计视为不可靠。然后，将计算算法配置为从步骤110重新开始步骤。

除了在计算成本方面节省之外，将来自惯性测量单元的测量结果与对由深度相机捕获的图像进行的处理相关联还可以具有许多优点。因此，例如，在将电子模块应用于控制部件的组装过程中的拧紧操作的背景下，深度相机可能不能针对太靠近的物体给出足够清晰的图像。因此，即使当便携式拧紧工具尽可能靠近拧紧元件时，通过使得可以估计便携式拧紧工具的位置，由惯性测量单元递送的测量结果也能够填补相机可能不足的时期。另外，尽管深度相机已经使得可以获得位置估计的毫米量级的精度水平，但是通过关联加速度测量结果以更新估计位置(例如通过卡尔曼滤波)，仍然可以提高精度的增益。