使用增强现实可视化和修改操作界定区域

摘要

一种用于可视化和修改机器人操作区域的增强现实(AR)系统。该系统包括与机器人控制器通信的AR装置，诸如头戴式耳机。AR装置包括用于操作区域的AR显示和修改的软件。经由对视觉标记的检测，向机器人坐标系登记AR装置。AR装置显示覆盖在机器人和现有固定设备的真实世界图像上的操作区域，其中随着用户在机器人工作单元周围移动，更新显示。虚拟操作区域上的控制点被显示，并允许用户重新调整操作区域的形状。机器人可以在AR会话期间操作，运行机器人的编程运动，并评估操作区域。区域违规在AR显示器中突出显示。当区域定义完成后，将最终确定的操作区域上传到机器人控制器。

说明书

相关申请的交叉引用

本申请要求于2018年6月26日提交的名称为“增强现实中的双重检查安全区域可视化和修改”的美国临时专利申请序列号62/690,125的优先权日期的权益。

背景技术

技术领域

本发明涉及机器人操作区域建立的领域，并且更具体地，涉及一种使用增强现实显示装置来可视化和修改机器人操作区域和边界(诸如安全区域)的系统，其中使用覆盖在真实世界视图上的计算机图形显示和操纵区域，随着跟踪装置/用户的位置，图形将不断更新，并且在真实世界对象上区域的覆盖自动发生。

工业机器人是非常复杂的机器，其能够精确且可靠地执行许多不同的功能。熟悉机器人安装/应用程序的人都知道定义操作区域，这些操作区域定义了机器人的允许或禁止的空间运动。操作区域以多种方式使用，包括用作禁止机器人操作的安全区域，在一定条件下(诸如人工操作员在场的情况下)禁止机器人操作的有条件安全区域，用作机器人必须始终保留在其内的区域的许可区域，监视关节位置的可容许性的关节位置检查区域，以及干扰检查区域。然而，使用先前的技术为机器人和多机器人系统建立操作区域是困难且耗时的。

在现有系统中，操作区域和边界难以设置和可视化，并且操作区域的编辑完全由菜单驱动且复杂。此外，“4D可视化”系统无法示出操作区域与真实世界对象的重叠，除非导入了对象的基于计算机的对象模型。此外，对操作区域边界的每次改变都需要重新启动机器人控制器以便评估操作区域，因此改变以优化区域非常耗时。

鉴于上述情况，期望提供用于可视化和修改机器人操作区域的交互式增强现实(AR)工具。

发明内容

根据本公开的教导，公开了一种用于可视化和修改机器人操作区域的增强现实系统。公开的系统包括增强现实(AR)装置，诸如与机器人控制器通信的头戴式耳机(headset)。该AR装置包括运行用于操作区域的AR显示和修改的软件的处理器。在与机器人控制器建立通信并下载任何现有的操作区域之后，经由对视觉标记进行检测或其它技术，向机器人世界坐标系登记AR装置。然后，AR装置和软件显示覆盖在机器人和任何现有固定设备的真实世界图像上的操作区域，其中随着用户采用AR装置在机器人工作单元中周围移动，更新显示。虚拟操作区域上的控制点被显示，并允许用户通过移动控制点来重新调整操作区域的大小和形状。在AR会话期间，能够操作机器人，诸如运行机器人的编程运动并评估操作区域。任何区域违规(violation，违反)都会在AR显示器中突出显示，诸如通过颜色变化。当区域定义完成时，将最终确定的操作区域上传到机器人控制器，以用于机器人的生产操作。

通过结合附图进行的以下描述和所附权利要求，本公开装置的附加特征将变得显而易见。

附图说明

图1是工业机器人、人工操作员以及作为保护操作员的安全区域而建立的操作区域的示意图；

图2是在位于支架上的工件上操作的工业机器人的示意图，并且示出了在机器人的各个部件周围定义的干扰检查区域；

图3A是具有在机器人的各个部件周围定义的干扰检查区域并在许可区域内操作的工业机器人的示意图，并且图3B是其中干扰检查区域之一已经违反许可区域的边界的同一机器人的示意图；

图4A是具有为旋转关节定义的关节位置检查区域和在区域限制内的关节位置的工业机器人的示意图，并且图4B是其中超过了关节位置检查区域限制的同一机器人的示意图；

图5A是具有为平移关节定义的关节位置检查区域和在区域限制内的关节位置的工业机器人的示意图，并且图5B是其中超过了关节位置检查区域限制的同一机器人的示意图；

图6是根据本公开的实施例的用于使用增强现实来可视化和修改机器人操作区域的系统的示意图；以及

图7是根据本公开的实施例的，采用图6的系统的，用于使用增强现实来可视化和修改机器人操作区域的方法的示意图流程图。

具体实施方式

涉及用于使用增强现实来可视化和修改机器人操作区域的方法和系统的本公开的实施例的以下讨论本质上仅是示例性的，绝不旨在限制所公开的装置和技术或其应用或用途。

在工业机器人用户社区中已知的是，定义与机器人的运动相关的安全区域和其它类型的空间区域，诸如禁止机器人进入的区域。这些安全区域和其它类型的区域在本文中统称为操作区域。

操作区域通常用于为工业机器人和其它类型的机器建立运动边界。在下面的讨论和对应的附图中，以工业机器人为背景对操作区域进行了描述和示出。然而，所公开的系统和方法不仅适用于机器人，而且适用于通过空间包络线移动的任何其它类型的机器，在这些空间包络线中干扰、碰撞和操作员的安全可能是令人关注的。

可以建立许多不同类型的操作区域，包括定义许可或禁止的运动空间的三维(3D)体积，在机器人臂和其它项目周围建立空间缓冲区的干扰检查区域，以及监视机器人关节位置的关节位置检查区域。在机器人在其工作区中进行生产操作之前，建立操作区域，并且然后针对这些区域连续检查机器人速度和位置，以确保机器人始终遵守所定义区域的边界。

图1是工业机器人100、人工操作员102和被建立为用于保护操作员102的安全区域的操作区域110的示意图。工作台104用作支架或平台，可由机器人100在其上放置工件以进行操作。如图1中所示，操作区域110具有正六面体的形状，然而，操作区域110可以具有任何形状，包括不对称、非平面表面、圆柱体和球状体积等。图1中所示的操作区域110是安全区域，该安全区域定义了在工作台104正上方的机器人100的禁止空间。此外，区域110是有条件安全区域，这意味着仅当操作员102存在于工作台104附近时才禁止机器人进入区域110，如可由地板垫(操作员102站立在其上时可检测重量)或传感器(诸如检测光束的阻挡的光学传感器)指示。因此，操作区域110被定义为使得当操作员102不存在于工作台104附近时允许机器人100进入区域110，并且当操作员102存在于工作台104附近时禁止机器人100进入区域110。

图1的操作区域110只是一种类型的操作区域的一个示例。结合图2至图5讨论了其它类型的操作区域。稍后讨论使用本公开的AR技术的操作区域的可视化和修改。

图2是在位于支架204上的工件202上操作的工业机器人200的示意图，并示出了机器人200的各个部件周围定义的干扰检查区域。干扰检查区域210、212、214、216和218分别在机器人基座、髋关节、内臂、肘关节和外臂周围定义。干扰检查区域210-218被定义为围绕机器人200的物理部分并在这些物理部分周围提供缓冲的“气泡”。当铰接机器人时，每个干扰检查区域都随其对应部分一起移动。例如，区域218与机器人外臂一起移动。然后在生产机器人操作期间监视干扰检查区域210-218，以确保区域210-218不干扰工作单元中的任何其它对象，诸如支架204。如果干扰迫在眉睫，机器人的运动可能减速或停止以防止物理碰撞。

在优选实施例中，如图2中所示，干扰检查区域210-218具有诸如球状、椭圆形或“胶囊”形(具有半球形端部的圆柱体)的形状。这些形状便于包围特定的机器人臂或关节，同时在物理部件周围提供缓冲，同时还易于定义(最少数量的参数)并且易于在机器人实时运动期间进行计算。用于干扰检查区域210-218的其它形状也可以使用，包括棱柱形(诸如，具有三角形或矩形横截面的条)。

图3A是具有在机器人的每个臂周围定义的干扰检查区域并在许可区域内操作的工业机器人300的示意图。以先前参考图2所讨论的方式，与机器人300的各个部件对应地定义了干扰检查区域310、312、314、316和318。在图3A中，还定义了许可区域320。在该示例中，通常为立方体形状的许可区域320是一种类型的操作区域，其定义了机器人300必须保留在其内的操作空间。

在图3A中，干扰检查区域310-318全部定位于许可区域320的体积内。也就是说，在机器人300的当前位置中，没有干扰检查区域310-318与许可区域320的外壁中的任何一个外壁相交。在定义了干扰检查区域310-318和许可区域320的情况下，机器人300可以通过其编程的运动和识别出的任何可能的干扰条件进行铰接。在本公开的优选实施例中，实际的机器人300通过其编程的运动而物理地移动，同时对干扰检查区域310-318和许可区域320进行数学评估，并使用增强现实系统显示结果。然而，也可以仿真机器人300、干扰检查区域310-318和许可区域320的运动。

图3B是其中干扰检查区域之一已违反许可区域320的边界的机器人300的示意图。在图3B中，机器人300已在其基座上旋转，使得干扰检查区域318(表示手腕和工具)与许可区域320的外壁相交，如附图标记330所指示。在330处的干扰条件优选地通过改变干扰检查区域318和/或许可区域320的颜色，或者通过干扰条件附近的局部视觉指示器，或它们的组合，来突出显示。当如图3B中识别出干扰条件时，用户可以通过对机器人300的运动进行重新编程以防止干扰或者通过扩大许可区域320的大小来做出响应。例如，如果在软件仿真中扩展了许可区域320的大小，则可能需要在物理工作单元中进行对应的改变，其中安全围栏可能会向后移动。在任何情况下，图3A和图3B中都示出了干扰检查区域与许可区域的定义、可视化以及交互。

图4A是具有为旋转关节420定义的关节位置检查区域410和在区域限制内的关节位置的工业机器人400的示意图。关节位置检查区域410是可以使用本公开的技术创建、可视化和修改的另一种类型的操作区域。关节位置检查区域410定义了旋转关节420的许可角度范围，该旋转关节420是在机器人400的肘部处提供外臂部分的旋转的关节。例如，旋转关节420可以具有距“原始”位置(图4A中竖直)+/-88度的许可角度运动。

例如，旋转关节420的许可运动范围可以受到限制，以防止电缆扭结或扭曲，或者基于关节本身的物理设计。在任何情况下，关节位置检查区域410被定义为对应于旋转关节420的许可运动范围。在图4A中，关节位置检查区域410位于其范围的中心附近，如指针412所指示。关节位置检查区域410的可接受状态也可以由指示区域410的绿色的扇区指示。

图4B是其中关节位置检查区域410已经超过其限制的机器人400的示意图。在图4B中，机器人400可能试图执行焊接或需要旋转关节420的极端运动的其它操作。关节位置检查区域410的可视化允许用户容易地确定关节420已经超过其旋转限制。这由指针412指示，并且也可以例如由改变为红色的扇区指示。响应于此类限制违规，如果关节限制本身不能被扩展，则必须定义不同的机器人程序，该机器人程序允许在不超过旋转关节420的运动限制的情况下执行所需的操作。

图5A是具有为平移关节520定义的关节位置检查区域510和在区域限制内的关节位置的工业机器人500的示意图。关节位置检查区域510是可以使用本公开的技术创建、可视化和修改的另一种类型的操作区域。关节位置检查区域510定义了平移关节520的许可线性范围，该平移关节520是在一些机器人(诸如机器人500)中使用的特殊类型的关节。例如，平移关节520可以具有距“原始”位置(如图5A中所示)+/-500mm的许可线性运动。

例如，平移关节520的许可运动范围可以基于重量或弯矩限制，或者基于关节本身的物理设计。在任何情况下，关节位置检查区域510被定义为对应于平移关节520的许可运动范围。在图5A中，如图所示，关节位置检查区域510在其范围的中心附近。关节位置检查区域510的可接受状态也可以由指示区域510的绿色条指示。

图5B是其中关节位置检查区域510已超过其限制的机器人500的示意图。在图5B中，机器人500可能试图将部件延伸到需要平移关节520的限制运动的位置。关节位置检查区域510的可视化允许用户容易地确定关节520已经超过其平移限制。例如，这可以通过将条改变为红色来指示。响应于此类限制违规，如果关节限制本身不能被扩展，则必须定义不同的机器人程序，该机器人程序允许执行所需的操作而不会超过平移关节520的运动限制。

上面讨论的图1-图5示出可在机器人运动控制中使用的几种不同类型的操作区域。这些类型的区域可以单独使用，诸如图3A和图3B中所示组合使用，或也可以进一步与多个区域类型组合使用。无论操作区域的类型、形状或预期目的(例如，许可或禁止)，操作区域的空间定义和可视化都必须对用户而言方便且直观，换句话说，易于定义、可视化和修改所有类型的操作区域。

传统上，操作区域使用示教器上的文本菜单设置，并且然后可以使用“4D显示器”(3D加上机器人的运动)对它们进行查看。由于4D显示器通常没有描绘工作单元的其它真实世界对象(诸如支架和固定设备)，因此在将操作区域应用于这些对象时，可能很难正确地可视化操作区域。此外，使用示教器上的菜单来定义3D体积的几何形状通常是不直观、不便且容易出错的。

然而，增强现实(AR)显示器提供了直观的方式来可视化这些操作区域并与这些操作区域进行交互，这些操作区域覆盖在包括机器人和部件、工具和固定设备的真实世界对象的图像上。此外，AR中的编辑区域允许用户可以基于真实世界的工作单元来调节区域或创建新区域，这比通过菜单进行更容易。这是当前公开的技术的基础。

图6是根据本公开的实施例的用于使用增强现实来可视化和修改机器人操作区域的系统600的示意图。系统600包括机器人610、增强现实(AR)装置620和机器人控制器630。如本领域技术人员所理解的，机器人控制器630通常经由电缆632与机器人610双向通信。AR装置620优选地经由诸如WiFi、蓝牙或其它无线通信装置的无线通信与机器人控制器630双向通信。AR装置620优选地是用户612可佩戴的头戴式耳机，其中头戴式耳机包括处理器、惯性传感器、相机和护目镜，其将计算机生成的3D图像叠加在用户对真实世界对象的视图之上。当AR装置620是头戴式耳机时，装置620可以进一步包括用于输入菜单命令和输入数据的单独的键盘或触摸屏单元。AR装置620还可以是诸如移动电话、平板装置或机器人示教器的手持装置，在这种情况下，除了所需的通信系统之外，装置620还包括处理器、惯性传感器、相机和显示屏。

在图6中，用户612正在工作台614上方的空间中创建、可视化和修改操作区域640。用户612所站立的真实世界的物理工作单元包括机器人610(连接到控制器630)和工作台614。操作区域640是仅存在于软件中的虚拟实体。AR装置620配置有在其处理器上运行的AR区域软件。装置620上的AR区域软件与机器人控制器630通信(优选无线地)，其中AR装置620向控制器630提供操作区域定义和修改，并且控制器630向AR装置620提供机器人位置和其它信息。

操作区域640的特征在于多个控制点642。在诸如区域640的六面体操作区域的情况下，控制点642可以位于每个顶点或拐角点处。AR区域软件中可能提供许多不同的操作区域形状模板，包括六面体、球状、圆柱体、金字塔形等。每个不同的区域形状模板将包括不同数量和类型的控制点。例如，球形操作区域可以由中心点和半径定义，并且附加控制点可以用于在不同方向中拉伸球形。类似地，可以通过两个端点和半径来定义圆柱体区域，附加的控制点或参数可用于定义圆柱体的端部形状。此外，也可以经由控制点定义诸如半径的参数。在AR区域软件中，每个操作区域都被指定为具有某种类型(诸如禁止的安全区域)，并在适当时与机器人部件相关联。

系统600允许用户612从机器人控制器630取得任何现有的操作区域，在AR装置620上运行的AR区域软件中创建新的操作区域，可视化覆盖在工作单元中的真实世界物理项目的图像上的虚拟操作区域，包括允许用户612到处走动并从不同的视角查看操作区域和物理项目，通过根据需要移动控制点来修改操作区域，操作机器人610(包括运行预定义的机器人运动程序)，并将新的或修改的操作区域提交给机器人控制器630。

无论在头戴式耳机装置还是平板装置上运行，AR区域软件都为用户提供了几种主要功能，包括创建新的操作区域，修改区域等。其中的一些功能需要从菜单中选择选项，因此AR区域软件包括菜单显示和选择特征。当AR装置620是头戴式耳机装置时，控制点642的修改优选地经由用户手势来完成，诸如触摸或抓住控制点642之一并在空间中在所需的方向中移动它。在平板装置或示教器上，控制点修改可以经由在屏幕上选择特定控制点642，以及控制点642在指定方向中指定量的基于菜单按钮的运动来实现。

为了创建干扰检查区域，AR区域软件包括为用户方便和生产率而设计的特征。因为机器人控制器630(以及因此AR装置620)始终知道机器人610的姿势(包括所有关节中心的位置)，所以关节中心可用于干扰检查区域的创建。例如，可以用关节J2处的中心定义球形干扰检查区域，并且仅需要定义半径，或者可以用从关节J2延伸到关节J3的轴线定义圆柱体干扰检查区域，并且仅需要定义半径。使用这些特征来方便地创建操作区域，以及对控制点启用AR的修改，用户612可以根据任何应用程序的需要轻松配置操作区域。

如先前相对于图3A和图3B所讨论的，干扰检查区域可以与诸如许可区域和/或禁止区域的其它操作区域结合使用。在该类型的环境中，期望通过其编程运动来运行机器人610并检查干扰。下面讨论执行这些干扰检查的不同场景。

在两个虚拟操作区域(诸如干扰检查区域和禁止区域)之间可能会发生干扰。在该情况下，随着机器人610通过其编程运动移动，AR装置620上的AR区域软件可以实时执行干扰检查。可以通过AR区域软件，诸如通过停止机器人的运动，改变区域的颜色，在干扰的位置处提供视觉重点等，来突出显示发生的任何干扰。如果已将操作区域传送给机器人控制器630，则随着机器人通过其编程运动移动，控制器630还可以在区域之间执行干扰检查。

在虚拟操作区域和物理项目之间(诸如干扰检查区域和工作台614)也可能发生干扰。在该情况下，用户612可以通过在机器人移动时观看干扰检查区域来检测干扰，包括在工作单元周围走动以及从各种视角查看机器人610和操作区域。如果以该方式检测到干扰，则用户612可以采取适当的步骤来解决干扰，诸如重新编程机器人的运动，或者将项目移动到工作单元内的不同位置。

为了使AR装置620上的AR区域软件正确显示覆盖在真实世界项目上的虚拟操作区域，AR区域软件必须始终知道AR装置620的位置和取向。这是经由AR装置620机载的一个或多个相机和多个惯性传感器(加速度计和陀螺仪)完成的，其中已知实体的一个或多个相机图像(已知大小、设计和取向的视觉标记)用于确定AR装置620的初始位置/取向，并且然后将相机图像与惯性测量结果结合使用在视觉/惯性航位推算计算中。这些视觉/惯性航位推算技术在本领域中是已知的，并且在下面进一步讨论。

图7是根据本公开的实施例的，采用图6的系统600的，用于使用增强现实来可视化和修改机器人操作区域的方法的示意图流程图700。如前所述，在框702处，AR装置620经由无线通信信道与机器人控制器630建立通信。机器人控制器630可能已经具有为包含机器人610的特定工作单元定义的一个或多个操作区域。如果存在任何此类操作区域，则在框704处将它们从机器人控制器630下载到AR装置620。如果没有预先存在的操作区域可用，则用户可以继续进行创建、修改和可视化一个或多个新操作区域的过程。

在框706处，用户在AR装置620上启动AR区域软件应用程序(app)。在框708处，向“世界空间”登记AR装置620的位置和取向，该“世界空间”只是机器人610的工作单元中的固定坐标系。对于机器人控制器630，工作单元坐标系是已知的，并且对于机器人610的所有位置配置，在工作单元坐标系中的机器人关节位置和工具中心位置是已知的。通过将AR装置620中的相机指向可视标记618，执行向工作单元坐标系登记AR装置620，使得AR装置620捕获标记618的多个图像。在实践中，这是通过将AR装置620的相机指向标记618来实现的，使得标记618出现在AR装置620的显示器中；AR装置620的自然运动(由于其被人握住或佩戴)从略微不同的视点提供了标记618(其具有机器人控制器630和AR区域软件已知的图案和位置)的后续图像，允许AR区域软件确定AR装置620相对于工作单元坐标系的位置和取向。如对本领域技术人员显而易见的，除了可视标记618的成像之外，可以使用向工作单元坐标系登记AR装置620的其它方法。

在向工作单元坐标系登记AR装置620的位置和取向之后，AR区域软件使用惯性和视觉测距法来连续跟踪AR装置620相对于工作单元坐标系的位置和取向。在该技术中，AR装置620中的处理器从装置620机载的加速度计和陀螺仪接收信号，并基于加速度和偏航率信号的集成来连续计算装置620的更新位置和取向。基于来自装置620上的相机的图像，诸如标记618或存在于已知位置处的其它可识别项目的图像，来检查和校正位置和取向。

在框710处，AR区域软件在AR装置620上显示叠加在真实世界项目的图像上的任何操作区域(诸如区域640)。操作区域是虚拟的，这意味着它们存在于AR区域软件中，但实际上并不存在。机器人610、工作台614和工作单元中的任何其它物理项目出现在AR装置620的相机图像中，并且AR区域软件对虚拟操作区域进行转置，使得它们相对于物理项目出现在正确的位置/取向中。基于AR装置620的连续更新的位置和取向，连续地更新操作区域的显示，使得从任何视点看这些区域具有正确的外观。AR区域软件还在操作区域640上显示控制点642。

在框712处，用户与控制点642交互以修改一个或多个操作区域的边界。例如，可以移动操作区域640的拐角，或者可以改变圆柱体干扰检查区域的半径。当AR装置620是头戴式耳机装置时，可以使用物理手势命令(抓握、移动等)来修改控制点。当AR装置620是平板计算机、智能电话或示教器时，可以使用菜单命令和击键输入来修改控制点。头戴式耳机装置上菜单和菜单项目选择也可用。

仍然在框712处，用户还可以创建新的操作区域，这些新的操作区域可以是安全区域(机器人610的许可空间或禁止空间)、有条件的安全区域(例如，以工人在场或部件的存在为条件)、与机器人610的部件相关的干扰检查区域、关节位置检查区域(旋转或平移)或对熟练用户显而易见的其它区域。操作区域可以具有任何所需的几何形状，包括线、平面、多面体体积、球状和圆柱体的体积、棱柱形状等。可以在以前不存在的情况下创建新的操作区域(如果在框704处没有下载任何区域)，或者可以在现有区域之外还创建新的区域。当已经创建并修改了操作区域以使用户满意时，将这些区域上传到机器人控制器630以进行临时存储(用于分析和仿真，但尚未提交用于机器人610的生产操作)。

在框714a和714b处，针对机器人610的整个编程运动执行干扰检查仿真。这些干扰检查仿真可以由AR区域软件(框714a)或由机器人控制器软件(框714b)执行。

在框714a处由AR区域软件进行的干扰检查仿真如下执行。AR装置620上的AR区域软件指示机器人控制器630通过其编程运动来移动机器人610。例如，机器人610可以被编程为等待工件被放置在工作台614上，然后在工件上执行焊接操作。在每个步骤处，机器人控制器630命令机器人610移动，并且还将新的机器人位置提供给AR区域软件。从机器人位置信息，AR区域软件可以更新任何干扰检查区域的位置，并识别干扰检查区域与其它操作区域之间的任何干扰条件。干扰条件在AR显示器中突出显示，并且也可以配置为使机器人610的运动停止。另外，随着机器人610移动，用户可以在视觉上检查针对机器人610的部件定义的干扰检查区域与诸如工作台614的物理项目之间的干扰，其中虚拟区域和物理项目在AR装置620的显示器中都是可见的。

在框714b处，由机器人控制器软件进行的干扰检查仿真如下执行。操作区域(诸如为机器人部件定义的干扰检查区域)以及安全区域(许可或禁止)从AR装置620上的AR区域软件上传到机器人控制器软件。机器人控制器630通过其编程运动使机器人610步进。在每个步骤处，机器人控制器630都知道机器人位置信息；因此，机器人控制器软件可以更新任何干扰检查区域的位置，并识别干扰检查区域(其与机器人部件一起移动)与其它操作区域(其固定)之间的任何干扰情况。干扰条件在机器人控制器软件提供的报告中突出显示，并且也可以配置为使机器人610的运动停止。

在框716处，当对区域的改变完成时，新的操作区域“设置”(区域的定义)被上传或传送到机器人控制器630。也就是说，当用户进行的操作区域可视化和修改完成时，将最终确定的操作区域上传到机器人控制器630，并确认/提交进行生产操作。在生产操作期间，由机器人控制器630实时检查操作区域，诸如，以确保当操作员在区域附近存在时，机器人不会进入禁止区域。

在前面的讨论中，描述并暗示了各种控制器，用于控制机器人的运动和任务，用于AR装置的操作等。应当理解，这些控制器的软件应用程序和模块在具有处理器和存储器模块(包括配置在非易失性存储器中的算法)的一个或多个计算装置上执行。特别地，这包括上述机器人控制器630和AR装置620中的处理器。机器人、其控制器和AR装置之间的通信可以通过硬线网络进行，或可以使用任何适当的无线技术，诸如蜂窝电话/数据网络、Wi-Fi、蓝牙、宽带互联网等。

如上所述，所公开的用于使用增强现实来可视化和修改机器人操作区域的技术提供了优于现有技术的若干优点。用户使用手势命令而不是键盘输入而快速直观地查看和修改3D空间中的操作区域，同时查看机器人和其它真实世界项目的能力，远远优于用于定义和测试操作区域的现有迭代技术。

尽管上面已经讨论了用于使用增强现实进行操作区域可视化和修改的方法和系统的许多示例性方面和实施例，但是本领域技术人员将认识到其修改、置换、添加和子组合。因此，旨在将所附权利要求书和此后引入的权利要求书解释为包括在其真实精神和范围内的所有此类修改、置换、添加和子组合。