基于便携终端的机器人增强现实示教编程方法

摘要

本发明属于工业机器人领域，公开了一种基于便携终端的机器人增强现实示教编程方法，包括以下步骤：搭建并训练AR误差预测与补偿模型、A数据采集和数据处理、数据差预测补偿、驱动虚拟机器人数字样机模型运动、驱动真实机器人运动等步骤。本发明降低了编程门槛，提高了编程的直观性，突破了由于安装辅助定位跟踪摄像机的位置束缚，降低了编程成本，提高了编程效率。本发明适用于机器人示教。

说明书

技术领域

本发明属于工业机器人领域，涉及增强现实技术，具体地说是一种基于便携终端的机器人增强现实示教编程方法。

背景技术

机器人是集机械、电子、控制、传感、人工智能等多学科先进技术于一体的自动化装备。自1956年机器人产业诞生后，经过近60年发展，机器人已经被广泛应用在装备制造、新材料、生物医药、智慧新能源等高新产业。机器人与人工智能技术、先进制造技术和移动互联网技术的融合发展，推动了人类社会生活方式的变革。

机器人示教的目的是为了获得机器人完成作业所需的位姿，其示教方法可分为在线示教和离线示教。传统的在线示教编程方式只适用于简单的机器人系统以及简单的任务，编程过程不直观，操作繁琐，编程效率低，对于复杂轨迹编程需求力不从心；离线编程需要的技术程度较高、编程开销大且需要精细的生产现场3D模型严重限制了其在中小型企业中的生产应用。目前，数字化技术融合成为机器人发展的一个重要方向，它为机器人编程方式注入了新的活力。数字化技术中的增强现实技术将虚拟环境信息与实际环境交互覆盖，它可以将虚拟机器人数字样机叠加至现实空间中进行虚拟运动，并且可以通过增强现实技术将机器人运动的轨迹直接地在三维现实空间中进行显示，使得用户直观地与空间信息进行交互，因此，探索利用增强现实技术来改进目前的机器人编程方式，对于提高机器人编程效率，降低机器人编程的技术门槛，提高机器人编程直观性以及进一步推进工业机器人在智能制造中的广泛应用具有重要的工程和科研价值。

目前，基于增强现实进行机器人示教编程的方法多采用Vuforia增强现实框架搭建增强系统，且多采用专业的多个运动摄像机对现实中物体进行动态跟踪定位,其增强现实框架受支持该框架的设备终端平台的限制，且其适用空间容易受到用于跟踪定位的摄像机的安装位置限制，再者运动相机及辅助显示设备，如HoloLens，成本高昂，因此，难以广泛应用。

发明内容

本发明的目的，是要提供一种基于便携终端的机器人增强现实示教编程方法，以降低变编程成本，提高编程效率。

本发明为实现上述目的，所采用的技术方法如下：

一种基于便携终端的机器人增强现实示教编程方法，包括以下步骤：

S1、搭建并训练AR误差预测与补偿模型；

S2、利用AR手持式输入终端进行轨迹示教，对机器人的运动轨迹进行规划，采集AR手持式输入终端中示教的轨迹数据和机器人末端执行器的位置姿态数据，进行数据处理，并发送至训练好的AR误差预测与补偿模型；

S3、训练好的AR误差预测与补偿模型对采AR手持式输入终端中示教的轨迹数据进行误差预测补偿，生成优化轨迹数据；

S4、将优化轨迹数据通过机器人运动学正反解求解得出机器人各关节数据，驱动虚拟机器人数字样机模型运动；

S5、在AR手持式输入终端观察虚拟机器人数字样机模型叠加进真实环境中的虚拟运动，验证其虚拟运动的轨迹，当虚拟机器人数字样机模型的虚拟运动到达指定位置后，验证通过，则将虚拟机器人数字样机模型已经验证好的轨迹数据解析生成的代码，驱动真实机器人运动。

作为限定：步骤S1中，AR误差预测与补偿模型采用三层BP神经网络模型，包括输入层、输出层和隐含层，训练过程为：

1)将AR识别码贴在真实物理空间的特定位置；

2)将AR手持式输入终端绑定在机器人末端执行器上，AR手持式输入终端扫描出AR识别码进行增强现实系统的注册，计算虚拟空间坐标系与真实物理空间坐标系之间的虚实变换关系；

3)运行预先设置好的机器人控制程序，机器人与绑定在机器人末端执行器上的AR手持式输入终端同步运动；

4)采集机器人末端执行器的位置姿态数据和AR手持式输入终端采集自身在虚拟空间中所对应的位置，上传至数据孪生聚合服务器进行数据平滑处理，消除数据误差。

作为进一步限定：步骤S1的2)中，虚拟空间坐标系与真实物理空间坐标系之间的虚实变换关系的计算公式为：Probot＝A*Pvirtual，其中，Probot为AR识别码贴在真实物理空间的特定位置，Pvirtual为AR手持式输入终端传回的虚拟空间中AR识别码的虚拟空间位置，A为真实物理空间坐标系和虚拟空间坐标系的转换关系值。

作为再进一步限定：步骤S1的4)中，机器人末端执行器的位置姿态数据的采集为通过机器人的二次开发接口直接读取；S1的4)中，数据平滑处理采用的方法为滑动平均法，具体计算步骤为：采集的机器人末端执行器的位置姿态数据带有噪声，取末端执行器的位置姿态的x坐标值作为分析对象，即

T

上式中，T

将相邻时刻的观测值进行相加后平均，得到：

上式中，p

根据上述两式可得：

当

作为另一种限定：步骤S2中，其示教方法为：操作员手持AR手持式输入终端扫描特定位置处的AR识别码，并记录下AR识别码在虚拟空间中的位置；机器人末端执行器的位置姿态数据的采集方法基于ARkit框架，采用视觉惯性测距对末端执行器进行动态跟踪；采集数据的数据处理为通过数据孪生聚合服务器转换成真实物理空间坐标系的数据。

作为再一种限定：步骤S4中，优化轨迹数据先进行三次样条平滑插值处理，再进行密化处理，之后再通过机器人运动学正反解求解得出机器人各关节数据，驱动虚拟机器人数字样机运动。

作为进一步限定：步骤S4中，虚拟机器人数字样机模型的搭建过程为：通过Solidworks建立.stp格式三维模型，然后在3dMax中对机器人的表面进行简化，并转化为.fbx格式，最后将生成的.fbx格式模型导入Unity 3D中进行模型渲染及关节构建。

作为最后一种限定：AR手持式输入终端为IOS终端设备。

本发明由于采用了上述方案，与现有技术相比，所取得的有益效果是：

(1)本发明提供的基于便携终端的机器人增强现实示教编程方法，采用手持式的支持增强现实功能的智能终端设备作为机器人位置姿态的AR手持式输入终端，用AR手持式输入终端代替机器人示教器进行轨迹规划工作，降低了编程门槛，提高了编程效率；

(2)本发明提供的基于便携终端的机器人增强现实示教编程方法，通过ARKit框架对物体动态跟踪，不需运动相机辅助定位跟踪即可对机器人进行示教工作，并将虚拟的机器人叠加进现实中对轨迹进行验证，提高了编程的直观性，突破了由于安装辅助定位跟踪摄像机的位置束缚，降低了编程成本，提高了编程效率；

综上所述，本发明提供的基于便携终端的机器人增强现实示教编程方法，降低了编程门槛，提高了编程的直观性，突破了由于安装辅助定位跟踪摄像机的位置束缚，降低了编程成本，提高了编程效率。

本发明适用于机器人示教。

附图说明

下面结合附图及具体实施例对本发明作更进一步详细说明。

图1为本发明实施例的流程图；

图2为本发明实施例的AR识别码。

具体实施方式

下面结合实施例对本发明作进一步说明，但本领域的技术人员应当理解，本发明并不限于以下实施例，任何在本发明具体实施例基础上做出的改进和等效变化，都在本发明权利要求保护的范围之内。

实施例基于便携终端的机器人增强现实示教编程方法

一种基于便携终端的机器人增强现实示教编程方法，其流程图如图1所示，包括以下步骤：

S1、搭建并训练AR误差预测与补偿模型，AR误差预测与补偿模型采用三层BP神经网络模型，包括输入层、输出层和隐含层，输入层和输出层节点数量均取6，隐含层节点数量取10，初始权值在(-1,1)内选取，阈值在(-1,1)内选取，学习率取0.8，训练过程为：

1)将如图2所示的AR识别码贴在真实物理空间的特定位置记为Probot；

2)将AR手持式输入终端绑定在机器人末端执行器上，打开AR手持式输入终端中的机器人AR编程软件，AR手持式输入终端扫描出AR识别码进行增强现实系统的注册，AR手持式输入终端在扫描识别出AR识别码之后就建立了虚拟空间坐标系与真实物理空间坐标系之间转换关系从而完成增强现实系统的注册过程，并且自动实时动态地计算虚拟空间中虚拟物体的位置姿态实现跟踪过程，在完成注册过程时，记录下AR手持式输入终端传回的虚拟空间中AR识别码的虚拟空间位置，记作Pvirtual，AR识别码在真实物理空间坐标系的位置以及虚拟空间坐标系中间的位置已知，则虚拟空间坐标系与真实物理空间坐标系之间的虚实变换关系的计算公式为：Probot＝A*Pvirtual，其中，Probot为AR识别码贴在真实物理空间的特定位置，Pvirtual为AR手持式输入终端传回的虚拟空间中AR识别码的虚拟空间位置，A为真实物理空间坐标系和虚拟空间坐标系的转换关系值；

3)运行预先设置好的机器人控制程序，机器人与绑定在机器人末端执行器上的AR手持式输入终端同步运动；

4)通过机器人的二次开发接口直接读取机器人末端执行器的位置姿态数据和AR手持式输入终端采集自身在虚拟空间中所对应的位置，上传至数据孪生聚合服务器进行数据平滑处理，消除数据误差，数据平滑处理采用的方法为滑动平均法，具体计算步骤为：采集的机器人末端执行器的位置姿态数据带有噪声，取末端执行器的位置姿态的x坐标值作为分析对象，即

T

上式中，T

将相邻时刻的观测值进行相加后平均，得到：

上式中，p

根据上述两式可得：

当

S2、利用AR手持式输入终端进行轨迹示教，对机器人的运动轨迹进行规划，其示教方法为：操作员手持AR手持式输入终端扫描特定位置处的AR识别码，并记录下AR识别码在虚拟空间中的位置；采集AR手持式输入终端中示教的轨迹数据，基于ARkit框架，采用视觉惯性测距对末端执行器进行动态跟踪识别场景图像过程中将从视频的每一帧中追踪特征位置的差异，完成末端执行器六自由度运动姿态的检测跟踪；由于AR手持式输入终端示教时AR识别码在虚拟空间中的位置与AR误差预测与补偿模型训练时AR识别码在虚拟空间中的位置不一致，真实物理空间坐标系中的AR识别码的位置固定，根据虚实空间变换，可以计算得出示教时机器人笛卡尔坐标系与增强现实虚拟空间之间的齐次转换关系，采集的数据通过数据孪生聚合服务器转换成真实物理空间坐标系的数据，并发送至训练好的AR误差预测与补偿模型；

S3、训练好的AR误差预测与补偿模型对采AR手持式输入终端中示教的轨迹数据进行误差预测补偿，生成优化轨迹数据；

S4、由于示教完成的数据传进AR误差预测与补偿模型中，生成的轨迹数据是离散的且存在波折的，为了保证机器人的各关节平滑稳定运行，将优化轨迹数据先进行三次样条平滑插值处理，再进行密化处理，之后再通过机器人运动学正反解求解得出机器人各关节数据，驱动虚拟机器人数字样机模型运动，搭建虚拟机器人数字样机模型是为了建立起机器人在虚拟的增强现实空间中的数字化表示，它是将虚拟机器人叠加进现实中进行虚拟运动的模型，虚拟机器人数字样机模型的搭建过程为：通过Solidworks建立.stp格式三维模型，然后在3d Max中对机器人的表面进行简化以减少机器人本身数字模型的内存大小，并转化为.fbx格式，最后将生成的.fbx格式模型导入Unity 3D中进行模型渲染及关节构建。

S5、在AR手持式输入终端观察虚拟机器人数字样机模型叠加进真实环境中的虚拟运动，验证其虚拟运动的轨迹，当虚拟机器人数字样机模型的虚拟运动到达指定位置后，验证通过，则将虚拟机器人数字样机模型已经验证好的轨迹数据解析生成的代码，驱动真实机器人运动。

本实施例中AR手持式输入终端为IOS终端设备。