一种基于AR增强现实的汽车制造装配辅助指导方法及系统

摘要

本发明涉及AR辅助装配技术领域，公开了一种基于AR增强现实的汽车制造装配辅助指导系统，包括头戴式AR显示器、计算机，安装在计算机中的软件操作系统，所述软件操作系统的操作界面设置有AR虚实注册模块、操作者视点跟踪模块、工具位姿跟踪模块和盲装透明化显示模块，还公开了一种基于AR增强现实的汽车制造装配辅助指导方法，包括以下步骤：S1、对界面按钮进行操作；S2、生成虚实注册文件；S3、计算出操作者的观察点位姿；S4、计算工具在场景中的位姿；S5、进行装配。本发明通过盲装透明化显示模块根据虚实注册文件、操作者的观察点位姿、工具在场景中的位姿，确定装配零配件的位姿，进行装配作业，从而可以快速地对复杂的零配件进行装配。

说明书

技术领域

本发明涉及AR辅助装配技术领域，具体是一种基于AR增强现实的汽车制造装配辅助指导方法及系统。

背景技术

对于大多数人来说，装配几个零件轻而易举，但对于发动机、变速箱等由各种各样的零件组成，且需要严格复杂的装配工序，如何快速地找出匹配的零件，并按照复杂的工序进行安装，往往容易造成错误，通过将计算机生成的虚拟信息实时叠加到真实场景中，为操作者提供虚实融合视野的新兴技术，即通过AR增强实现额的辅助装配技术。

中国专利公开了一种AR辅助装配系统（公告号CN112764548A），该专利技术使用虚实结合的装配动作展示装配动画，可以清晰地向操作者展示装配过程；应用抓取动作识别和手势识别技术，方便操作者迅速将操作信息反馈给系统，但是其不能对装配基体、装配基体零部件以及工具进行定位，从而无法快速地对复杂的装配工序进行装配，且容易出现装配错误。

发明内容

本发明的目的在于提供一种基于AR增强现实的汽车制造装配辅助指导方法及系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于AR增强现实的汽车制造装配辅助指导系统，包括头戴式AR显示器、通过局域网与头戴式AR显示器相连接的计算机，安装在计算机中的软件操作系统，所述软件操作系统的操作界面设置有AR虚实注册模块、操作者视点跟踪模块、工具位姿跟踪模块和盲装透明化显示模块；

所述AR虚实注册模块用于在真实装配场景中的工作面的特定位置设置真实标志点，并通过在头戴式AR显示器的显示屏中找到对应的位置，设置虚拟标志点，再将头戴式AR显示器的摄像头对准真实标志点，然后根据拍摄的图像生成一个虚实注册文件；

所述操作者视点跟踪模块用于通过头戴式AR显示器的摄像头进行图像视点捕捉，并提取图像中的真实标志点，并进行位姿计算，确定操作者头部相对于真实标志点的位姿，再反算出虚拟场景中操作者的观察点位姿；

所述工具位姿跟踪模块用于在真实装配场景中的安装工具外露部分设置工具标志点，利用头戴式AR显示器的摄像头捕捉工具标志点，并计算工具相对应头部的位姿，再根据头部位姿计算其在场景中的位姿；

所述盲装透明化显示模块用于在进行装配操作时，根据虚实注册文件、操作者的观察点位姿、工具在场景中的位姿，确定装配零配件的位姿，同时根据电子作业指导书显示附加信息。

2.根据权利要求1所述的一种基于AR增强现实的汽车制造装配辅助指导系统，其特征在于，所述操作者视点跟踪模块由装配基体位姿处理模块、装配零部件位姿处理模块和基体和零部件辅助装配模块组成。

作为本发明再进一步的方案：所述装配基体位姿处理模块的工作流程如下：

S11、先对装配基体RGB参考图像和深度参考图像进行采集；

S12、通过S11步骤中采集的RGB参考图像进行SIFT特征点提取和平面坐标获取，通过S11步骤中采集的深度参考图像进行点云获取和点云处理；

S13、根据S12步骤中得到的SIFT特征点、平面坐标、点云获取和点云处理获取装配基体的三维空间坐标，得到装配基体位姿。

作为本发明再进一步的方案：所述装配零部件位姿处理模块的工作流程如下：

S21、先采集装配零部件的RGB实时图像和深度实时图像；

S22、通过S21步骤中获得的RGB实时图像和深度实时图像进行RGB图像梯度特征和深度图像表面法向量特征提取，形成特征模板；

S23、根据S22步骤中形成特征模板进行特征模板匹配，获得装配零部件的识别信息及位姿。

作为本发明再进一步的方案：所述基体和零部件辅助装配模块根据装配基体位姿和装配零部件的识别信息及位姿判断装配基体位姿匹配、判断装配基体和装配零部件的位置关系。

一种基于AR增强现实的汽车制造装配辅助指导方法，包括以下步骤：

S1、通过头部的上下左右转动，使得光标落在操作界面相对应的界面按钮上，采用手指放在在头戴式AR显示器前，通过头戴式AR显示器的摄像头识别手势动作，通过手指的滑动、点击动作，对界面按钮进行操作；

S2、点击操作界面上的AR虚实注册模块按钮，根据需要装配的汽车根据拍摄的图像生成一个虚实注册文件；

S3、点击操作界面上的操作者视点跟踪模块按钮，通过头戴式AR显示器的摄像头捕捉基座的真实标志点，计算出操作者的观察点位姿；

S4、点击操作界面上的工具位姿跟踪模块按钮，通过头戴式AR显示器的摄像头捕捉工具标志点，计算工具在场景中的位姿；

S5、点击操作界面上的盲装透明化显示模块按钮，在基座上的空心透明位置显示出待安装的工件位置，确定装配零配件的位姿，并语音说明当前安装工序的难点与方法，进行装配。

与现有技术相比，本发明的有益效果：

本发明通过AR虚实注册模块生成虚实注册文，通过操作者视点跟踪模块对基体进行定位，判断操作者的观察点位姿，通过工具位姿跟踪模块对工具进行定位，判断工具在场景中的位姿，通过盲装透明化显示模块根据虚实注册文件、操作者的观察点位姿、工具在场景中的位姿，确定装配零配件的位姿，进行装配作业，从而可以快速地对复杂的零配件进行装配，且不易出现错误，具有较高的实用性。

附图说明

图1为一种基于AR增强现实的汽车制造装配辅助指导系统中软件操作系统的结构示意图；

图2为一种基于AR增强现实的汽车制造装配辅助指导方法的流程示意图。

具体实施方式

请参阅图1～2，本发明实施例中，一种基于AR增强现实的汽车制造装配辅助指导系统，包括头戴式AR显示器、通过局域网与头戴式AR显示器相连接的计算机，安装在计算机中的软件操作系统，软件操作系统的操作界面设置有AR虚实注册模块、操作者视点跟踪模块、工具位姿跟踪模块和盲装透明化显示模块；

AR虚实注册模块用于在真实装配场景中的工作面的特定位置设置真实标志点，并通过在头戴式AR显示器的显示屏中找到对应的位置，设置虚拟标志点，再将头戴式AR显示器的摄像头对准真实标志点，然后根据拍摄的图像生成一个虚实注册文件；

操作者视点跟踪模块用于通过头戴式AR显示器的摄像头进行图像视点捕捉，并提取图像中的真实标志点，并进行位姿计算，确定操作者头部相对于真实标志点的位姿，再反算出虚拟场景中操作者的观察点位姿；

工具位姿跟踪模块用于在真实装配场景中的安装工具外露部分设置工具标志点，利用头戴式AR显示器的摄像头捕捉工具标志点，并计算工具相对应头部的位姿，再根据头部位姿计算其在场景中的位姿；

盲装透明化显示模块用于在进行装配操作时，根据虚实注册文件、操作者的观察点位姿、工具在场景中的位姿，确定装配零配件的位姿，同时根据电子作业指导书显示附加信息，如工件照片、工件编号、工件安装事项。

优选的，操作者视点跟踪模块由装配基体位姿处理模块、装配零部件位姿处理模块和基体和零部件辅助装配模块组成。

优选的，装配基体位姿处理模块的工作流程如下：

S11、先对装配基体RGB参考图像和深度参考图像进行采集；

S12、通过S11步骤中采集的RGB参考图像进行SIFT特征点提取和平面坐标获取，通过S11步骤中采集的深度参考图像进行点云获取和点云处理；

S13、根据S12步骤中得到的SIFT特征点、平面坐标、点云获取和点云处理获取装配基体的三维空间坐标，得到装配基体位姿。

优选的，装配零部件位姿处理模块的工作流程如下：

S21、先采集装配零部件的RGB实时图像和深度实时图像；

S22、通过S21步骤中获得的RGB实时图像和深度实时图像进行RGB图像梯度特征和深度图像表面法向量特征提取，形成特征模板；

S23、根据S22步骤中形成特征模板进行特征模板匹配，获得装配零部件的识别信息及位姿。

优选的，基体和零部件辅助装配模块根据装配基体位姿和装配零部件的识别信息及位姿判断装配基体位姿匹配、判断装配基体和装配零部件的位置关系。

一种基于AR增强现实的汽车制造装配辅助指导方法，包括以下步骤：

S1、通过头部的上下左右转动，使得光标落在操作界面相对应的界面按钮上，采用手指放在在头戴式AR显示器前，通过头戴式AR显示器的摄像头识别手势动作，通过手指的滑动、点击动作，对界面按钮进行操作，也采用全息鼠标点击操作；

S2、点击操作界面上的AR虚实注册模块按钮，根据需要装配的汽车根据拍摄的图像生成一个虚实注册文件；

S3、点击操作界面上的操作者视点跟踪模块按钮，通过头戴式AR显示器的摄像头捕捉基座的真实标志点，计算出操作者的观察点位姿；

S4、点击操作界面上的工具位姿跟踪模块按钮，通过头戴式AR显示器的摄像头捕捉工具标志点，计算工具在场景中的位姿；

S5、点击操作界面上的盲装透明化显示模块按钮，在基座上的空心透明位置显示出待安装的工件位置，确定装配零配件的位姿，并语音说明当前安装工序的难点与方法，进行装配，实心工件为已安装完成的工件，操作者点击执行操作时，待安装的工件安装到空心透明位置，如果安装位置正确时，空心透明位置被实心工件所填满，下一个待安装的工件位置变成空心透明状，如果安装位置不正确或不到位，将无法进行下一步的操作。

以上的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。