基于增强现实技术的制造装备智能系统及其实现方法

摘要

本发明公开了一种基于增强现实技术的制造装备智能系统，其包括：故障监测子系统(101)，其包括传感器模块(111)和工控机(110)，所述传感器模块(111)用于测量所述制造装备(100)的运行参数，工控机(110)用于读取所述运行参数；以及便携式增强现实眼镜(102)，其通过无线网络与所述故障监测子系统(111)连接，所述便携式增强现实眼镜(102)包括操作培训子模块(220)、操作监测子模块(221)、故障诊断子模块(222)及远程维修子模块(223)。本发明还公开了基于增强现实技术的制造装备智能系统的实现方法。本发明的系统能高效率、低成本地完成制造装备的操作培训、操作监测、故障诊断与远程维修服务。

说明书

技术领域

本发明涉及智能制造领域，特别是涉及一种基于增强现实技术的制造装备智能系统及其实现方法。

背景技术

增强现实(Augmented Reality，简称AR)，是一种将真实世界信息和虚拟世界信息融合在一起的新技术，它通过对真实环境进行感知识别，运用计算机技术生成虚拟模型和信息，并通过算法估计自身的位置姿态，实时得将虚拟信息叠加在现实世界中，实现对现实世界的“增强”。

传统的制造装备的操作、检测和维修需要从业者拥有丰富的工作经验，同时在检测与维修过程中需要操作者查阅使用手册和设计信息等相关资料，这样导致操作难度大、效率低。另外当代的大型复杂机械装备多是融合了机械、电子、电气和信息等多学科技术为一体的高精尖设备系统，在进行维修检测等相关操作过程中涉及的技术和知识也不断增加，单靠从业人员自身的经验、技术和知识难以高效完成相关工作。

随着计算机技术和光学元件的发展，尤其是增强现实技术的发展，使得便携式增强现实设备辅助装备加工成为可能。

专利文献CN103093653A公开了一种增强现实培训系统及方法，其只对设备的复杂关键部件建立3D仿真动作模型，其他的部件不进行建模，当摄像头对准设备的复杂关键部件时，3D仿真动作模型会覆盖在手机或平板电脑的屏幕画面中设备相应的复杂关键部件上，这样可以突出3D仿真动作模型，可在设备现场进队员工进行培训，实现以较低成本实现仿真效果较好的培训。但专利文献CN103093653A公开的一种增强现实培训系统及方法通过手机或平板电脑的摄像头获取目标设备的图像信息，然后再手机或平板电脑上进行叠加显示，存在如下缺陷或不足：

（1）培训内容有限，只能针对特定的图像进行三维叠加，模拟特定对象的运动；

（2）操作不便，需手持平板电脑或手机，不适于边操作边指导。

（3）交互方式不友好，培训过程需要注视的是手机或平板电脑的屏幕，而不是实际的培训对象。

（4）不能跟踪操作者的空间位置，不能实现操作者在任意位置或任意角度上的操作观察。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种基于增强现实技术的制造装备智能子系统，其目的在于高效率、低成本地完成制造装备的操作培训、操作监测、故障诊断与远程维修。

为了实现上述目的，本发明提供了一种基于增强现实技术的制造装备智能系统，该系统包括制造装备、信息存储服务器及远程专家，其特征在于，该系统还包括：

故障监测子系统，其通过网络与所述制造装备、信息存储服务器及远程专家连接，所述故障监测子系统包括传感器模块和工控机，所述传感器模块用于测量所述制造装备的运行参数，工控机用于读取所述运行参数；以及

便携式增强现实眼镜，其通过无线网络与所述故障监测子系统、制造装备、信息存储服务器及远程专家连接，所述便携式增强现实眼镜包括操作培训子模块、操作监测子模块、故障诊断子模块及远程维修子模块，其中，所述操作培训子模块用于获取所述信息存储服务器中的装备操作范例，通过全息成像模块可实现三维可视化的装备操作培训；所述操作监测子模块用于获取所述信息存储服务器中的装备操作范例和装备操作规程，实现实时监控操作者行为，及时提醒操作者的违规操作并做记录；所述故障诊断子模块用于发送装备自诊断请求到所述装备故障监测子系统，获取自诊断信息和故障代码，检索所述信息存储服务器中的装备故障解决方案，通过所述全息成像模块实现三维可视化的装备故障诊断；所述远程维修子模块用于向远程专家发送远程维修请求，建立远程网络视频连接，可实现所述制造装备的故障远程维修。

进一步地，所述便携式增强现实眼镜还包括环境感知模块、跟踪定位模块、视频采集模块、全息成像模块及人机交互模块，其中，所述环境感知模块用于对作业环境三维重建，获取作业环境的三维网格模型；所述跟踪定位模块用于实时获取操作者位置信息；所述视频采集模块用于采集操作者观察到的实景信息，对视频信息进行图像匹配，获取制造装备的位置和姿态；所述全息成像模块用于在识别的制造装备上叠加显示主工作菜单界面；所述人机交互模块用于追踪操作者的观察点，并识别操作者的语音或手势指令，进入对应功能子模块。

进一步地，所述传感器模块包括压力传感器、加速度传感器、位移传感器和温度传感器中的一种或多种。

进一步地，所述运行参数包括主轴转速、主轴温度、进给量、进给速度、进给轴位置、电机负载率和电机电流中的一种或多种。

进一步地，所述故障监测子系统还包括故障分析模块，用于对所述传感器信号进行滤波、频谱分析和特征提取，将处理得到的数据和标准数据比对，判断所述制造装备的运行状态，生成所述故障代码。

按照本发明的另一个方面，提供一种所述的基于增强现实技术的制造装备智能系统的实现方法，其特征在于：该方法包括如下步骤：

S1：环境感知模块进行作业环境三维重建，获取所述制造装备作业环境的三维网格模型；

S2：视频采集模块采集操作者观察到的实景信息，对视频信息进行图像匹配，同时结合步骤S1中获取的三维网格模型，识别出制造装备，并获取制造装备的位置和姿态；

S3：全息成像模块在识别的制造装备上叠加显示主工作菜单界面；

S4：人机交互模块追踪操作者的观察点，并识别操作者的语音或手势指令，进入对应的操作培训子模块、操作监测子模块、故障诊断子模块及远程维修子模块，从而实现制造装备的操作培训、操作监测、故障诊断与远程维修。

进一步地，所述操作培训包括如下步骤：

S11：发送查询指令到信息存储服务器，获取装备操作范例；

S12：操作培训子模块初始化预先建立好的三维模型，包括虚拟人物、虚拟工件和虚拟工具，生成对应于所述制造装备操作范例的虚拟人物操作制造装备的动画；

S13：全息成像模块将所述动画叠加到制造装备上，演示制造装备的标准操作步骤。

进一步地，所述操作监测包括如下步骤：

S21：发送查询指令到信息存储服务器，获取装备操作规程和装备操作范例；

S22：操作监测子模块实时获取来自跟踪定位模块的操作者位置信息；

S23：操作监测子模块实时获取来自视频采集模块的视频信息；

S24：所述操作监测子模块实时识别视频信息中特定对象，分析操作者的动作，对操作者的行为进行监控；

S25：所述操作监测子模块对不符合所述装备操作规程、所述装备操作范例的行为进行警示与记录。

进一步地，所述故障诊断包括如下步骤：

S31：信息获取模块定期获取制造装备的运行参数；

S32：装备故障分析模块对获取的参数进行分析，若监测到制造装备有参数异常，发送故障信息到故障诊断子模块；

S33：故障诊断子模块发送查询指令到信息存储服务器，检索装备故障解决方案，获取对应故障的解决方案；

S34：故障诊断子模块发送查询指令到信息存储服务器，获取装备设计信息；

S35：故障诊断子模块依据所获取的故障解决方案，提供可视化的解决步骤。

进一步地，所述远程维修包括如下步骤：

S41：装备故障监测子系统监测到制造装备参数异常，发送故障信息到远程维修子模块；

S42：远程维修子模块根据故障信息建立与远程专家的网络视频连接；

S43：所述连接使远程专家在远端通过计算机、智能手机或平板电脑实时观察制造装备维修者所采集的实景视频；

S44：远程专家和维修者可以进行语音对话，远程专家在平板电脑、智能手机或计算机的视频上进行标注或提示，所述标注或提示能实时叠加在维修者的实景视频中，从而实现所述制造装备的故障远程维修。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

（1）本发明的基于增强现实技术的制造装备智能系统，通过制造装备、信息存储服务器、故障监测子系统、便携式增强现实眼镜及远程专家能够高效率、低成本地完成制造装备的操作培训、操作监测、故障诊断与远程维修。

（2）本发明的操作培训子模块，使得操作者能快速、有效的学习新装备的操作步骤和方法，降低培训时间成本和人力成本。

（3）本发明的操作检测子模块，能使操作者在日常工作中更为安全有效的操作装备，及时纠正操作错误，提高生产效率。

（4）本发明的故障诊断子模，能使普通操作者或维修工人根据厂家或专业维修人员提供的专业可视化维修方案，减少装备故障停机时间，降低维修成本。

（5）本发明的远程维修子模块，能使远程专家观察装备现场情况，通过增强现实设备三维可视化地指导现场维修者快速有效的解决问题。

附图说明

图1为本发明实施例的一种基于增强现实技术的制造装备智能系统的结构图；

图2为本发明实施例的一种基于增强现实技术的制造装备智能系统涉及的便携式增强现实眼镜的结构图；

图3为本发明实施例的一种基于增强现实技术的制造装备智能系统实现方法的工作流程图；

图4为本发明实施例的一种基于增强现实技术的制造装备智能系统的实现方法实例场景。

所有附图中，相同的附图标记用来表示相同的元件或结构，其中：100-制造装备、101-装备故障监测子系统、102-便携式增强现实眼镜、103-信息存储服务器、104-远程专家、105-网络、106-路由器、110-工控机、111-传感器模块、201-基础模块、202-功能模块、210-环境感知模块、211-跟踪定位模块、212-视频采集模块、213-全息成像模块、214-人机交互模块、220-操作培训子模块、221-操作监测子模块、222-故障诊断子模块、223-远程维修子模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1为本发明实施例的一种基于增强现实技术的制造装备智能系统的结构图。如图1所示，该系统主要组成部分有：制造装备100、故障监测子系统101、便携式增强现实眼镜102、信息存储服务器103和远程专家104。其中，装备故障监测子系统101通过网线与制造装备100连接，装备故障监测子系统101与便携式增强现实眼镜102处于同一局域网内，装备故障监测子系统101、信息存储服务器103与远程专家104通过网络105相互连接。

故障监测子系统101由传感器模块111和内置数据采集卡的工控机110组成，完成信息获取和故障分析两个功能。信息获取模块通过两种途径获取制造装备100的参数：直接从数控系统读出运行参数；通过外加传感器模块111测量运行参数。在本示例性实施例中，制造装备100使用的是西门子840Dsl型号数控系统，并通过网线与工控机110进行通信。工控机110通过OPC协议读取数控系统内的运行参数，运行参数包括但不限于主轴转速、主轴温度、进给量、进给速度、进给轴位置、电机负载率、电机电流等。传感器模块111用于测量数控系统不能提供的，需要额外测量的参数。传感器模块111包括但不限于压力传感器、加速度传感器、位移传感器和温度传感器等，传感器信号由前置信号处理单元预处理后，经工控机110上的数据采集卡采集。故障分析模块是运行于工控机上的程序模块，完成传感器信号的滤波、频谱分析和特征提取，将处理得到的数据和标准数据比对，判断机床的运行状态，生成相应的故障代码。

图2为本发明实施例的一种基于增强现实技术的制造装备智能系统涉及的便携式增强现实眼镜的结构图。如图2所示，便携式增强现实眼镜主要组成部分有：基础模块200和功能模块201，其中基础模块200包括：环境感知模块210、跟踪定位模块211、视频采集模块212、全息成像模块213、人机交互模块214；功能模块包括：操作培训子模块220、操作监测子模块221、故障诊断子模块222、远程维修子模块223。

图3为本发明实施例的一种基于增强现实技术的制造装备智能系统实现方法的工作流程图。如图3所示，该方法包括如下步骤：

1）环境感知模块210进行作业环境三维重建310，获取作业环境的三维网格模型。所述作业环境三维重建310的方法包括但不受限的为：基于单目视觉、双目视觉、单目结构光、双目结构光或RGBD摄像头的三维重建方法。本实施例中的便携式增强现实眼镜102使用的是基于RGBD（彩色+深度）摄像头的三维重建方法。

2）视频采集模块212采集操作者观察到的实景信息，对视频信息进行图像匹配，同时结合步骤1）中获取的三维网格模型，识别出制造装备100，并获取制造装备100的位置和姿态311。

所述图像匹配指的是，将视频采集模块212采集的实景视频信息与已知的特征进行识别匹配，特征包括但不限于：贴在制造装备100表面的二维图像、已知表面纹理的圆柱体或已知三维模型的三维物体。

本发明的优选实施例中，所述二维图像包括照片、二维码、条形码等。

本发明的优选实施例中，运用Vuforia增强现实引擎识别已知三维模型的制造装备100或贴在制造装备100表面的二维码，并通过步骤1）中获取的三维网格模型进行校正，得到制造装备100在世界坐标系下的位置和姿态。

3）全息成像模块213在识别的制造装备100上叠加显示主工作菜单界面312。所述主工作菜单界面包括选项：操作培训子模块220、操作监测子模块221、故障诊断子模块222、远程维修子模块233。全息成像模块213集成在便携式增强现实眼镜102，显示技术包括立体（Stereoscopic）技术和光场（Light Field）技术。

本发明的优选实施例中，所述便携式增强现实眼镜102运用立体（Stereoscopic）技术实现全息成像。本实施例的主菜单界面通过Unity3D的UGUI进行设计开发。

4）人机交互模块214追踪操作者的观察点，并识别操作者的语音或手势指令，进入对应功能子模块。所述追踪操作者的观察点指的是，跟踪定位模块411通过机器视觉和惯性元件综合计算操作者头部的位置和朝向；以操作者双目中间点作为起点，以计算得到的头部朝向作为方向，发射一条虚拟的射线；该射线会与虚拟的三维物体或环境感知模块210构建的三维网格模型相交；在所有相交点中，在离操作者最近的相交点处叠加显示虚拟的光标；该光标的位置即理解为操作者的观察点。所述语音指令指的是，人机交互模块214会对操作者发出的语音信号进行采集和分析，识别其中的预定义的关键词或关键语句，并执行相应的应用程序。

所述手势识别指的是，人机交互模块214通过相机识别操作者手的位置和手的特定动作，可识别操作包括但不限于：点击、取消、移动、放大、缩小。

5）功能模块201的具体实现过程：

操作培训子模块220的工作过程是，发送查询指令到信息存储服务器103，获取装备操作范例313；操作培训子模块220初始化预先建立好的三维模型，包括虚拟人物、虚拟工件和虚拟工具，生成对应于装备操作范例的虚拟人物操作制造装备100的动画；全息成像模块213将虚拟动画叠加到制造装备100上，演示制造装备100的标准操作步骤。

装备操作范例包含：操作者的位置数据、操作者的关节动作数据、虚拟工件和虚拟工具的位置数据、虚拟工件和虚拟工具的姿态数据、特效控制数据。所述数据在操作者按照标准步骤操作制造装备100的过程中产生，所述数据供操作培训子模块220生成对应的动画使用。

本发明的优选实施例中，所述三维模型通过软件3dsMax建立，再导入Unity 3D中进行控制和调用。所述三维模型包含贴图纹理和人物骨骼。

本发明的优选实施例中，所述动画可暂停、加速、慢速播放。

本发明的优选实施例中，所述动画会对制造装备100的关键操作部位叠加框选特效、高亮特效、透视特效、变形特效。所述动画的特效通过着色器编程技术实现。所述动画为三维全景动画，操作者可在任意方位观察。

操作监测子模块221的工作过程是，发送查询指令到信息存储服务器103，获取装备操作规程和装备操作范例；操作监测子模块221实时获取来自跟踪定位模块211的操作者位置信息；操作监测子模块221实时获取来自视频采集模块212的视频信息；所述操作监测子模块实时识别视频信息中特定对象，分析操作者的动作，对操作者的行为进行监控；所述操作监测子模块对不符合所述装备操作规程、所述装备操作范例的行为进行警示与记录；所述警示包括声音提示、文字提示、特定对象的高亮特效。

所述识别视频信息中特定对象的方法为：将视频采集模块212采集的实景视频信息与已知的特征进行识别匹配，特征包括但不限于：贴在特定对象表面的二维图像、特定对象的三维模型特征。本实施例运用Vuforia增强现实引擎识别贴在特定对象表面的二维码来识别特定对象，或直接识别已知三维模型的特定对象。所述分析操作者动作与行为的方法为：将跟踪的操作者和特定对象的位置和姿态，与装备操作规程和装备操作范例进行比对，分析是否偏离既定操作步骤或违反操作规程。

本发明的优选实施例中，所述示例性应用场景为：操作监测子模块221通过跟踪操作者的位置，提示操作者禁止进入制造装备100运行时的危险区域；操作监测子模块221通过识别特定对象，提示操作者在标准步骤下应该使用的工具；操作监测子模块221监控操作者的操作步骤，例如在拆装工件之前需要将数控面板的主轴和进给轴使能关闭，保证操作的安全，若操作者疏忽了这一步骤，则通过语音和视觉警示操作者。

本发明的优选实施例中，所述特定对象为特定工件或特定工具。

故障诊断子模块222的工作过程是，信息获取模块210定期获取制造装备100的运行参数，装备故障分析模块211对获取的参数进行分析，若监测到制造装备100有参数异常，发送故障信息到故障诊断子模块222；故障诊断子模块222发送查询指令到信息存储服务器103，检索装备故障解决方案311，获取对应故障的解决方案；故障诊断子模块222发送查询指令到信息存储服务器103，获取装备设计信息；故障诊断子模块222依据所获取的故障解决方案，提供可视化的解决步骤。

所述可视化的解决步骤包括，对故障解决方案的详细步骤进行文字提示，对故障解决方案中涉及到的关键部件的图纸、材料、装配工艺、拆装方法或者三维标注进行提示。所述可视化解决步骤由全息成像模块213叠加在所述装备的关键部件上。

本发明的优选实施例中，示例性应用场景为：装备故障监测子系统200监测到制造装备100的主轴温度过高，通过检索装备故障解决方案得到解决方案为查看主轴温度传感器接线是否良好，故障诊断子模块222通过环境感知模块210和跟踪定位模块211获取操作者和制造装备100的位置，规划从操作者位置到所述主轴温度传感器接线处的路径，全息成像模块213通过叠加虚拟导向箭头引导操作者至所述主轴温度传感器接线处，通过语音、文字和关键部件高亮特效指导维修者拆开接线盒，检查所述所述主轴温度传感器接线。

远程维修子模块223的工作过程是，装备故障监测子系统200监测到制造装备100参数异常，发送故障信息到远程维修子模块223；远程维修子模块223根据故障信息建立与远程专家104的网络视频连接；所述连接使远程专家104在远端通过计算机、智能手机或平板电脑实时观察制造装备100维修者所采集的实景视频，远程专家104和维修者可以进行语音对话，远程专家104在平板电脑、智能手机或计算机的视频上进行标注或提示，所述标注或提示能实时叠加在维修者的实景视频中。

6）工作数据记录与上传315指的是，将操作者的工作过程产生的数据记录并上传至服务器。所述数据包括但不限于：操作者进行制造装备100操作的关键步骤的视频信息、全天加工件数、全天误操作情况及其次数、制造装备100故障等。

7）程序退出

图4为本发明实施例的一种基于增强现实技术的制造装备智能系统的实现方法实例场景。如图4所示，操作者佩戴便携式增强现实眼镜102，在制造装备100上方观察到任务栏、状态栏和菜单栏三项信息，任务栏展示当日的加工任务及目前完成状况；状态栏提示目前装备的状态；菜单栏为进入四个子模块提供了入口。示例性实施例场景中，状态栏显示“未检测到主轴温度信号，点击检索解决方案”；操作者点击后，出现提示框“0”，该提示框内容为“0.拆开传感器接线盒，检查3号端子见右图”，操作者根据提示框的位置拆开提示框，根据提示框的图示对接线进行检查；问题解决后，出现提示框“1”，进入加工步骤，提示信息为“1.关闭主使能和进给使能，确认G代码”，操作者根据提示完成对应操作，并核对数控面板的G代码是否正确；操作者完成步骤“1”后，出现提示框“2”，内容为“2.选择线框内的扳手和工件，安装工件”，操作者根据提示选择线框内的扳手和工件完成操作。以上场景仅为部分功能的示例性展示，在实际应用中，不仅包含文字提示，还包括语音、部件特效与动画、虚拟人物示教等。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。