面向加工过程监控的混合现实交互方法

摘要

本发明涉及面向加工过程监控的混合现实交互方法。尤其涉及在数控加工过程中，通过配带混合现实眼镜设备，能够实现虚拟机床设备在车间固定位置处摆放以实现车间布局验证，以及在真实机床旁边的固定位置处全息显示加工过程监控数据，并可以实现随操作者视向移动而移动。设计一组多个机床三维模型并生成多个机床模型文件。创建一个场景工程文件，混合现实显示信息写入该文件中。将该场景工程文件和对应的多个机床模型文件上传至混合现实眼镜设备中并进行解析。对场景工程文件包括的一组多个机床三维模型进行全息显示。采用本发明，能够在真实的车间现场设备旁，直观的观看该机床的加工数据，可以将虚拟机床放置于真实车间空间内，便于布局的验证。

说明书

技术领域

本发明涉及一种混合现实交互技术，具体涉及一种面向加工过程监控的混合现实交互方法。

背景技术

增强现实是虚拟现实的一个分支，其区别在于能够将虚拟世界和真实世界融合在一起，提升可视化和人机交互的水平。混合现实又是增强现实的一种增强形式，其区别与传统的虚拟物体与真实世界视频简单叠加，能够通过摄像头和深度传感器，感知周围空间和重构空间网格结构，并将虚拟实体放入重构的空间结构中，即相当于放入真实的世界空间中，形成虚实高度融合的增强现实模式。典型设备是以微软公司的Hololens眼镜为例，通过混合现实设备和应用软件的配合，能够形成新型人机交互和可视化方法，可应用于工业制造领域。通过头戴式混合现实眼镜可将生产线的数控机床三维模型，全息的放置在真实车间内，仿真验证车间设备布局的合理性；也可在车间巡检过程中，在真实机床空间处全息显示该机床的加工过程数据，如机床运行状态、主轴倍率、进给率、报警信息等，在现实车间场景中增强信息并易于交互。为实现上述需求，需要应用模型数据交互、空间坐标变换等技术。

发明内容

针对上述技术要求，本发明目是提供一种面向加工过程监控的混合现实交互方法。

采用本方法并使用可穿戴式混合现实眼镜设备，能够将采用CAD系统产生的标准格式数控机床三维模型文件(如STL、FBX等文件)，导入混合现实眼镜中以实现机床虚拟模型的全息显示，并实现虚拟机床模型与真实车间空间的高度融合，可将机床模型固定放置在真实车间的任意位置处，也可以跟随操作者视向移动，可对全息模型进行缩放、自由移动、自由旋转等操作。同时可将机床加工过程监控数据以全息UI形式固定在对应的真实机床处，可将通用的操作菜单始终显示与眼前，并可以随着操作者视向而移动。

本发明解决其技术问题所采用的技术方案是：面向加工过程监控的混合现实交互方法，包括以下步骤：

采用CAD系统构建一组多个机床三维模型并生成多个机床模型文件；创建场景工程文件，将一组多个机床的混合现实显示信息写入该文件中；

将该场景工程文件和对应的多个机床模型文件上传至混合现实眼镜设备中，并对该场景工程文件进行解析，得到混合现实显示信息；

通过混合现实显示信息，混合现实眼镜设备对场景工程文件含有的一组多个机床三维模型进行全息显示，实现混合现实的交互。

所述对该场景工程文件进行解析包括以下步骤：

通过解析场景工程文件中的XML结构，将场景中的机床及其属性加载至混合现实眼镜内存中的场景树结构中；

所述场景树结构为一个多叉树的数据结构，多叉树根节点表示场景，其属性为该场景包含的机床模型数量、全息显示的定位模式以及每个机床模型的存储地址。

所述混合现实显示信息包括该含有机床或显示面板对象的编号id及其对应的属性信息，属性包括，该含有机床或显示面板对象对应的模型文件名字name、相对路径path、文件大小size、渲染的颜色color、渲染的初始比例scale、渲染的初始位置变换tanslation、场景中的名称objectName和中心点标志centerFlg。根据场景工程文件中的定位模式，对机床三维模型和加工过程监控数据UI面板进行定位显示。

所述定位模式为世界定位模式，所述世界定位模式为机床模型固定在真实环境的某一位置，其位置不随佩戴混合现实眼镜设备的操作者视向移动而改变；所述世界定位模式具体如下：

在世界坐标系中的位置为O

若全息机床为{obj

所述定位模式为跟随定位模式，所述跟随定位模式为机床模型始终在佩戴混合现实眼镜的操作者眼前显示，随着操作者的视向变化而同步变化；所述跟随定位模式具体如下：

首先进行世界定位模式的处理，仅当眼镜佩戴者位置发生移动时，进行如下的处理：

混合现实眼镜移动的位移量为O

当混合现实眼镜识别到设定手势1，通过手势交互对机床三维模型进行缩放操作，包括以下步骤：

全息机床为{machine

当混合现实眼镜识别到设定手势2，通过手势交互对机床三维模型进行移动操作，包括以下步骤：

全息机床为{machine

当混合现实眼镜识别到设定手势3，通过手势交互对机床三维模型进行旋转操作，包括以下步骤：

全息机床为{machine

绕y轴自由旋转后新的坐标为V

绕z轴自由旋转后新的坐标为V

全息显示具体是将机床网格体数据存储链表中的对象顶点坐标和对应的法向量发送到渲染管线中，按照场景树中节点的机床属性值，包括颜色color、比例scale、位置变换translation进行计算处理并渲染。

本发明具有以下有益效果及优点：

1.本发明能够自定义多个三维模型机床和其颜色、大小等属性并组成全息场景，可将场景导入混合现实设备中全息的观看；

2.本发明能够将全息显示的机床模型固定位置的放置于真实世界空间中；

3.本发明能够在混合现实眼镜佩戴者移动时，将全息显示的三维机床跟随佩戴者视向同步移动；

4.本发明能够将全息显示的三维机床进行缩放、自由移动和自由旋转操作。

5.采用本发明，能够在真实的车间现场设备旁，直观的观看该机床的加工数据，可以将虚拟机床放置于真实车间空间内，便于布局的验证。

附图说明

图1面向加工过程监控的混合现实交互方法流程图；

图2场景树结构图；

图3机床网格体数据的存储链表示意图；

图4世界定位模式示意图；

图5跟随定位模式示意图；

图6加工过程监控数据UI面板进行定位显示示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明。

如图1所示，本发明涉及面向加工过程监控的混合现实交互方法。尤其涉及在数控加工过程中，通过配带混合现实眼镜设备，能够实现虚拟机床设备在车间固定位置处摆放以实现车间布局验证，以及在真实机床旁边的固定位置处全息显示加工过程监控数据，并可以实现随操作者视向移动而移动。面向加工过程监控的混合现实交互方法，其主要的步骤分为以下：

采用CAD系统设计一组多个机床三维模型并生成多个机床模型文件。

创建一个场景工程文件，将一组多个机床的混合现实显示信息写入该文件中。

将该场景工程文件和对应的多个机床模型文件上传至混合现实眼镜设备中，并对该场景工程文件进行解析。

对场景工程文件包括的一组多个机床三维模型进行全息显示。

根据场景工程文件中的定位模式，对机床三维模型和加工过程监控数据UI面板进行定位显示。

通过手势交互对机床三维模型进行移动、旋转和放大操作。

所述模型文件是指STL、FBX等标准格式的三维模型文件。

所述场景工程文件是指符合XML标准的文件。

所述机床的混合现实显示信息是指该机床的编号(id)及其对应的属性信息，属性包括，该机床对应的模型文件名字(name)、相对路径(path)、文件大小(size)、渲染的颜色(color)、渲染的初始比例(scale)、渲染的初始位置变换(tanslation)、场景中的名称(objectName)和中心点标志(centerFlg)。

所述将一组多个机床的混合现实显示信息写入该文件中是指，场景工程文件中按照XML格式的要求写入需要全息显示的机床编号(Machine id)及其属性，包括该机床对应的模型文件名字(name)、相对路径(path)、文件大小(size)、渲染时的颜色(color)、渲染时的初始比例(scale)、渲染时的初始位置变换(tanslation)、在场景中的名称(objectName)和中心点标志(centerFlg)。

一个场景工程文件如下所示。

所述将将该场景工程文件和对应的多个机床模型文件上传至混合现实眼镜设备中是指，采用FTP或Socket等通信协议将场景工程文件和对应的多个机床模型文件从一台计算机中上传至混合现实眼镜的存储器中。

所述对该场景工程文件进行解析是指，通过解析场景工程文件中的XML结构，将场景中的机床及其属性加载至混合现实眼镜内存中的场景树结构中。

所述场景树结构是指，一个多叉树的数据结构，多叉树根节点表示场景，其属性为该场景包含的机床模型数量、全息显示的定位模式以及每个机床模型的存储地址。多叉树子节点表示场景中对应的机床模型，其属性包括模型文件名字(name)、相对路径(path)、文件大小(size)、渲染的颜色(color)、渲染的初始比例(scale)、渲染的初始位置变换(translation)、场景中的机床名称(machineName)、中心点标志(centerFlg)、机床网格体数据的存储链表地址。场景树结构如图2所示。

所述对场景工程文件包括的一组多个机床三维模型进行全息显示是指，对表示机床三维模型的STL、FBX文件中解析出机床网格体数据，并使用混合现实眼镜设备实现全息显示。

所述机床网格体数据是指按照模型文件名(name)和相对路径(path)读取STL、FBX等文件，并对STL、FBX等文件进行解析，解析出组成机床Machine

所述定位模式是指，世界定位模式、跟随定位模式。

所述世界定位模式是指，机床模型可以固定在真实环境的某一位置，其位置不随佩戴混合现实眼镜的操作者视向移动而改变。如图4所示。在世界坐标系中的位置为O

即场景将在混合现实设备初始开机位置面前0.5米处显示，当眼镜佩戴者位置发生移动时，场景仍然在该位置处而不移动，直到操作者使用自由移动交互操作场景。

所述跟随定位模式是指，机床模型始终在佩戴混合现实眼镜的操作者眼前显示，随着操作者的视向变化而同步变化。如图5所示。跟随定位模式是指场景跟随混合现实眼镜佩戴者移动而移动，如图5所示。首先进行世界定位模式的处理，仅当眼镜佩戴者位置发生移动时，进行如下的处理：

混合现实眼镜移动的位移量为O

所述对机床三维模型和加工过程监控数据UI面板进行定位显示是指，将包含有机床加工过程监控数据(如进给率、运动状态、转速等)的显示面板以世界定位模式放置在其对应的真实机床旁边全息显示。如图6所示。

所述手势交互是指，混合现实眼镜提供的手势交互功能，如点击、拖拽等。

所述对机床三维模型进行缩放、自由移动和自由旋转操作是指，

缩放操作。若全息机床为{machine

自由移动。若全息机床为{machine

自由旋转。若全息机床为{machine

绕y轴自由旋转后新的坐标为V

绕z轴自由旋转后新的坐标为V

混合现实眼镜应用程序按照混合现实场景树数据对场景进行渲染，将机床网格体数据存储链表中的处理后的顶点坐标和法向量发送到渲染管线中，按照场景树中节点的机床属性值，包括颜色(color)、比例(scale)、位置变换(translation)进行渲染。