无人工作面采煤机沉浸式远程故障排查及其操作培训方法

摘要

本发明公开了一种无人工作面采煤机沉浸式远程故障排查及操作培训方法，排查步骤：实时采集无人工作面的两个方位声音和两个视角图像；存储所述两个方位声音和所述两个视角图像，并将所述两个方位声音和所述两个视角图像传输到地面操作平台；根据采煤机故障提示，通过立体声音设备和立体图像设备获得无人工作组面的立体声音和立体图像并排查采煤机故障情况。培训步骤：包括以下步骤：实时采集无人工作面的两个方位声音和两个视角图像；将所述两个方位声音和所述两个视角图像传输到地面操作平台；同步存储采煤机动作指令数据；通过立体声音设备和立体图像设备获得无人工作面的立体声音和立体图像，通过显示界面同步呈现所述动作指令数据。

说明书

技术领域

本发明涉及无人工作面采煤技术领域，具体涉及一种无人工作面采煤机沉浸式远程故障排查及操作培训方法。

背景技术

煤矿采集是一个非常复杂的生产系统，井下作业环境非常恶劣、作业空间狭小及危险的多变性，隐蔽性和受各种突发情况影响等给安检人员和矿工进行安全教育与培训，提高煤矿主管部门监督管理的职能等问题带来难度。常规培训教育一般靠文字、工程、图纸等来了解和熟悉煤矿生产系统和运行状况。用文字和图纸来讲授和学习，很难形象直观地反映出井下设备运转和巷道布置与支护等真实情况，效果也并不理想，深入矿井现场认识井下生产状况虽然是最基本最可靠的一种方法，但是费时费力。如果单纯采用虚拟建模进行场景模拟，而没有现场三维音频采集和三维图像采集，无论如何仿真都无法精确重现事故现场情景。公告号为CN105405335A的中国专利文献公开了一种煤矿综采工作面远程控制虚拟培训系统，包括远程控制操控台、高速多通道数据采集卡和计算机，在计算机内嵌入虚拟培训软件系统，所述的远程控制操控台包括各种功能开关、手柄和旋钮，控制虚拟综采工作面设备；所述的高速多通道数据采集卡，用于采集远程控制操控台上安装的各种功能开关、手柄、旋钮发出的多路开关量和模拟量；所述的计算机将采集的多路开关量和模拟量进行处理和存储，通过数据库接口程序，实现虚拟综采工作面设备的显示；利用虚拟现实技术讲现场抽象为理想条件进行培训，而煤矿生产条件千差万别，各自的典型灾害也多种多样，虚拟技术对这些灾害的模拟会出现较大的偏差。

另外，目前无人工作面的监控设备往往是间隔布置在支架上，有视觉盲区，并且无法判断前方物体的深浅，不能实现对采煤机的远程操作，并且没有立体声采集设备，当采煤机错误割到支架的时候无法辨别具体事故发生的方位，不利于远程操控的工作人员及时处理问题。

发明内容

本发明的目的在于提供一种无人工作面采煤机沉浸式远程故障排查及操作培训方法，用以解决无人工作面的监控设备无法有效辨别故障发生方位的问题，同时解决了现有的虚拟培训系统无法精确重现事故现场情景的问题。

为实现上述目的，本发明提供了如下技术方案：

一种无人工作面采煤机沉浸式远程故障排查方法，其包括以下步骤：

S1、实时采集无人工作面的两个方位声音和两个视角图像；

S2、存储所述两个方位声音和所述两个视角图像，并将所述两个方位声音和所述两个视角图像传输到地面操作平台；

S3、根据采煤机故障提示，通过立体声音设备和立体图像设备获得无人工作组面的立体声音和立体图像并排查采煤机故障情况。

进一步的，所述步骤S1中，通过两个具有人眼间距的摄像机获得所述两个视角图像；通过两个具有人耳间距的麦克风阵列获得所述两个方位声音。

进一步的，所述步骤S3中，所述立体图像设备是3D图像播放界面和3D眼镜，或者集成3D图像播放界面的3D头盔；所述立体声音设备是具有方位辨别功能的3D耳机。

立体图像获取原理说明：

立体图像就是用两个镜头如人眼那样的拍摄装置，拍摄下景物的双视点图像；再通过两台放映设备，把两个视点的图像同步放映，使这略有差别的两幅图像显示在银幕上，使左眼只看到左图像，右眼只看到右图像，从而再现立体图像，在两个放映设备前的偏振片的偏振方向互相垂直，因而产生的两束偏振光的偏振方向也互相垂直，这两束偏振光投射到银幕上再反射到人眼处，偏振光方向不改变，人们使用对应上述的偏振光的偏振眼镜观看，即左眼只能看到左机映出的画面，右眼只能看到右机映出的画面，这样就会看到立体景像，这就是立体图像的原理；上述立体图像再现可以通过计算机播放软件与3D眼睛结合来实现。

立体声音获取原理说明：

立体声音是通过人体的双耳效应，如果录音时能够把不同声源的空间位置反映出来，使人们在听录音时，就好像身临其境直接听到各方面的声源发音一样。通过两个具有人耳间距的麦克风，对现场的声音进行采集，在通过两个与麦克风位置相对应的扬声器再现现场的声音，听到的声音就会有很好的立体感，这就是两声道立体声录音。

进一步的，两个具有人眼间距的摄像机和两个具有人耳间距的麦克风阵列集成设置在同一井下影音捕捉装置上，所述井下影音捕捉装置设置在所述采煤机的机架上。

进一步的，所述井下影音捕捉装置按照预定运动轨迹实时获取无人工作面的两个视角图像和两个方位声音。

进一步的，所述步骤S1中，利用运动捕捉设备实时获得地面操作人员头部的动作信号，根据所述动作信号生成所述井下影音捕捉装置同步运动信号。可选地，所述运动捕捉设备是安装在地面操作人员头部的三坐标陀螺仪。

进一步的，所述井下影音捕捉装置包括影音探测头、连杆、旋转关节、转动关节以及固定连接座，所述连杆包括第一连杆和第二连杆，所述旋转关节包括第一旋转关节和第二旋转关节，所述转动关节包括第一转动关节、第二转动关节和第三转动关节；所述影音探测头通过所述第二旋转关节与所述第三转动关节连接，所述第三转动关节设置在所述第一连杆一端，所述第一连杆另一端通过第二转动关节与所述第二连杆的一端连接，所述第二连杆的另一端具有第一转动关节，所述第一转动关节通过所述第一旋转关节与所述固定连接座连接，所述固定连接座设置在采煤机上。

进一步的，所述影音探测头上设置有两个摄像机和两个麦克风阵列，所述两个摄像机位于所述影音探测头同一侧面，具有人眼间距；所述两个麦克风阵列分别位于另外两个相对的侧面，具有人耳间距。

基于上述工作面沉浸式远程故障排查方法，本发明还提供了一种无人工作面采煤机沉浸式操作培训方法，其包括以下步骤：

S1、实时采集无人工作面的两个方位声音和两个视角图像；

S2、将所述两个方位声音和所述两个视角图像传输到地面操作平台；同步存储采煤机动作指令数据；

S3、通过立体声音设备和立体图像设备获得无人工作面的立体声音和立体图像，通过显示界面同步呈现所述动作指令数据。

进一步的，所述步骤S3中，根据所述动作指令数据，在一模拟操作界面中进行采煤机模拟操作。

进一步的，所述模拟操作界面记录所述模拟操作指令，与所述动作指令数据对比，判断所述模拟操作指令情况。

本发明方法具有如下优点：

本发明通过三维影音技术，能够实现对无人工作面采煤机实时监测，通过对立体声音和立体图像的重现或者实时观测，能够及时准确整个采煤机故障进行初步排查。

本发明利用三维影音技术和模拟操作界面重新了无人工作面采煤机的真实工作场景，弥补了三维动画培训无法完全呈现现场情况的弊端。记录了整个采煤机工人的操作流程，可以选取优秀的采煤机工作操作典范，在培训期间将其原封不动的呈现给被培训者，比传统的三维动画培训更加直观、真实、可靠。

附图说明

图1是本发明提供的一种无人工作面采煤机沉浸式远程故障排查方法流程图。

图2是本发明提供的一种无人工作面采煤机沉浸式操作培训方法流程图。

图3是本发明的井下影音捕捉装置主视图。

图4是本发明的井下影音捕捉装置左视图。

图5是本发明的井下影音捕捉装置三维立体图。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明的技术方案的总体思路如下：

利用立体图像和立体声音设备来获取无人工作面采煤机现场的影音数据，然后利用3D图像和立体音频技术，在地面操作平台界面上呈现现在采集的影音数据，通过图像和声音判断采煤机的运行情况，实现对采煤机故障的快速排查，不需要进入井下工作面，而且通过三维再现，能够最真实的反映采煤机运行情况。通过结合采煤机动作指令记录，能够再现采煤机的真实操作过程，从而实现操作人员的教育培训。

以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1

如图1所示，一种无人工作面采煤机沉浸式远程故障排查方法，其包括以下步骤：

S1、实时采集无人工作面的两个方位声音和两个视角图像；

S2、存储所述两个方位声音和所述两个视角图像，并将所述两个方位声音和所述两个视角图像传输到地面操作平台；

S3、根据采煤机故障提示，通过立体声音设备和立体图像设备获得无人工作组面的立体声音和立体图像并排查采煤机故障情况。

优选地，所述步骤S1中，通过两个具有人眼间距的摄像机获得所述两个视角图像；通过两个具有人耳间距的麦克风阵列获得所述两个方位声音。

优选地，所述步骤S3中，所述立体图像设备是3D图像播放界面和3D眼镜，或者集成3D图像播放界面的3D头盔；所述立体声音设备是具有方位辨别功能的3D耳机。

优选地，两个具有人眼间距的摄像机和两个具有人耳间距的麦克风阵列集成设置在同一井下影音捕捉装置上，所述井下影音捕捉装置设置在所述采煤机的机架上。

优选地，所述井下影音捕捉装置按照预定运动轨迹实时获取无人工作面的两个视角图像和两个方位声音。

优选地，所述步骤S1中，利用运动捕捉设备实时获得地面操作人员头部的动作信号，根据所述动作信号生成所述井下影音捕捉装置同步运动信号。所述运动捕捉设备是安装在地面操作人员头部的三坐标陀螺仪。

如图3-5所示，所述井下影音捕捉装置包括影音探测头1、连杆、旋转关节、转动关节以及固定连接座4，所述连杆包括第一连杆2和第二连杆3，所述旋转关节包括第一旋转关节5和第二旋转关节6，所述转动关节包括第一转动关节7、第二转动关节8和第三转动关节9；所述影音探测头1通过所述第二旋转关节6与所述第三转动关节9连接，所述第三转动关节9设置在所述第一连杆2一端，所述第一连杆2另一端通过第二转动关节8与所述第二连杆3的一端连接，所述第二连杆3的另一端具有第一转动关节7，所述第一转动关节7通过所述第一旋转关节5与所述固定连接座4连接，所述固定连接座4设置在采煤机上。

优选地，所述影音探测头1上设置有两个摄像机11和两个麦克风阵列12，所述两个摄像机11位于所述影音探测头1同一侧面，具有人眼间距；所述两个麦克风阵列12分别位于另外两个相对的侧面，具有人耳间距。

实施例2

基于上述工作面沉浸式远程故障排查方法，如图2所示，本发明还提供了一种无人工作面采煤机沉浸式操作培训方法，其包括以下步骤：

S1、实时采集无人工作面的两个方位声音和两个视角图像；

S2、将所述两个方位声音和所述两个视角图像传输到地面操作平台；同步存储采煤机动作指令数据；

S3、通过立体声音设备和立体图像设备获得无人工作面的立体声音和立体图像，通过显示界面同步呈现所述动作指令数据。

优选地，所述步骤S3中，根据所述动作指令数据，在一模拟操作界面中进行采煤机模拟操作。

优选地，所述模拟操作界面记录所述模拟操作指令，与所述动作指令数据对比，判断所述模拟操作指令情况。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。