一种虚拟现实矿井综采工作面的远程巡检干预方法

摘要

一种虚拟现实矿井综采工作面的远程巡检干预方法是将综采工作面装备实时传回的数据及物探数据构建虚拟软件，实时数据驱动虚拟综采工作面并呈现在多种虚拟现实硬件与软件构建的综采VR追踪与交互中心中，利用多种虚拟现实人机交互手段与虚拟人机交互界面进行虚拟操作，虚拟现实硬件与软件对操作人员位置、姿态和动作进行捕捉，并将虚拟操作转化为现实指令并接入集中控制中心进行真实设备的操作，指引相对应操作的设备完成调整工作，进而完成远程人工干预和人工巡检任务，并对真实的综采工作面实时运行工况进行真实呈现，进而进行监控。本方法在远离生产现场安全的地方直接对运行异常的设备进行远程人工干预，支持多人进行协同和同时巡检工作。

说明书

技术领域

本发明涉及一种虚拟矿井综采工作面设备运行的监测控制方法，尤其是一种实时虚拟综采工作面工况环境下，通过人机交互对设备进行远程监测干预的方法。

背景技术

在煤炭领域，虚拟现实技术由于具备先天的沉浸性、交互性，也越来越受到重视并在局部开展了试验性应用，取得了较多的研究成果，包括煤矿虚拟现实场景仿真、教育培训、煤矿装备虚拟现实监测监控虚拟规划和“VR+AR”技术融合设计等方面；但和其他工业领域应用相比，在深度和广度上还有较大迟滞甚至落后，离真正的工业化应用还有相当大的距离。

现有我国综采自动化水平已经总体提出了“无人操作、有人巡视”综采常态运行策略，并在一些条件较好、自动化水平较高的煤矿得以应用，其中远程干预和巡检技术是此项技术中最重要的一部分之一。

现有技术中，申请号为201610754468.9名称为“一种以自动割煤为主远程干预为辅的采煤机采煤控制方法”，该发明采煤机为双滚筒采煤机，该方法采用的控制系统包括控制器、无线通信模块、控制计算机、数据存储器、摄像头、位移传感器、左摇臂角度传感器和右摇臂角度传感器；采煤机采煤控制方法包括以下步骤：一是人工示教，二是以自动割煤为主远程干预为辅的控制方式控制采煤机进行采煤，采煤机进行自动割煤的过程中，当操作人员判断为需要人工调整采煤机姿态时，操作人员进行人工干预控制，调整采煤机割煤姿态，调整完毕后，退出远程人工干预，采煤机恢复自动割煤状态；本发明方法步骤简单，设计合理且实现方便，既达到了减员增效的目的，又提高了安全系数，实用性强，便于推广使用。

公开论文一种“可视化远程干预型智能化采煤关键控制技术研究”进行了可视化远程干预型智能化采煤控制技术的研究，通过采用基于视频追踪、接力和拼接技术的工作面远景实时呈现的方法，研究了远程干预集中操作技术，集成融合采煤机记忆割煤技术，工作面跟机自动化控制技术，研制了综采智能控制系统；试验结果表明：实现了工作面内无人操作的智能采煤常态化运行，将综采工作面每班作业人数由平均15人减少到3人，因此利用该项技术能够实现综采工作面设备的智能化运行，能有效减少作业人数和提高综采工作面的安全生产水平。

公开论文一种“可视远程干预无人化开采技术研究”从其技术原理、总体方案和系统功能深入分析，提出了“无人操作、有人巡视”的无人开采生产模式，即采用拟人手法，将人的视觉、听觉延伸到工作面，将工人从危险的工作面采场解放到相对安全的巷道监控中心或地面，实现在巷道监控中心或地面对液压支架、采煤机、刮板输送机等综采设备进行远程操控，达到工作面无人开采的目的，并提出液压支架控制技术、采煤机控制技术、工作面视频监控技术、远程集中控制技术和人员安全感知技术是可视远程干预无人化开采的关键技术；现场应用表明：可视远程干预无人化开采技术和经济社会效益良好，其是未来工作面实现自适应型智能化无人开采的初级阶段，对实现自适应型智能化无人开采和机器人采煤提供了基础探索研究。

基于虚拟现实技术的综采监控方法，主要有申请号为201610702234.X公开的一种“基于虚拟现实的采煤机调高远程控制方法”，包括步骤一、采煤机开采工况监控系统搭建：搭建采煤机开采工况监控系统；采煤机开采工况监控系统包括声音强度检测装置、下位监控装置和上位监控机；步骤二、三维建模型；步骤三、煤层开采与开采过程同步模拟：采用采煤机沿工作面推进方向由后向前对待开采煤层进行开采，对当前工作面的任一个开采位置进行开采时，过程如下：采煤机实际开采工况信息检测及同步上传、截割工况诊断、采煤机调高判断、采煤机截割高度调整和采煤机开采工况同步模拟；该方法步骤简单、设计合理且实现简便，使用效果好，自动实时对采煤机调高进行远程控制，并能对采煤机开采工况进行同步模拟。

申请号为201710323280.3，名称为“一种基于局域网协同的综采工作面虚拟监测方法”公开了一种在局域网环境下，在虚拟现实引擎Unity3d环境下建立真实综采工作面的镜像，然后利用数据监测主机实时采集的实际工作面并实时存放进入工作面数据库SQLSERVER2008数据库的数据，位于不同位置的多台数据分析服务器实时读取数据库中相对应的数据，通过姿态解算模块和预测模块并且实时对相对应的虚拟现实设备进行驱动，多台主机通过C/S架构，采用局域网协同方式，互相随时同步数据，合成一个整体工作面全景画面，实现对真实工作面进行三维可视化虚拟监测和在线对历史数据进行分析和预测的方法；本方法能够三维全景实时显示工作面的运行状态，后台嵌入综采运行预测预警模型，能够实现直观可视化的故障诊断与预测，为综采工作面高效安全运行提供技术支撑，采用分布式理念进行综采工作面设备的监测，但此不涉及实时反向控制综采设备。

但上述方法的缺陷在于：一是综采工作面远程人工干预方法主要是基于视频画面进行判定，容易出现灰尘水汽造成的效果差的问题，从而影响人工远程干预执行效果；二是基于虚拟现实的人工远程干预主要是基于一个显示屏的虚拟画面进行监测，从而进行远程干预，工作面身临其境的效果较差，并没有搭建一个真实的具有沉浸性的效果极佳的监测画面；三是现有的“智能化无人开采”仍得进行有人进行生产现场进行人工巡检和巡视，判断和监视设备运行状态；四是现有的综采监控系统只是利用虚拟现实技术进行显示设备运行状态，利用集中控制中心的操作台进行远程干预和控制，并不利用专业的虚拟现实技术去反向控制设备。

发明内容

本发明要解决的具体技术问题是如何实现一种虚拟现实矿井综采工作面的远程巡检干预方法。

本发明所采取的技术措施方案如下。

一种虚拟现实矿井综采工作面的远程巡检干预方法，包括综采工作面装备实时传回的数据和物探数据构建的虚拟软件系统和综采VR追踪与交互中心，其特征在于：根据综采工作面装备实时传回的数据系统及物探数据构建系统，实时传输的综采工作面装备数据和物探数据，构建虚拟软件实时数据驱动虚拟综采工作面，并呈现在多种虚拟现实硬件与软件构建的综采VR追踪与交互中心，利用多种虚拟现实人机交互手段与虚拟人机交互界面进行虚拟操作，虚拟现实硬件与软件对操作人员位置、姿态和动作进行捕捉并将虚拟操作转化为现实指令，并接入集中控制中心进行真实设备的操作，指引相对应操作的设备完成调整工作，进而完成远程人工干预和人工巡检任务，实现对真实的综采工作面实时运行工况进行非常真实的呈现，进而进行监控和巡检；

所述综采VR追踪与交互中心是设置在现有综采集中控制中心的一个虚拟现实实验室，设置有仿真投影环幕，集成有光学追踪装置与惯性导航，体感交互设备，交互追踪系统多种虚拟现实人机交互硬件装置协同进行真实的漫游综采工作面，并对虚拟软件中的虚拟监测界面呈现在仿真投影环幕中的虚拟按钮和遥控器进行操作，虚拟操作指令映射成为实际操作指令，并实时传递进入综采工作面集中控制系统，指引相对应操作的设备完成调整工作，进而完成远程人工干预，对真实的综采工作面实时运行工况进行非常真实的呈现，进而进行监控；

所述仿真投影环幕是包含环幕系统和环幕投影，是一种视听高度沉浸的虚拟仿真显示环境，其将虚拟软件中的虚拟监测画面在此环境中显示，环幕投影系统采用多台投影组成的环形投影屏幕，环形幕半径通常有100弧度，由于其屏幕半径宽大，操作人员的视觉完全被包围，再配合环绕立体声系统，使操作人员充分体验一种高度身临其境的三维立体视听感受，获得一个具有高度沉浸感的实时虚拟综采虚拟仿真可视环境，其沉浸感一般高于传统的平面大屏幕；

所述光学追踪装置是采用两个或多个摄象机传感器分辨操作人员的三维信息，利用模式识别技术跟踪操作人员身体位置，在操作人员身体上贴上反光标签，通过镜头发射和接受指定波长的红外光，以获得Marker的三维运动轨迹，操作人员身体位置必须保证每个Marker有两个以上相机观察到；

所述惯性导航是通过惯性导航装置实时获得操作人员的定位和姿态信息；

所述操作人员的定位和姿态信息是由光学追踪装置与惯性导航进行数据融合的而获得的高精度信息，并实时传递到虚拟软件中，以使在仿真投影环幕中呈现出操作人员的精度较高位置和姿态信息；

所述虚拟现实人机交互硬件设备是操作人员利用人机交互设备与虚拟场景进行交互的过程，包括可穿戴式设备、体感交互设备、数据手套、数据衣和交互追踪系统，对操作人员的身体、四肢、手掌和手指动作进行捕捉，并将捕捉的信息实时传递到虚拟软件中；

所述虚拟软件是在Unity3d环境下由虚拟监测界面、虚拟现实人机交互硬件接口、虚拟人机交互界面和虚拟界面显示与拆分模块组成；

所述虚拟监测界面是将综采工作面装备实时传回的数据及物探数据构建的实时数据驱动的虚拟综采工作面，并与实时运动对象保持同步；

所述虚拟现实人机交互硬件接口是Unity3d软件具有的多种虚拟现实人机硬件接口，包括穿戴式设备连接接口、体感交互设备连接接口、数据手套连接接口、数据衣连接接口、交互追踪系统连接接口，具备将各人机交互硬件设备进行无缝集成的功能，是虚拟软件中的虚拟交互模块；

所述虚拟人机交互界面是在Unity3d环境下利用UGUI模块中制作的虚拟操作界面，包括虚拟液压支架手动操作阀、虚拟电液控制器、虚拟支架遥控器、虚拟采煤机远程操作面板、虚拟液压支架远程操作面板和虚拟采煤机遥控器；

所述虚拟界面显示与拆分模块是将虚拟监测界面与虚拟人机交互界面呈现在仿真投影环幕上，使操作人员可通过虚拟现实人机交互手段在仿真投影环模上与虚拟监测界面中的的虚拟按钮和遥控器进行交互，进而进行虚拟操作；通过分块显示技术，虚拟监测画面被分割成多场景画面，在仿真投影环幕分段显示，解决综采场景规模大、无法将其显示在一个虚拟画面中的问题，实现操作人员在虚拟场景的快速定位与切换；

所述判定虚拟操作是否有效的方法是，首先进行综采拆分空间的判定，并实时响应出现相应设备的虚拟人机交互界面；然后实时获得操作人员的位置和方向姿态，进而通过获得的操作人员的身体、四肢、手掌和手指动作等信息，判别人身体姿态以及操作手与虚拟面板的交互；如果满足接触和响应条件则触发操作，找到相对应操作的设备，从而完成操作；每次点完后需要点击指令允许按钮，以免误触碰现象的出现；

所述操作人员虚拟操作虚拟人机交互界面转化集中控制中心PLC控制命令的流程为，在unity3d中判定交互操作指令，与虚拟软件中预留的虚拟变量进行对应，然后通过C#语言编写的与SQLSERVER软件编写的接口，将虚拟变量传递到与设备相对应的表中，在通过ODBC接口传入组态王，组态王已通过OPC接口与集中控制中心的PLC连接，并通过远程无线传输网络RJ45传递到相对应的物理设备的plc控制系统中，从而操作相对应的设备进行动作。

本发明一种虚拟现实矿井综采工作面的远程巡检干预方法的技术方案，与现有技术相比，具有如下的有益效果。

本方法解决了虚拟现实3D监测以一个普通显示屏来显示整个工作面运行工况，监测点过多，画面显示不全或不精细的问题，通过仿真投影环模对设备运行情况进行监测，并能发现问题进行远程人工干预和巡检。

本方法将解决现有远程干预和巡检方法，将综采工作面远程显示于视频画面进行判定，容易出现现场灰尘水汽造成效果差的问题，进而影响人工远程干预效果。利用本系统，操作人员以非常形象生动的方式使其置身在沉浸在综采工作面运行设备中去，对设备进行监测。

本方法将矿工从生产现场解放出来，在虚拟现实环境中置身于综采工作面设备中，通过众多的虚拟现实人机交互硬件设备，在综采VR追踪与交互中心就能进行人工干预和巡检工作，利用虚拟现实技术进行有操作感、有触感的操作，而不是简单地操作集控中心按钮进行远程人工干预和操作。

本方法设置有自动行走与行走模式，以固定的速度巡检工作面设备运行状况，发现问题时，即可停止自动运行，人工进行移动干预。

本方法真正可以将虚拟现实技术进行工业性应用，不仅仅只限于培训教学领域，而且具有现实推广价值。

附图说明

图1 是本方法系统组成与实现方法框图。

图2 是本方法的操作动作和行为转化为虚拟环境中递过程虚拟操作指令过程和方法框图。

图3是本方法虚拟软件界面交互系统种类框图。

图4是本方法的虚拟操作到真实物理设备PLC控制系统的数据传递过程框图。

具体实施方式

下面结合附图对本发明具体实施方式做出进一步的说明。

如附图所示，实施本发明上述所提供的一种虚拟现实矿井综采工作面的远程巡检干预方法，主要是要解决煤矿井下综采工作面的人工远程干预和巡视问题，真正把矿工从生产现场解放出来，并以非常形象生动的方式使其置身在综采工作面运行设备场景中去，进而对设备进行监测，发现问题，在远离生产现场的地方利用虚拟现实进行远程人工干预和巡检，实现不在其境，再现其现实功能的虚拟矿井综采工作面的远程巡检干预。

如附图1和附图2所示，本远程干预和巡检方法是将综采工作面装备实时传回的数据及物探数据构建的虚拟软件中的实时数据驱动的虚拟综采工作面呈现在多种虚拟现实硬件与软件构建的综采VR追踪与交互中心中，操作人员利用多种虚拟现实人机交互手段与虚拟人机交互界面进行虚拟操作，虚拟现实硬件与软件对操作人员位置、姿态和动作进行捕捉并将虚拟操作转化为现实指令并接入集中控制中心进行真实设备的操作，指引相对应操作的设备完成调整工作，进而完成远程人工干预和人工巡检任务，并可对真实的综采工作面实时运行工况进行非常真实的呈现，进而进行监控。本方法可以解决以往综采工作面通过视频手段进行人工远程干预的方法，和综采虚拟3D监测通常都在一个显示频上，效果不佳难以进行交互的问题，并且不需要人工进入生产现场进行巡检和巡视，在远离生产现场安全的地方就可直接就可对运行异常的设备进行远程人工干预，如同操作人员进入生产现场一样，并支持多人进行协同和同时巡检工作。

所述综采VR追踪与交互中心是设置在现有综采集中控制中心的旁边，一个小型的但设备配置齐全的小型虚拟现实实验室。在此中心设置有仿真投影环幕，集成有光学追踪装置与惯性导航，多名矿工可利用可穿戴式设备、体感交互设备、数据手套、交互追踪系统多种虚拟现实人机交互硬件装置协同进行真实的漫游综采工作面，并将对虚拟软件中的虚拟监测界面呈现在仿真投影环幕中的虚拟按钮和遥控器进行操作，虚拟操作指令映射成为实际操作指令，并实时传递进入综采工作面集中控制系统，指引相对应操作的设备完成调整工作，进而完成远程人工干预，并可对真实的综采工作面实时运行工况进行非常真实的呈现，进而进行监控。

上述仿真投影环幕是包含环幕系统和环幕投影，是一种视听高度沉浸的虚拟仿真显示环境，可以将虚拟软件中的虚拟监测画面在此环境中显示。环幕投影系统采用多台投影（通道）组成的环形投影屏幕，环形幕半径通常有100弧度，由于其屏幕半径宽大，操作人员的视觉完全被包围，再配合环绕立体声系统，使操作人员充分体验一种高度身临其境的三维立体视听感受，获得一个具有高度沉浸感的实时虚拟综采虚拟仿真可视环境，其沉浸感一般高于传统的平面大屏幕。

上述光学追踪装置是一种采用两个或多个摄象机类型的传感器分辨操作人员的三维信息。利用先进的模式识别技术跟踪操作人员身体位置。在操作人员身体上贴上反光标签(Marker)，通过镜头发射和接受指定波长的红外光，以获得Marker的三维运动轨迹。操作人员身体位置必须保证每个Marker有两个以上相机观察到。

上述惯性仪器是通过惯性导航装置实时获得操作人员的定位和姿态信息。

上述操作人员的最终位置和姿态信息是由光学追踪装置与惯性仪器进行数据融合的而获得的高精度信息，运行数据也可以平滑稳定，满足操作人员在虚拟环境中进行人工远程干预和巡检的要求，并实时传递到虚拟软件中。以使在仿真投影环幕中呈现出操作人员的精度较高位置和姿态信息。

上述虚拟现实人机交互硬件设备是操作人员可以利用的人机交互设备与虚拟场景进行交互的过程，包括可穿戴式设备、体感交互设备、数据手套、数据衣、交互追踪系统，主要对操作人员的身体、四肢、手掌和手指动作进行捕捉，并将捕捉的信息实时传递到虚拟软件中。

所述虚拟软件是在Unity3d环境下由虚拟监测界面、虚拟现实人机交互硬件接口、虚拟人机交互界面和虚拟界面显示与拆分模块组成。

上述虚拟监测界面是将综采工作面装备实时传回的数据及物探数据构建的实时数据驱动的虚拟综采工作面，并与实时运动对象保持同步。

上述虚拟现实人机交互硬件接口是Unity3d软件具有的多种虚拟现实人机硬件接口，包括穿戴式设备连接接口、体感交互设备连接接口、数据手套连接接口、数据衣连接接口、交互追踪系统连接接口，具备将各人机交互硬件设备进行无缝集成的功能，是虚拟软件中的虚拟交互模块。

如图3所示，上述虚拟人机交互界面是在Unity3d环境下利用UGUI模块中制作的虚拟操作界面，包括虚拟液压支架手动操作阀、虚拟电液控制器、虚拟支架遥控器、虚拟采煤机远程操作面板、虚拟液压支架远程操作面板和虚拟采煤机遥控器。

上述虚拟界面显示与拆分模块是将虚拟监测界面与虚拟人机交互界面呈现在仿真投影环幕上，使操作人员可通过虚拟现实人机交互手段在仿真投影环模上与虚拟监测界面中的的虚拟按钮和遥控器进行交互，进而进行虚拟操作。通过分块显示技术，虚拟监测画面被分割成多场景画面，在仿真投影环幕分段显示，解决综采场景规模大、无法将其显示在一个虚拟画面中的问题。并可实现操作人员在虚拟场景的快速定位与切换。

上述判定虚拟操作是否有效的方法是，首先进行综采拆分空间的判定，并实时响应出现相应设备的虚拟人机交互界面。然后实时获得操作人员的位置和方向姿态，进而通过获得的操作人员的身体、四肢、手掌和手指动作等信息，判别人身体姿态以及操作手与虚拟面板的交互。如果满足接触和响应条件则触发操作，找到相对应操作的设备，从而完成操作。每次点完后需要点击指令允许按钮，以免误触碰现象的出现。

如附图4所示，所述操作人员虚拟操作虚拟人机交互界面转化集中控制中心PLC控制命令的流程为，在unity3d中判定交互操作指令，与虚拟软件中预留的虚拟变量进行对应，然后通过C#语言编写的与SQLSERVER软件编写的接口，将虚拟变量传递到与设备相对应的表中，在通过ODBC接口传入组态王，组态王已通过OPC接口与集中控制中心的PLC连接，并通过远程无线传输网络RJ45传递到相对应的物理设备的plc控制系统中，从而操作相对应的设备进行动作。

下面通过实施例对本发明的具体实施方式做出进一步的说明。

在综采VR追踪与交互中心中，操作人员身穿体感交互设备，手持光学追踪装置或者虚拟手与位置跟踪器进入在仿真投影环幕显示的虚拟软件中的综采工作面设备实时运行的虚拟监测画面中，与画面中的虚拟人机交互界面中的按钮和虚拟操作面板等进行交互。利用光学追踪装置、惯性仪器捕捉人体在虚拟环境中的位置和方向信息，利用虚拟现实人机交互硬件设备获得人体姿态信息和虚拟手掌等信息。利用人姿态信息与虚拟人机交互界面中的信息进行判定，从完成交互。

当操作人员发现工作面中有一台液压支架处于非正常位置时，即利用虚拟界面显示与拆分模块快速锁定和定位到此支架所在的虚拟画面中，并调出相应的虚拟液压支架手动操作阀、虚拟电液控制器、虚拟支架遥控器等虚拟操作界面进行交互，进而将操作指令通过虚拟人机交互界面转化为集中控制中心PLC控制命令，进而将命令传达到此支架中，以此来完成操作。

以操作虚拟液压支架手动操作阀为例进行介绍，利用5DT数据手套和位置跟踪器Patriot完成实验。在Unity3d软件环境下，对建立的操作阀模型进行抓取操作，数据手套控制虚拟手各关节的姿态与数据，位置跟踪器确定虚拟手的位置，当有手指的射线与操作手柄的包围球相交时，即为接触到物体。根据人手的实际抓取物体规律，当包含大拇指在内的三根手指接触到操作手柄且全部弯曲到整个手掌平面的2/3以下，即判断为抓取到手柄，手保持握住状态，就可持续虚拟操作手柄打到左位或右位。虚拟抓取第二排操作手柄，并打到左位，虚拟液压支架会进行立柱会升高，顶梁俯仰角也会出现相应变化，操作正确后，系统会出现“远程干预到位”提示。

虚拟手此时放开操作手柄，停止远程干预和操作。虚拟手的释放和抓取规则相反，当三根或三根以上的射线都远离包围球，未和其相交，则判断其将操作手柄释放。