基于即时通讯的远程冻屏指导方法

摘要

本发明公开了一种基于即时通讯的远程冻屏指导方法，包括如下步骤：现场操作人员的头戴计算机与远程专家的电脑建立音视频连接；在现场操作人员和远程专家的即时通讯过程中，远程专家将头戴计算机拍摄的现场操作人员第一视角视频冻屏，将冻屏的截图加载至电脑的图像处理软件中，并在图像处理软件中对截图进行指导标注；且在指导标注过程中，头戴计算机显示图像处理软件的实时画面。在远程专家对现场操作人员第一视角视频进行冻屏标注时，本发明能让现场操作人员通过头戴计算机实时观看标注内容，进而大大提高远程指导的效率，并大幅提升对现场问题指导的准确性和有效性。

说明书

技术领域

本发明涉及一种远程指导方法，具体涉及一种基于即时通讯的远程冻屏指导方法。

背景技术

在工业生产过程中，围绕着全球布局的大型设备，施工现场等，大量的技术问题依赖于技术专家亲临现场才能得到解决。这种传统解决问题的办法存在着如等待周期长，差旅成本高，人员利用率低等多方面的问题。

为了避免技术人员无效差旅而带来的上述问题，在头戴计算机硬件的成熟和5G等网络技术的快速发展的基础上，基于即时通讯的远程冻屏指导成为可行的高效方案，该方案主要如下：现场操作人员佩戴头戴计算机在现场作业，当现场操作人员需要远程专家指导时，头戴计算机与远程专家的电脑建立音视频连接，现场操作人员和远程专家进行即时通讯，头戴计算机拍摄现场操作人员第一视角视频，远程专家的电脑显示该现场操作人员第一视角视频，远程专家基于该现场操作人员第一视角视频对现场操作人员进行语音指导。

必要时，远程专家需要从现场操作人员第一视角视频中截取一帧画面进行指导标注，如对截取的一帧画面进行圈点标注和/或文字标注。目前都是先将现场操作人员第一视角视频冻屏，然后对冻屏进行截图和标注，再将完成标注的图（以下称指导图）推送给头戴计算机，现场操作人员看着头戴计算机显示的指导图，并接受远程专家的语音指导。

但目前的冻屏指导有如下缺陷：需要在远程专家完成对冻屏截图的指导标注之后，再将标注好的指导图推送给现场操作人员的头戴计算机，故在指导标注完成之前，现场操作人员不能看到指导图，只能等待，这大大降低了远程指导的效率。

发明内容

为解决现有技术的缺陷，本发明提供一种基于即时通讯的远程冻屏指导方法，包括如下步骤：现场操作人员的头戴计算机与远程专家的电脑建立音视频连接；在现场操作人员和远程专家的即时通讯过程中，远程专家将头戴计算机拍摄的现场操作人员第一视角视频冻屏，将冻屏的截图加载至电脑的图像处理软件中，并在图像处理软件中对截图进行指导标注；且在指导标注过程中，头戴计算机显示图像处理软件的实时画面。

优选的，所述头戴计算机包括：用于拍摄现场操作人员第一视角视频的拍摄模块，以及用于显示图像处理软件实时画面的显示模块。

优选的，所述指导标注包括圈点标注和/或文字标注。

优选的，所述图像处理软件为画图软件；在指导标注过程中，头戴计算机显示画图软件的实时画面。

优选的，在指导标注过程中，头戴计算机显示专家端画图软件的实时画面，包括如下步骤：

1）远程专家在电脑上点击冻屏指导按键，电脑自动截取现场操作人员第一视角视频一帧画面作为冻屏画面，并将冻屏画面插入画图软件，远程专家在画图软件中对冻屏画面进行指导标注，还同时对画图软件的窗口进行直播，并将直播拉流地址以消息的方式发给头戴计算机；

2）头戴计算机接收到直播拉流地址，从拉流地址下载视频，头戴计算机的显示模块显示下载的视频，从而实现头戴计算机的显示模块显示画图软件窗口的实时画面，现场操作人员通过头戴计算机的显示模块实时观看远程专家的指导标注。

优选的，所述头戴计算机中也具有画图软件；以远程专家电脑中的画图软件为专家端画图软件，以头戴计算机中的画图软件为现场端画图软件；在指导标注过程中，头戴计算机显示专家端画图软件的实时画面，包括如下步骤：

1）远程专家在电脑上点击冻屏指导按键，电脑自动截取现场操作人员第一视角视频一帧画面作为冻屏画面，并将冻屏画面插入专家端画图软件，还同时将冻屏画面上传至服务器，并将下载链接以消息的方式发给头戴计算机，还同时将“打开现场端画图软件”的指令发送给头戴计算机；

2）头戴计算机接收到“打开现场端画图软件”的指令，开启并在显示模块上显示现场端画图软件，还根据远程专家电脑发送的下载链接将服务器中的冻屏画面下载到头戴计算机中，并将冻屏画面插入现场端画图软件；

3）远程专家在专家端画图软件中对冻屏画面进行指导标注，每完成一个标注动作，就将该标注动作的标注信息以消息的方式发送给头戴计算机，标注信息包括该标注动作的类型、色值、粗细、坐标、鼠标移动轨迹信息等；

4）头戴计算机每收到一次标注信息，就根据该次标注信息在现场端画图软件中对冻屏画面执行相应标注动作，使现场端画图软件与专家端画图软件显示的指导标注一致，从而实现现场操作人员通过头戴计算机实时观看远程专家的指导标注。

本发明的优点和有益效果在于：提供一种基于即时通讯的远程冻屏指导方法，在远程专家对现场操作人员第一视角视频进行冻屏标注时，现场操作人员能通过头戴计算机实时观看标注内容，进而大大提高远程指导的效率，并大幅提升对现场问题指导的准确性和有效性。

具体实施方式

下面结合实施例，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明具体实施的技术方案如下：

现场操作人员佩戴头戴计算机在现场作业，当现场操作人员需要远程专家指导时，头戴计算机与远程专家的电脑建立音视频连接，现场操作人员和远程专家进行即时通讯，头戴计算机拍摄现场操作人员第一视角视频，远程专家的电脑显示该现场操作人员第一视角视频，远程专家基于该现场操作人员第一视角视频对现场操作人员进行语音指导。

必要时，远程专家需要从现场操作人员第一视角视频中截取一帧画面进行指导标注，如对截取的一帧画面进行圈点标注和/或文字标注。此时，远程专家先将现场操作人员第一视角视频冻屏，然后对冻屏进行截图，再将冻屏的截图加载至电脑的画图软件中，并在画图软件中对截图进行指导标注（如对截图进行圈点标注和/或文字标注）；且在指导标注过程中，头戴计算机显示画图软件的实时画面，现场操作人员看着头戴计算机显示的画图软件实时画面，并接受远程专家的语音指导，提升对现场问题指导的准确性和有效性。

具体的，头戴计算机包括：用于拍摄现场操作人员第一视角视频的拍摄模块，以及用于显示画图软件实时画面的显示模块。

更具体的，在指导标注过程中，头戴计算机显示专家端画图软件的实时画面，至少有如下两种方式：

方式一：

1）远程专家在电脑上点击冻屏指导按键，电脑自动截取现场操作人员第一视角视频一帧画面作为冻屏画面，并将冻屏画面插入画图软件，远程专家在画图软件中对冻屏画面进行指导标注，还同时对画图软件的窗口进行直播，并将直播拉流地址以消息的方式发给头戴计算机；

2）头戴计算机接收到直播拉流地址，从拉流地址下载视频，头戴计算机的显示模块显示下载的视频，从而实现头戴计算机的显示模块显示画图软件窗口的实时画面，现场操作人员通过头戴计算机的显示模块实时观看远程专家的指导标注。

方式二：

在头戴计算机中也安装画图软件；以远程专家电脑中的画图软件为专家端画图软件，以头戴计算机中的画图软件为现场端画图软件；

1）远程专家在电脑上点击冻屏指导按键，电脑自动截取现场操作人员第一视角视频一帧画面作为冻屏画面，并将冻屏画面插入专家端画图软件，还同时将冻屏画面上传至服务器，并将下载链接以消息的方式发给头戴计算机，还同时将“打开现场端画图软件”的指令发送给头戴计算机；

2）头戴计算机接收到“打开现场端画图软件”的指令，开启并在显示模块上显示现场端画图软件，还根据远程专家电脑发送的下载链接将服务器中的冻屏画面下载到头戴计算机中，并将冻屏画面插入现场端画图软件；

3）远程专家在专家端画图软件中对冻屏画面进行指导标注，每完成一个标注动作，就将该标注动作的标注信息以消息的方式发送给头戴计算机，标注信息包括该标注动作的类型、色值、粗细、坐标、鼠标移动轨迹信息等；

4）头戴计算机每收到一次标注信息，就根据该次标注信息在现场端画图软件中对冻屏画面执行相应标注动作，使现场端画图软件与专家端画图软件显示的指导标注一致，从而实现现场操作人员通过头戴计算机实时观看远程专家的指导标注。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。