基于增强交互方式的远程维修支持系统及方法

摘要

本发明提出了一种基于增强交互方式的远程维修支持系统及方法，用于解决现有技术中存在的指导信息准确性差和维修支持效率低的技术问题，实现步骤为：设置专家手势数据的获取参数；手势动作捕捉识别模块获取手势数据；设置手势动作恢复识别参数；手势动作捕捉识别模块识别手势动作并输出；坐标融合计算模块计算手势位置坐标；通信模块获取并传递现场维修应用端透视式显示模块标定参数；坐标融合计算模块利用手势位置坐标和标定参数，将手势转换映射至维修现场；通信模块获得并传送经转换的手势命令；现场维修应用端获得手势，生成包含增强交互效果的维修支持信息并显示。本发明提供的维修支持信息直观，专家指导操作自然。

说明书

技术领域

本发明属于增强现实技术领域，涉及一种远程维修支持系统及方法，具体涉及一种在增强现实应用场景下，基于增强交互方式提供维修支持的系统及方法，可用于远程专家维修支持，对维修操作人员具有协助指导作用。

背景技术

增强现实技术(Augmented Reality，简称AR)又称混合现实技术，是利用计算机产生虚拟对象信息，通过传感器技术实现虚拟信息与真实场景的“无缝”融合，利用显示器等设备输出虚拟信息，这些虚拟信息叠加显示在人员视野内的真实物体之上，动态“增强”了用户所感知的真实场景。

利用动态捕捉和传感器融合技术，将人体动作“虚拟化”，实现人体动作在增强现实环境下的输入，从而使真实的动作与虚拟的对象信息产生交互，实现虚实信息融合，极大地提高了用户的沉浸性和临场感，由于真实动作和虚拟对象同时位于三维环境中，进一步提高了交互的自然性。

在远程维修支持系统的应用场景中，远程技术支持中心有相关技术专家值班，现场维修人员通常具有与远程专家进行视频通信的设备和能力。当来自现场的维修协助请求发起时，技术中心专家通过视频和数据通信渠道获取现场信息，对现场设备系统环境做出技术判断，继而提供维修支援。但是，各类复杂的设备系统和技术环境，在仅仅依靠视频画面或语音等条件下，很难实现对技术专家指导意图的准确传达，维修人员不能获得具有针对性的处置方案，不利于故障排除，严重影响了维修工作的顺利开展。为解决上述问题，在申请公布号为CN106339094A，名称为“基于增强现实技术的交互式远程专家协作检修系统及方法”的专利申请中，公开了一种基于增强现实技术的交互式远程专家协作检修系统及方法。此系统由现场客户端和远程服务端构成，现场客户端可对待检测维修的设备进行视频采集或图像拍摄，再通过无线网络将现场信息传递至远程服务端，专家在接收到的视频和图像上勾画处理作出标记，再通过网络回传至现场客户端，现场客户端通过跟踪算法完成对维修目标区域的识别、定位与跟踪，实现在现场视频图像中维修目标区域的位置处叠加标记图案或文字批注，利用增强现实技术合成增强现实影像视频，实现在专家的协作下完成现场设备的故障诊断和检修。该发明虽然应用增强现实技术实现远程专家协作，提供的检修指令具有较高的针对性和可操作性，进一步丰富了维修信息，但仍存在以下不足：(1)该发明提供的专家标记信息基于所接收的视频和图像等二维画面，平面的图案或文字支持信息缺少空间维度，面对结构复杂的设备环境，仅能提供指导意义有限的维修支援，指导信息的准确性差；(2)该发明中专家仅能向维修现场单向输出标记信息，并不能与现场端已提供的增强现实维修应用中的虚拟对象进行交互，专家操作指导不够自然、直观，导致远程维修支持的效率较低。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出一种基于增强交互方式的远程维修支持系统及方法，用于解决现有技术中存在的指导信息准确性差和维修支持效率低的技术问题。

为实现上述目的，本发明采取的技术方案为：

一种基于增强交互方式的远程维修支持系统，包括远程维修支持端、现场维修应用端和通信模块，其中：

所述远程维修支持端，包括手势动作捕捉识别模块、坐标融合计算模块和显示模块，其中：

所述手势动作捕捉识别模块，用于获取远程专家的手势动作数据并进行识别；

所述坐标融合计算模块，用于根据手势动作捕捉识别模块获取的远程专家手势动作数据计算手势空间位置坐标，并将计算得到的手势空间位置坐标转换映射至现场维修应用端三维世界坐标系下；

所述显示模块，用于向远程专家显示场景输入模块采集的维修现场影像，以及包括增强现实维修场景应用和经远程维修支持端转换的远程专家手势的虚拟对象信息；

所述现场维修应用端，包括场景输入模块、增强现实处理模块和透视式显示模块，其中：

所述场景输入模块，用于采集维修现场影像；

所述增强现实处理模块，用于根据场景输入模块采集的维修现场影像信息，计算透视式显示模块的标定参数，实现由维修现场三维世界坐标系向透视式显示模块二维坐标系的映射转换，并根据映射转换关系，生成包括增强现实维修场景应用和经远程维修支持端转换的远程专家手势的虚拟对象信息，同时判断虚拟对象间的交互关系，以生成包含增强交互效果的维修支持信息；

所述透视式显示模块，用于在现场维修操作人员视野内，叠加显示由增强现实处理模块生成的包含增强交互效果的维修支持信息；

所述通信模块，包括前端通信模块和后端通信模块，其中：

所述前端通信模块，用于发送场景输入模块采集的维修现场影像、增强现实处理模块计算的透视式显示模块标定参数和增强现实处理模块生成的虚拟对象信息；接收后端通信模块发送的数据；

所述后端通信模块，用于发送由远程维修支持端转换的远程专家手势；接收前端通信模块发送的数据。

上述基于增强交互方式的远程维修支持系统，所述手势动作捕捉识别模块，包括深度传感器和计算处理子模块，其中：

所述深度传感器，用于采集远程专家手势动作的连续帧图像，并从连续帧图像中提取包括手部的位置、速度、方向和长度的特征向量数据；

所述计算处理子模块，用于对深度传感器获取的特征向量数据进行预处理，并通过预处理结果对远程专家手势进行恢复和识别。

一种基于增强交互方式的远程维修支持方法，包括如下步骤：

(1)设置远程专家手势数据的获取参数：

定义基本手部对象；设定手势状态描述集，并以此描述集定义完整手势状态划分规则；设置特征向量预处理参数，包括速度有效性阈值τ和平滑系数；

(2)手势动作捕捉识别模块获取远程专家手势动作数据：

(2a)深度传感器采集远程专家手势动作的连续帧图像，并根据基本手部对象定义，从每一帧图像中各提取一组包括手部的位置、速度、方向和长度的特征向量数据；

(2b)计算处理子模块判断步骤(2a)提取出的特征向量数据有效性，并保存有效数据，实现步骤为：

(2b1)计算处理子模块依次判断步骤(2a)所提取的每一组特征向量数据中的手部速度是否小于τ，若是，该组数据无效，删除该组数据并执行步骤(2a)；否则，依次保存每一组有效特征向量数据，以构成有效特征向量数据组集合，并执行步骤(2b2)；

(2b2)计算处理子模块判断步骤(2b1)保存的有效特征向量组集合，直到该集合符合完整手势划分规则，保存该有效特征向量组集合，并以此集合作为有效远程专家手势动作数据；若不符合完整手势划分规则定义，继续执行步骤(2a)；

(2c)计算处理子模块利用步骤(1)中的平滑系数，对步骤(2b)保存的有效远程专家手势动作数据进行平滑处理，得到去噪声后的远程专家手势动作数据；

(3)设置远程专家手势动作恢复识别参数：

构建关键点手势模型，并以此模型为基础建立手指运动约束模型；设计维修支持交互手势分类集，以此分类集参考为远程专家交互手势动作添加分类标签，并以分类标签为依据，部署支持向量机分类器；

(4)手势动作捕捉识别模块恢复和识别远程专家手势动作并输出：

(4a)计算处理子模块利用步骤(2)的远程专家手势动作数据，对手指运动约束模型进行求解，得到远程专家手势恢复数据；

(4b)计算处理子模块以属于维修支持手势交互分类集的远程专家手势恢复数据为训练集，对支持向量机分类器进行训练；

(4c)支持向量机分类器识别并输出远程专家交互手势动作；

(4d)手势动作捕捉识别模块输出包含交互手势动作在内的手势恢复数据，作为远程专家手势动作；

(5)坐标融合计算模块计算手势空间位置坐标：

坐标融合计算模块利用步骤(4)输出的远程专家手势恢复数据，求解维修支持端三维世界坐标系下远程专家手势空间位置坐标，完成对深度传感器的标定；

(6)通信模块将透视式显示模块的标定参数传送至坐标融合计算模块：

(6a)前端通信模块获得现场维修应用端透视式显示模块的标定参数，并传送至后端通信模块；

(6b)后端通信模块将透视式显示模块的标定参数传送至坐标融合计算模块；

(7)坐标融合计算模块将手势空间位置坐标转换映射至现场维修应用端三维世界坐标系下：

坐标融合计算模块通过步骤(5)的手势空间位置坐标和步骤(6)的标定参数建立坐标系转换关系，实现远程专家手势空间位置坐标向现场维修应用端三维世界坐标系下的转换映射；

(8)通信模块将经坐标关系转换的远程专家手势传送至增强现实处理模块：

(8a)后端通信模块获得经坐标融合计算模块转换的远程专家手势，并传送至前端通信模块；

(8b)前端通信模块将远程专家手势传送至增强现实处理模块；

(9)现场维修应用端获得维修支持信息并显示：

(9a)增强现实处理模块获得远程专家手势，并判断增强现实维修场景应用中虚拟对象与远程专家手势间的交互关系，得到包含增强交互效果的维修支持信息；

(9b)透视式显示模块显示由增强现实处理模块生成的包含增强交互效果的维修支持信息。

本发明与现有技术相比，具有如下优点：

1、本发明由于采用手势动作捕捉识别模块获取并识别远程专家手势动作数据，坐标融合计算模块通过融合处理，将手势数据由远程维修支持端向现场维修应用端三维世界坐标系下的转换映射，实现基于增强交互方式的远程维修支持，提供了维修现场三维空间精确定位的远程专家手势支援信息，同时，增强交互可为维修人员呈现操作细节，与现有技术相比，有效地提高了远程维修支持信息的准确性和指导效率。

2、本发明由于在远程专家手势动作恢复与识别过程中，构建了基于关键点手势模型，计算处理子模块利用此手部简化模型，实现对手势动作的快速恢复，与现有技术相比，有效提高了维修支持的实时性。

3、本发明由于在远程专家手势动作恢复与识别过程中，设计并建立维修支持交互手势分类集，以支持向量机分类器实现对远程专家交互手势的分类输出，提供不同类型增强交互效果的维修支持信息，与现有技术相比，维修支持操作更加自然，进一步提高了维修指导效率。

附图说明

图1为本发明远程维修支持系统的结构示意图；

图2为本发明远程维修支持方法的实现流程图；

图3为本发明中关键点手势模型与手指运动约束模型示意图；

图4为本发明中远程专家手势空间位置求解示意图；

图5为本发明中现场维修应用端透视式显示模块的标定示意图；

图6为本发明中远程专家手势与虚拟对象间增强交互示意图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步的详细描述：

参照图1，一种基于增强交互方式的远程维修支持系统，包括远程维修支持端、现场维修应用端和通信模块，其中：

所述远程维修支持端，包括手势动作捕捉识别模块、坐标融合计算模块和显示模块，其中：

所述手势动作捕捉识别模块，用于获取远程专家的手势动作数据并进行识别，包括深度传感器和计算处理子模块，其中：

所述深度传感器，用于采集远程专家手势动作的连续帧图像，并从连续帧图像中提取包括手部的位置、速度、方向和长度的特征向量数据；

所述计算处理子模块，用于对深度传感器获取的特征向量数据进行预处理，并通过预处理结果对远程专家手势进行恢复和识别；

所述坐标融合计算模块，用于根据手势动作捕捉识别模块获取的远程专家手势动作数据计算手势空间位置坐标，并将计算得到的手势空间位置坐标转换映射至现场维修应用端三维世界坐标系下；

所述显示模块，用于向远程专家显示场景输入模块采集的维修现场影像，以及包括增强现实维修场景应用和经远程维修支持端转换的远程专家手势的虚拟对象信息；

所述现场维修应用端，包括场景输入模块、增强现实处理模块和透视式显示模块，其中：

所述场景输入模块，用于采集维修现场影像；

所述增强现实处理模块，用于根据场景输入模块采集的维修现场影像信息，计算透视式显示模块的标定参数，实现由维修现场三维世界坐标系向透视式显示模块二维坐标系的映射转换，并根据映射转换关系，生成包括增强现实维修场景应用和经远程维修支持端转换的远程专家手势的虚拟对象信息，同时判断虚拟对象间的交互关系，以生成包含增强交互效果的维修支持信息；

所述透视式显示模块，用于在现场维修操作人员视野内，叠加显示由增强现实处理模块生成的包含增强交互效果的维修支持信息；

所述通信模块，包括前端通信模块和后端通信模块，其中：

所述前端通信模块，用于发送场景输入模块采集的维修现场影像、增强现实处理模块计算的透视式显示模块标定参数和增强现实处理模块生成的虚拟对象信息；接收后端通信模块发送的数据；

所述后端通信模块，用于发送由远程维修支持端转换的远程专家手势；接收前端通信模块发送的数据。

参照图2，一种基于增强交互方式的远程维修支持方法，包括如下步骤：

(1)设置远程专家手势数据的获取参数：

预先定义基本手部对象，包括指尖位置坐标、指尖速率、手指方向向量u_f、手掌法向u_p和指长L_finger，用于储存各对象特征向量数据，以各手指独立ID为标识，包括Thumb(拇指)、Index(食指)、Middle(中指)、Ring(无名指)和Pinky(小指)，用于区分存储各手指对应特征向量值；

设定手势状态描述集，用于描述深度传感器所采集的远程专家手势在连续帧图像序列中的状态，其表达式为：

S＝{S₀,S₁,S₂}

其中，S₀为无效状态，S₁为静止状态，S₂为运动状态；

手势动作捕捉识别模块获取的有效远程专家手势，在其图像帧序列中，不应包括无效状态S₀，且必然开始和结束于S₁，中间帧可能存在一定数量的S₂状态，则利用手势状态描述集，可将完整手势状态划分规则定义为：

S₁→S₂→S₁

其中，S₁为静止状态，S₂为运动状态；

设置特征向量预处理参数，包括速度有效性阈值τ和平滑系数。

(2)手势动作捕捉识别模块获取远程专家手势动作数据：

(2a)深度传感器采集远程专家手势动作的连续帧图像，并根据基本手部对象定义，从每一帧图像中各提取一组包括手部的位置、速度、方向和长度的特征向量数据；

(2b)计算处理子模块判断步骤(2a)提取出的特征向量数据有效性，并保存有效数据，实现步骤为：

(2b1)计算处理子模块依次判断步骤(2a)所提取的每一组特征向量数据中的手部速度是否小于τ，若是，该组数据无效，删除该组数据并执行步骤(2a)；否则，依次保存每一组有效特征向量数据，以构成有效特征向量数据组集合，并执行步骤(2b2)；

(2b2)计算处理子模块判断步骤(2b1)保存的有效特征向量组集合，直到该集合符合完整手势划分规则，保存该有效特征向量组集合，并以此集合作为有效远程专家手势动作数据；若不符合完整手势划分规则定义，继续执行步骤(2a)；

(2c)计算处理子模块利用步骤(1)中的平滑系数，对步骤(2b)保存的有效远程专家手势动作数据进行平滑处理，得到去噪声后的远程专家手势动作数据，平滑处理公式为：

A_f′＝β×A_f-1′+(1-β)A_f

其中，A_f表示当前帧深度传感器采集到的数据，A_f′是当前帧平滑后的数据，A_f-1′是上一帧平滑后的数据，β表示平滑系数。

(3)设置远程专家手势动作恢复识别参数：

构建关键点手势模型，如图3(a)所示，关键点手势模型建模基础为手部三维骨骼模型，由手掌(Palm)、手腕(Wrist)、指尖(TIP)、远指关节(DIP)、近指关节(PIP)和指掌关节(MCP)共21个关键点构成，其中：拇指由指尖(TIP)、远指关节(DIP)和近指关节(PIP)共3个关键点构成，其他四指由指尖(TIP)、远指关节(DIP)、近指关节(PIP)和指掌关节(MCP)各4个关键点构成；

以关键点手势模型为基础，建立手指运动约束模型，其中：拇指由3个关键点构成三角形模型，其他四指由4个关键点构成平面四边形模型，构成手指运动约束的多边形模型包含边长(指段长度)经验值比例关系及角度约束条件，以使模型符合人手生理学结构；

如图3(b)，拇指三角形模型表示为：

其中，d对应某一时刻实际空间中手指的伸出长度，l对应手指的总长度，指段长度比例关系定义为经验值：

根据余弦定理对模型进行求解，令

f(x,y,φ)＝x²+y²-2xycosφ(1)

得拇指远指关节和指尖的局部坐标分别为：

如图3(c)，其他四指平面四边形模型表示为：

其中，角度约束条件为：

指段长度比例关系为经验值：

角度比例关系定义为经验值：

θ₂＝1.2θ₁

根据式(1)对模型进行求解，得其他四指近指关节、远指关节、指尖的局部坐标分别为：

设计维修支持交互手势分类集，包括指示类动作、选择类动作和其他辅助类动作，用于建立自定义专家交互手势库；

以维修支持交互手势分类集作为参考，为远程专家交互手势动作添加分类标签，并以分类标签为依据，部署支持向量机分类器。

(4)手势动作捕捉识别模块恢复和识别远程专家手势动作并输出：

(4a)计算处理子模块利用步骤(2)的远程专家手势动作数据，对手指运动约束模型进行求解，得到远程专家手势恢复数据；

(4b)计算处理子模块以属于维修支持手势交互分类集的远程专家手势恢复数据为训练集，对支持向量机分类器进行训练，支持向量机中的分类器对输入手势进行识别，获得对应自定义专家交互手势库的最优分类解，完成自定义专家交互手势库的构建；

(4c)支持向量机分类器识别并输出远程专家交互手势动作；

(4d)手势动作捕捉识别模块输出包含交互手势动作在内的手势恢复数据，作为远程专家手势动作。

(5)坐标融合计算模块计算手势空间位置坐标：

坐标融合计算模块利用步骤(4)输出的远程专家手势恢复数据，求解维修支持端三维世界坐标系下远程专家手势空间位置坐标，完成对深度传感器的标定，专家手势在维修支持端三维世界坐标系下关系如图4所示，其空间位置坐标求解实现步骤为：

(5a)以深度传感器为参考建立维修支持端三维世界坐标系，设深度传感器参考坐标系L_p为O-xyz，将手指平面坐标系根据右手法则直接扩展为三维坐标系O′-x′y′z′，利用深度传感器提取的手指长度L_finger、指尖坐标(x_T，yT，z_T)和手指方向u_f，计算手指坐标系O′-x′y′z′的原点位置在L_p坐标系下的表示为：

(x₀,y0,z₀)＝(x_T,yT,z_T)-u_f·L_finger

利用手指方向u_f、手掌法向u_p求解出手指坐标系O′-x′y′z′坐标轴方向向量在L_p坐标系下的表示为：

u′_x＝u_f

u′_z＝u′_x×u_p

u′_y＝u′_z×u′_x

(5b)根据求解出的手指坐标系参数(x₀，y0，z₀)，u′_x，u′_y，u′_z和三维坐标变换公式，求得L_p坐标系O-xyz中一点(x₁，y₂，z₃)到手指局部三维坐标系O′-x′y′z′的坐标(x′，y′，z′)转换公式：

(x′,y′,z′,1)＝(x₁,y₁,z₁,1)·T·R

(5c)经过矩阵逆变换处理，求得手指局部坐标系O′-x′y′z′内一点(x′，y′，z′)到L_p坐标系O-xyz中一点(x₁，y₂，z₃)的转换公式，维修支持端三维坐标系下远程专家手势空间位置坐标表示为：

(x₁,y₁,z₁,1)＝(x′,y′,z′,1)·R^-1·T^-1

其中，

(6)通信模块将透视式显示模块的标定参数传送至坐标融合计算模块：

(6a)前端通信模块获得现场维修应用端透视式显示模块的标定参数，并传送至后端通信模块；

参照图5，结合优选实施例，对现场维修应用端透视式显示模块标定参数具体说明如下：

现场维修应用端的跟踪摄相机(Tracking Camera)作为场景输入模块，负责采集维修现场影像，增强现实处理模块利用维修现场影像计算透视式显示模块(Projector)的标定参数，实现由维修现场三维世界坐标系向透视式显示模块二维坐标系的映射转换，转换关系为：

(u,v,1)＝K·(R_c·(x₁,y₁,z₁)+T_c)/z_c

其中，(x₁，y₁，z₁)表示维修现场三维空间中P点的世界坐标，(u，v)表示P点映射至透视式显示模块二维平面(Virtual>c、T_c分别表示跟踪摄像机相对于世界坐标系的旋转和平移矩阵，K表示跟踪摄像机内参矩阵，z_c是点P在跟踪摄像机坐标系的坐标轴z的分量；

(6b)后端通信模块将透视式显示模块的标定参数传送至坐标融合计算模块。

(7)坐标融合计算模块将手势空间位置坐标转换映射至现场维修应用端三维世界坐标系下：

坐标融合计算模块通过步骤(5)的手势空间位置坐标和步骤(6)的标定参数建立坐标系转换关系，实现远程专家手势空间位置坐标向现场维修应用端三维世界坐标系下的转换映射。

(8)通信模块将经坐标关系转换的远程专家手势传送至增强现实处理模块：

(8a)后端通信模块获得经坐标融合计算模块转换的远程专家手势，并传送至前端通信模块；

(8b)前端通信模块将远程专家手势传送至增强现实处理模块。

(9)现场维修应用端获得维修支持信息并显示：

(9a)增强现实处理模块获得远程专家手势，并判断增强现实维修场景应用中虚拟对象与远程专家手势间的交互关系，得到包含增强交互效果的维修支持信息；

参照图6，作为优选实施例，自定义专家交互手势库的三类维修支持交互手势，与增强现实维修场景应用中虚拟对象间具有不同的交互逻辑关系：

如图6(a)的指示类动作，可向增强现实维修场景内添加基于空间关系的标识类信息(3D Signs)：增强现实处理模块根据指示类动作交互逻辑，为单指指示手势添加射线系统(Raycast Physics)和渲染系统(Rendering System)，利用获得的经坐标关系转换的远程专家手势数据，定位预添加标识的空间位置坐标，由增强现实处理模块生成指示交互效果；

如图6(b)的选择类动作，可实现对维修场景中虚拟模型对象进行选中(select)、拾取操作：增强现实处理模块根据选择类动作交互逻辑，为食指点击手势添加包围盒体(box collider)用以检测手势与虚拟对象间碰撞，通过增强现实处理模块碰撞检测触发选择(select)事件，改变虚拟模型被触碰的具体部件材质，以实现对部件的高亮(highlight)显示，由增强现实处理模块生成选择交互效果；

如图6(c)的辅助交互类动作，在选择类交互动作所确定的目标对象基础之上，可实现对场景中虚拟对象的其他自定义交互：增强现实处理模块根据辅助交互类逻辑，为握拳手势添加3D变换(transform)控件，通过绑定握拳手势和虚拟对象二者的锚点，使得通过旋转握拳手势实现对虚拟对象的旋转操作，由增强现实处理模块生成对应增强交互效果；

(9b)透视式显示模块显示由增强现实处理模块生成的包含增强交互效果的维修支持信息。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。