增强现实AR远程交互方法及其系统

摘要

本申请提供一种增强现实AR远程交互方法及其系统。该AR远程交互方法应用于AR远程交互系统。系统包括第一终端设备、服务器及第二终端设备。第一终端设备创建AR场景并向服务器发送包括锚点坐标、AR素材尺寸、第一终端设备坐标以及目标检测框的数据包。服务器根据数据包生成场景标识号，使得第二终端设备参与至AR场景。若服务器确定AR场景与待测视频数据满足预设一致条件，第一终端设备与第二终端设备即可进行AR远程交互，第二终端设备上设置的第二摄像头获取待测视频数据。无需终端设备处于同一物理空间即可进行AR交互，提供了AR远程交互解决方案，拓宽了AR交互应用范围，满足了远程AR交互需求，提高了用户AR使用体验。

说明书

技术领域

本申请涉及增强现实AR技术领域，尤其涉及一种增强现实AR远程交互方法及其系统。

背景技术

随着互联网技术的快速发展，基于网络技术的增强现实(Augmented Reality，AR)技术在越来越多的领域被广泛应用，例如应用于机械组装、设备维修、结构展示以及娱乐游戏开发等领域。

目前，AR应用的实现通常是借助服务器进行托管和解析，如图1所示，图1为本申请实施例提供的一种现有技术中的AR交互示意图，图1中的手机1创建AR场景，从而获取一些目标锚点，并将目标锚点以及其所处的环境数据发送至服务器，服务器对接收到的数据进行处理，得到对应的稀疏点图，并将其作为云锚点。继而同一环境中的手机2向服务器发送交互请求，服务器根据交互请求尝试将可视特征数据3与云锚点中的稀疏点图进行匹配，若匹配成功，则将已解析的锚点设置于相同环境中的相同位置，从而使得手机2的用户可以查看到与手机1中相同的AR对象，基于此进行同步交互。

然而，现有技术中，实现AR交互的终端必须处于同一物理空间环境，例如上述图1实施例中的手机1和手机2必须处于同一物理空间环境中才能进行AR交互。可见，现有技术中进行AR交互的场景具有明显的局限性，无法满足实际工况中其他应用场景比如远程的AR交互需求，限制AR交互系统的广泛应用以及影响用户AR交互体验。

发明内容

本申请提供一种增强现实AR远程交互方法及其系统，用于解决现有技术中进行AR交互时的场景具有局限性，无法满足远程AR交互需求进而限制AR交互系统的广泛应用以及影响用户AR交互体验的技术问题。

第一方面，本申请提供一种增强现实AR远程交互方法，应用于AR远程交互系统，所述AR远程交互系统包括第一终端设备、服务器以及第二终端设备；所述方法包括：

所述服务器接收所述第一终端设备创建AR场景产生的数据包，所述AR场景包括对AR素材进行渲染处理后得到的初始AR对象，所述数据包包括锚点坐标、所述AR素材的尺寸、所述第一终端设备坐标以及目标检测框，所述目标检测框用于标注所述AR场景中的目标对象；

所述服务器根据所述数据包生成场景标识号，以使所述第二终端设备根据所述场景标识号参与所述AR场景，所述场景标识号用于唯一标识所述AR场景；

若所述服务器确定所述AR场景与待测视频数据满足预设一致条件，则控制所述第一终端设备与所述第二终端设备进行AR远程交互，所述第二终端设备通过第二摄像头获取所述待测视频数据。

在一种可能的设计中，所述服务器确定所述AR场景与所述待测视频数据满足所述预设一致条件，包括：

所述服务器接收所述第二终端设备发送的所述待测视频数据，并通过所述场景标识号获取所述目标检测框，以从所述目标对象中确定出跟踪对象；

所述服务器确定所述待测视频数据中的待测对象与所述跟踪对象是否满足预设匹配条件；

若确定结果为是，则所述服务器确定所述待测视频数据中是否存在参考平面，以在确定存在所述参考平面时，判定所述AR场景与所述待测视频数据满足所述预设一致条件，所述预设一致条件包括所述预设匹配条件以及所述参考平面。

在一种可能的设计中，所述服务器确定所述待测视频数据中的待测对象与所述跟踪对象是否满足所述预设匹配条件，包括：

所述服务器运行预设对象检测器，并在所述待测视频数据的初始帧中获取初始的待测边界框，所述初始的待测边界框用于标注所述初始帧中的所述待测对象；

在所述待测视频数据的后续帧中获取后续的待测边界框，以通过所述后续的待测边界框逐步迭代所述初始的待测边界框；

确定标注所述跟踪对象的所述目标检测框与每个待测边界框之间的相似度，以当所述相似度小于预设相似阈值时，结束所述逐步迭代，以确定所述跟踪对象与所述待测对象满足所述预设匹配条件。

在一种可能的设计中，在所述判定所述AR场景与所述待测视频数据满足所述预设一致条件之后，还包括：

所述服务器向所述第二终端设备发送交互指令，以使所述第二终端设备根据所述交互指令在所述参考平面上渲染所述AR素材，得到参与AR对象，所述参与AR对象用于与所述第一终端设备的所述初始AR对象进行交互。

在一种可能的设计中，在控制所述第一终端设备与所述第二终端设备进行AR远程交互之后，还包括：

所述服务器接收所述第一终端设备和/或所述第二终端设备实时发送的各自的新增数据包，并根据接收到的所述新增数据包更新云锚点；

其中，所述第一终端设备和/或所述第二终端设备按照各自的预设时间周期将各自的本地锚点与所述云锚点进行比较，并当所述第一终端设备和/或所述第二终端设备确定存在新增锚点，则分别向所述服务器发送修改请求。

在一种可能的设计中，所述向所述服务器发送修改请求之后，包括：

所述服务器根据所述修改请求生成空闲状态反馈信息，并将所述空闲状态反馈信息回传至所述第一终端设备或所述第二终端设备，以使接收到所述空闲状态反馈信息的所述第一终端设备或所述第二终端设备修改所述本地锚点。

在一种可能的设计中，所述第一终端设备还包括第一摄像头，所述第一摄像头用于获取所述第一终端设备所处空间的环境视频数据，所述环境视频数据用于获得所述目标检测框。

第二方面，本申请提供一种增强现实AR远程交互系统，包括：第一终端设备、服务器以及第二终端设备；

所述第一终端设备用于创建AR场景，并向服务器发送创建所述AR场景产生的数据包，所述AR场景包括对AR素材进行渲染处理后得到的初始AR对象，所述数据包包括锚点坐标、所述AR素材的尺寸、所述第一终端设备坐标以及目标检测框，所述目标检测框用于标注所述AR场景中的目标对象；

所述服务器用于根据所述第一终端设备发送的数据包生成场景标识号，以使所述第二终端设备根据所述场景标识号参与所述AR场景，所述场景标识号用于唯一标识所述AR场景；

所述服务器还用于若确定所述AR场景与待测视频数据满足预设一致条件，控制所述第一终端设备与所述第二终端设备进行AR远程交互；

所述第二终端设备包括第二摄像头，所述第二摄像头用于获取所述待测视频数据。

在一种可能的设计中，所述服务器包括：

第一处理模块，用于接收所述第二终端设备发送的所述待测视频数据，并通过所述场景标识号获取所述目标检测框，以从所述目标对象中确定出跟踪对象；

第二处理模块，用于确定所述待测视频数据中的待测对象与所述跟踪对象是否满足预设匹配条件；

若确定结果为是，所述第二处理模块还用于确定所述待测视频数据中是否存在参考平面，以在确定存在所述参考平面时，判定所述AR场景与所述待测视频数据满足所述预设一致条件，所述预设一致条件包括所述预设匹配条件以及所述参考平面。

在一种可能的设计中，所述第二处理模块，具体用于：

运行预设对象检测器，并在所述待测视频数据的初始帧中获取初始的待测边界框，所述初始的待测边界框用于标注所述初始帧中的所述待测对象；

在所述待测视频数据的后续帧中获取后续的待测边界框，以通过所述后续的待测边界框逐步迭代所述初始的待测边界框；

确定标注所述跟踪对象的所述目标检测框与每个待测边界框之间的相似度，以当所述相似度小于预设相似阈值时，结束所述逐步迭代以确定所述跟踪对象与所述待测对象满足所述预设匹配条件。

在一种可能的设计中，所述服务器还包括：

第一发送模块，用于向所述第二终端设备发送交互指令；

所述第二终端设备还包括：

第三处理模块，用于根据所述交互指令在所述参考平面上渲染所述AR素材，得到参与AR对象，所述参与AR对象用于与所述第一终端设备的所述初始AR对象进行交互。

在一种可能的设计中，所述第一终端设备和/或所述第二终端设备还包括：

第二发送模块，用于向所述服务器实时发送各自的新增数据包，以使所述服务器根据接收到的所述新增数据包更新云锚点；

第四处理模块，用于按照各自的预设时间周期将各自的本地锚点与所述云锚点进行比较；

若确定存在新增锚点，所述第二发送模块还用于分别向所述服务器发送修改请求。

在一种可能的设计中，所述服务器，还包括：

第五处理模块，用于根据所述修改请求生成空闲状态反馈信息，并将所述空闲状态反馈信息回传至所述第一终端设备或所述第二终端设备，以使接收到所述空闲状态反馈信息的所述第一终端设备或所述第二终端设备修改所述本地锚点。

在一种可能的设计中，所述第一终端设备还包括：

第一摄像头，用于获取所述第一终端设备所处空间的环境视频数据，所述环境视频数据用于获得所述目标检测框。

第三方面，本申请提供一种增强现实AR远程交互系统，包括：

存储器，用于存储计算机程序；

处理器，用于调用并执行存储器中的计算机程序，执行第一方面所提供的任意一种可能的AR远程交互方法。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于执行第一方面所提供的任意一种可能的AR远程交互方法。

第五方面，本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所提供的任意一种可能的AR远程交互方法。

本申请提供一种增强现实AR远程交互方法及其系统。本申请提供的AR远程交互方法应用于AR远程交互系统，AR远程交互系统包括第一终端设备、服务器及第二终端设备，首先第一终端设备创建AR场景，并向服务器发送包括锚点坐标、AR素材尺寸、第一终端设备坐标以及目标检测框的数据包，其中，AR场景包括对AR素材进行渲染处理后得到的初始AR对象，目标检测框用于标注AR场景中的目标对象。服务器根据接收到的数据包生成场景标识号，使得第二终端设备通过场景标识号参与AR场景，之后，若服务器确定AR场景与待测视频数据满足预设一致条件，则确定第一终端设备与第二终端设备可以进行AR远程交互，其中，待测视频数据为第二终端设备通过其上设置的第二摄像头获取。当AR场景与待测视频数据满足预设一致条件时，即可实现第一终端设备与第二终端设备的AR远程交互，而无需终端设备必须处于同一物理空间才能进行AR交互，使得AR交互的实现方案得到有效扩充，进一步满足了远程AR交互需求，提高了用户AR使用体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种现有技术中的AR交互示意图；

图2为本申请实施例提供的一种应用场景示意图；

图3为本申请实施例提供的一种AR远程交互方法的流程示意图；

图4为本申请实施例提供的另一种AR远程交互方法的流程示意图；

图5为本申请实施例提供的再一种AR远程交互方法的流程示意图；

图6为本申请实施例提供的又一种AR远程交互方法的流程示意图；

图7为本申请实施例提供的一种AR远程交互系统的结构示意图；

图8为本申请实施例提供的另一种AR远程交互系统的结构示意图；

图9为本申请实施例提供的再一种AR远程交互系统的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法和装置的例子。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

现有技术中，进行AR交互的终端设备必须处于同一物理空间环境中，使得AR交互场景具有明显的局限性，无法满足实际工况中例如远程等其他应用场景的AR交互需求，限制AR交互系统的广泛应用以及影响用户AR交互体验。

针对现有技术中的上述问题，本申请提供了一种增强现实AR远程交互方法及其系统。本申请提供的AR远程交互方法可以应用于本申请提供的AR远程交互系统。本申请的发明构思在于：第一终端设备向服务器发送的数据包中包含有能够标注AR场景中的目标对象的目标检测框，服务器从目标对象中确定出跟踪对象。当第二终端设备参与至AR场景中时，服务器确定AR场景与第二终端设备所获取的视频数据即待测视频数据是否满足预设一致条件，若满足，则第一终端设备与第二终端设备即可进行AR远程交互。终端设备之间AR远程交互的实现是基于AR场景与待测视频数据是否满足预设一致条件进行，对于终端设备所处的空间场景不作限制，从而提供了一种终端设备之间AR远程交互解决方法。

以下，对本申请实施例的示例性应用场景进行介绍。

图2为本申请实施例提供的一种应用场景示意图。如图2所示，本申请实施例提供的增强现实AR交互方法可以应用于AR远程交互系统20，该AR远程交互系统包括终端设备21、服务器22以及终端设备23。网络用于为终端设备21、服务器22以及终端设备23之间提供通信链路的介质，网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备21、服务器22以及终端设备23之间可以通过网络进行交互，以接收或发送消息，从而实现本申请实施例提供的AR远程交互方法。其中，终端设备21和终端设备23其一可以为本申请实施例中的第一终端设备，另一则相应的为第二终端设备，例如，当终端设备21为第一终端设备时，则终端设备23即为第二终端设备。值得说明的是，第二终端设备的数量可以是一个或多个，图2示例性示出的作为第二终端设备的终端设备23的数量为一个。另外，终端设备21及终端设备23可以是能够运行AR相应应用程序的任意终端设备，例如智能手机、智能眼镜、智能手环、智能手表、平板电脑等等，对于终端设备的类型本申请实施例不作限定，图2中的终端设备21及终端设备23均以智能手机为例示出。服务器22也还可以为服务器集群，对此本实施例不作限定。另外，进行本申请实施例提供的AR远程交互的终端设备可以同处于相同或不同的物理空间场景，对此不作限定。

需要说明的是，上述应用场景仅仅是示意性的，本申请实施例提供的增强现实AR远程交互方法及其系统包括但不仅限于上述应用场景。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图3为本申请实施例提供的一种AR远程交互方法的流程示意图，本实施例提供的AR远程交互方法可以应用与AR交互系统，该AR交互系统包括有第一终端设备、服务器以及第二终端设备，其中，第一终端设备的数量为一个，第二终端设备的数量可以为多个，图3以第二终端设备的数量为一示意性示出。如图3所示，本实施例提供的AR远程交互方法，包括：

S101：第一终端设备创建AR场景，并向服务器发送创建AR场景产生的数据包。

相应地，服务器接收第一终端设备创建AR场景产生的数据包。

其中，AR场景包括对AR素材进行渲染处理后得到的初始AR对象，数据包包括锚点坐标、AR素材的尺寸、第一终端设备坐标以及目标检测框，目标检测框用于标注AR场景中的目标对象。

第一终端设备创建AR场景，即第一终端设备为AR远程交互的发起者。

通过在第一终端设备上点击锚点可以定义实际物理空间中一个点，这个点在实际物理空间中的坐标即为锚点坐标。而AR素材的尺寸可以是第一终端设备运行预设AR程序选择AR素材之后，针对该AR素材设定的任意尺寸，换言之，第一终端设备可以对选定的AR素材的尺寸自行放大或缩小。第一终端设备坐标为第一终端设备在实际物理空间中的实际坐标，比如第一终端设备在实际物理空间中的经纬度。目标检测框是用于标注AR场景中的目标对象，该目标对象可以为处于AR场景中非初始AR对象之外的任意物体，比如动物、人物、物件等等。

第一终端设备创建AR场景的过程如下所描述。

例如，第一终端设备首先运行配置于自身的预设AR程序，比如运行ARCore应用程序软件，然后通过该预设AR程序中的平面检测功能获取到第一终端设备所处的实际物理空间中可视野范围内的平面，所获取到的平面可以为桌面、地面等任意平面，使得初始AR对象不会出现临空的状态，进而在通过运行预设AR程序渲染出的网格区域上摆放所选择的AR素材，然后利用锚点坐标和第一终端设备的坐标确定两者的相对位置，再根据所选AR素材以及设定的AR素材的尺寸对AR素材进行渲染处理，从而得到初始AR对象。进一步地，第一终端设备上配置有第一摄像头，通过第一摄像头以初始AR对象为参考对象，围绕该初始AR对象获取第一终端设备所处空间的环境视频数据，该空间为实际物理空间。比如，以初始AR对象为中心，第一摄像头围绕初始AR对象于第一终端设备所处空间进行拍摄，拍摄到的视频即为第一终端设备所处空间的环境视频数据。将初始AR对象这一虚拟对象套现于实际物理空间中即可完成AR场景的创建，其实现方式可以通过运行预设AR程序完成。

另外，目标检测框用于标注AR场景中的目标对象。例如，通过预设目标检测算法识别出AR场景中的目标对象，并用标注框进行标注，从而得到目标检测框。

对第一终端设备通过第一摄像头获取到的环境视频数据进行目标识别可以获得目标检测框。具体地，可以首先通过预设搜索算法(Selective Search)确定环境视频数据中包含有任意物体的候选区域，然后将候选区域所在的图片输入至预设卷积神经网络，比如CNN(Convolutional Neural Network)，识别出所输入的图片中的各物体，并通过候选框将识别出的物体进行标注。进一步地，对候选框进行特征提取，并通过预设分类器识别各特征，将特征属于同一类别的候选框归为一类。进而还可以将识别出的同一类别的候选框进行位置等参数的优化，将优化后的候选框确定为目标检测框。其中，目标检测框标注的物体即为目标对象。本实施例中的预设分类器可以为任意能够实现分类的相应算法，对此，本实施例不作限定。

第一终端设备创建AR场景之后，将上述实施例描述的锚点坐标、AR素材的尺寸、第一终端设备坐标以及目标检测框等数据以数据包的形式发送给服务器。

S102：服务器根据数据包生成场景标识号，以使第二终端设备根据场景标识号参与AR场景。

其中，场景标识号用于唯一标识AR场景。

服务器接收到数据包之后，根据数据包生成场景标识号，以通过场景标识号唯一标识AR场景，即针对不同的第一终端设备，生成的场景标识号不同，相同的第一终端设备不同时间发送的数据包，不论数据包是否相同，生成的场景标识号也不相同。例如，场景标识号可以由第一终端设备的mac地址以及随机数形成，以具有唯一标识性。

服务器生产场景标识号之后，第二终端设备也可以通过运行预设AR程序，以根据场景标识号参与AR场景。例如，第二终端设备访问服务器，向服务器发起查询请求，以查询服务器中是否已存在场景识别号，若存在，则表明已有终端设备创建了AR场景，第二终端设备可以通过选定场景标识号的方式参与至对应的AR场景。而当第二终端设备访问服务器，服务器中还未生成有场景标识号时，第二终端设备可以选择退出预设AR程序或者自身转换角色来创建AR场景。其中，服务器生成的场景标识号可以通过列表的形式进行展示。

S103：服务器确定AR场景与待测视频数据是否满足预设一致条件。

其中，第二终端设备通过第二摄像头获取待测视频数据。

当第二终端设备参与了AR场景之后，服务器确定AR场景与待测视频数据是否满足预设一致条件。若满足，即确定AR场景与待测视频数据满足预设一致条件，第一终端设备与第二终端设备可以实现AR远程交互，执行步骤S104。反之，若不满足，即确定AR场景与待测视频数据未满足预设一致条件，第一终端设备与第二终端设备无法实现AR远程交互。

待测视频数据为第二终端设备参与AR场景之后，通过其上设置的第二摄像头采集以获取到。第二摄像头可以为设置在第二终端设备上的任意摄像头。对于第二摄像头获取待测视频数据的方式不作限定。

另外，本步骤中服务器确定AR场景与待测视频数据是否满足预设一致条件的实现方式，也可以配置于性能优良的第一终端设备或第二终端设备进行，对此，本实施例不作限定。

S104：若确定结果为是，控制第一终端设备与第二终端设备进行AR远程交互。

反之，即确定结果为否，第一终端设备与第二终端设备无法进行AR远程交互。

一终端设备与其他终端设备处于同一实际物理空间中，在该实际物理空间中，对于这些终端设备而言肯定存在相同的目标对象，因而，终端设备之间可以进行AR交互。而当至少两个终端设备处于地理位置完全不同的物理空间时，则需要判断AR场景与待测视频数据是否满足预设一致条件，当满足时，则服务器可以控制终端设备之间进行AR远程交互。反之，则无法进行AR远程交互。

本申请实施例提供的AR远程交互方法，应用于AR远程交互系统，其中，AR远程交互系统包括第一终端设备、服务器以及第二终端设备。首先，第一终端设备创建AR场景，并向服务器发送创建AR场景产生的数据包，数据包中包括有锚点坐标、AR素材的尺寸、第一终端设备坐标以及目标检测框，目标检测框用于标注AR场景中的目标对象。然后，服务器根据接收到的数据包生成场景标识号，使得第二终端设备通过场景标识号参与至AR场景。进而，当服务器确定AR场景与待测视频数据满足预设一致条件时，则控制第一终端设备与第二终端设备实现AR远程交互。其中，待测视频数据为第二终端设备通过第二摄像头获取。从而，无需终端设备处于同一地理位置的实际物理空间中也可以进行AR交互，提供了一种AR远程交互解决方案，有效拓宽了AR交互的应用范围，满足了远程AR交互需求，提高了用户AR使用体验。

在一种可能的设计中，上述实施例中步骤S103的一种可能的实现方式如图4所示，图4为本申请实施例提供的另一种AR远程交互方法的流程示意图。如图4所示，本实施例提供的AR远程交互方法中，服务器确定AR场景与待测视频数据是否满足预设一致条件，包括：

S201：服务器接收第二终端设备发送的待测视频数据，并通过场景标识号获取目标检测框，以从目标检测框标注的目标物体中确定出跟踪对象。

当服务器被配置以进行AR场景与待测视频数据是否满足预设一致条件时，服务器接收第二终端设备发送的待测视频数据，同时，通过第二终端设备参与AR场景时选定的场景标识号获取对应数据包中的目标检测框。之后，服务器从获取到的目标检测框所标注的目标物体中确定出一跟踪对象，具体地，可以根据实际工况从目标检测框标注的所有目标物体中选择出一个或多个目标物体作为跟踪对象。从而，服务器完成了接收第二终端设备发送的待测视频数据，以及通过场景标识号获取目标检测框以确定出跟踪对象。

S202：服务器确定待测视频数据中的待测对象与跟踪对象是否满足预设匹配条件。

在接收了待测视频数据以及确定出跟踪对象之后，进一步地，服务器确定待测视频数据中的待测对象与跟踪对象是否满足预设匹配条件。例如，服务器中可以预设有目标跟踪模块，以通过该预设的目标跟踪模块确定待测对象与跟踪对象是否满足预设匹配条件。其中，待测对象为待测视频数据中任意物体，例如动物、人物、物件等。显然，本步骤实质为确定待测视频数据中的待测对象与上一步骤确定出的跟踪对象是否相同，若相同，即确定结果为是，满足预设匹配条件，进一步执行S203。反之，则不满足预设匹配条件，执行S204。

需要说明的是，服务器中预设的目标跟踪模块可以为任意一种能够实现目标跟踪与识别相应模块，对此，本实施例不作限定。

S203：服务器确定待测视频数据中是否存在参考平面，以在确定存在参考平面时，判定AR场景与待测视频数据满足预设一致条件。

其中，预设一致条件包括预设匹配条件以及参考平面。

服务器确定待测对象与跟踪对象满足预设匹配条件时，服务器进一步确定待测视频数据中是否存在参考平面，若存在，即确定存在参考平面时判定AR场景与待测视频数据满足预设一致条件。反之，若不存在，则服务器结束对AR场景与待测视频数据是否满足预设一致条件的确定。可以理解的是，预设一致条件包括预设匹配条件以及待测视频数据中存在参考平面。其中，对于参考平面不作限定，其可以是任意的水平平面。

S204：服务器结束对AR场景与待测视频数据是否满足预设一致条件的确定。

若确定待测视频数据中的待测对象与跟踪对象未满足预设匹配条件时，则结束当前的确定进程，即结束确定AR场景与待测视频数据是否满足预设一致条件的步骤。

本申请实施例提供的AR远程交互方法，在服务器确定AR场景与待测视频数据是否满足预设一致条件时，服务器首先接收第二终端设备发送的待测视频数据，并通过场景标识号获取目标检测框，从目标对象中确定出跟踪对象。然后服务器确定待测视频数据中的待测对象与跟踪对象是否满足预设匹配条件，若确定结果为是，则服务器进一步确定待测视频数据中是否存在参考平面，并在确定存在时，判定AR场景与待测视频数据满足预设一致条件。另一方面，若确定待测对象与跟踪对象未满足预设匹配条件，或者待测视频数据中不存在参考平面，则服务器结束确定AR场景与待测视频数据是否满足预设一致条件的步骤。服务器通过确定待测对象与跟踪对象是否满足预设匹配条件以及是否存在参考平面，确定AR场景与待测视频数据是否满足预设一致条件，以当两者满足预设一致条件时，第一终端设备与第二终端设备实现AR远程交互，对AR交互的应用范围得到有效拓宽，进一步满足了远程AR交互需求，提高了用户AR使用体验。

在一种可能的设计中，本步骤S102可能的实现方式如图5所示，图5为本申请实施例提供的再一种AR远程交互方法的流程示意图。如图5所示，本实施例提供的AR远程交互方法中，服务器确定待测视频数据中的待测对象与跟踪对象是否满足预设匹配条件，包括：

S1021：服务器运行预设对象检测器，并在待测视频数据的初始帧中获取初始的待测边界框。

其中，初始的待测边界框用于标注初始帧中的待测对象。

服务器运行预设对象检测器，例如可以使用预设的目标跟踪模块在待测视频数据对应的初始帧中获取初始的待测边界框，以用该初始的待测边界框标注初始帧中的待测对象。其中，预设对象检测器与预设的目标跟踪模块都可以通过运行配置于服务器内的相应目标检测软件得以实现，本申请实施例对于目标检测软件的具体应用不作限定。初始帧，可以理解为在待测视频数据中选取的任意帧，从该帧开始对待测视频数据进行处理，因而，将其定义为初始帧。

S1022：在待测视频数据的后续帧中获取后续的待测边界框，以通过后续的待测边界框逐步迭代初始的待测边界框。

在获取了初始帧中的待测对象对应的初始的待测边界框之后，在待测视频数据中初始帧之后的后续帧中进一步获取针对该待测对象的后续的待测边界框，通过后续的待测边界框逐步迭代初始的待测边界框。例如，预设的目标跟踪模块可以向待测对象概率密度最大的方向进行偏移，利用待测边界框不断地标注后续帧中捕获到的待测对象，以达到通过后续的待测边界框逐步迭代初始的待测边界框的目的。值得说明的是，本申请实施例对于具体的逐步迭代方式不作限定，可以根据实际的工况选择相应的软件程序以达到逐步迭代的目的。

S1023：确定标注跟踪对象的目标检测框与每个待测边界框之间的相似度，以当相似度小于预设相似阈值时，结束逐步迭代以确定跟踪对象与待测对象满足预设匹配条件。

在上述实施例通过后续的待测边界框逐步迭代初始的待测边界框，在逐步迭代过程中，每当获取一次待测边界框，即获取到的每个待测边界框，都确定当次的待测边界框与目标检测框之间的相似度，当所确定的相似度小于预设相似阈值时，结束逐步迭代过程，即表明已跟踪到与目标对象一致的待测对象，确定跟踪对象与待测对象满足预设匹配条件。

相反地，若目标检测框与待测边界框之间的相似度未小于预设相似阈值，则继续获取后续的待测边界框，即逐步迭代过程继续，直到相似度小于预设相似阈值，结束逐步迭代。而存在一种可能，当已经逐步迭代到视频数据的最后一帧，所获取到的待测边界框与标注跟踪对象的目标检测框之间的相似度仍然未小于预设相似阈值，则表明待测视频数据中未存在与目标对象相同的待测对象，进而确定待测对象与跟踪对象不满足预设匹配条件。

本申请实施例提供的AR远程交互方法，服务器确定待测视频数据中待测对象与跟踪对象是否满足预设匹配条件时，服务器首先运行预设对象检测器，并在待测视频数据对应的初始帧中获取用于标注待测对象的初始的待测边界框，然后在后续帧中获取后续的待测边界框，通过后续的待测边界框逐步迭代初始的待测边界框，直到标注目标对象的目标检测框与待测边界框之间的相似度小于预设相似度阈值时，结束逐步迭代过程，确定跟踪对象与待测对象满足预设匹配条件。而当视频数据的最后一帧所获取的待测边界框与标注目标对象的目标检测框之间的相似度仍然未小于预设相似阈值时，则表明待测视频数据中不存在与目标对象相同的待测对象，待测对象与跟踪对象不满足预设匹配条件。从而，通过逐步迭代的方式可以确定待测对象与跟踪对象是否满足预设匹配条件，进而在满足的情况下，以及获取到参考平面时，使得第一终端设备与第二终端设备之间实现AR远程交互，丰富了AR交互的实现方案，满足了远程AR交互需求，提高了用户AR使用体验。

在一种可能的设计中，当判断AR场景与待测视频数据满足预设一致条件之后，服务器向第二终端设备发送交互指令，第二终端设备接收该交互指令，并根据交互指令在参考平面上对AR素材进行渲染处理，以得到参与AR对象，使得第二终端设备通过参与AR对象与第一终端设备的初始AR对象进行交互，从而实现控制终端设备之间的AR远程交互。其中，第二终端设备接收交互指令的同时，还可以根据交互指令获取到第一终端设备发送给服务器的数据包，并获取到数据包中的AR素材的尺寸，以对AR素材进行渲染处理。

第一终端设备与第二终端设备进行AR远程交互之后，由于各自还可以分别根据各自的摄像头继续获取相应的视频数据，因而，在一种可能的设计中，图6为本申请实施例提供的又一种AR远程交互方法的流程示意图。如图6所示，本实施例提供的AR远程交互方法中，在控制第一终端设备与第二终端设备进行AR远程交互之后，还包括：

S301：服务器接收第一终端设备和/或第二终端设备实时发送的各自的新增数据包，并根据接收到的新增数据包更新云锚点。

两者其一或者两者都会实时向服务器发送各自的新增数据包，新增数据包中可以包括有各自新获取到的锚点坐标、AR素材的尺寸、各自的坐标等等数据。服务器在接收到终端设备发送的新增数据包之后，会根据新增数据包更新云锚点。云锚点可以理解为存储至服务器的锚点。新增数据包中所包括的数据是以第一终端设备和第二终端设备实现AR远程交互的时间节点来确定的。

S302：第一终端设备和/或第二终端设备按照各自的预设时间周期将各自的本地锚点与云锚点进行比较。

第一终端设备和/或第二终端设备会按照各自的预设时间周期将各自的本地锚点与服务器中的云锚点进行对比，以确定是否要修改更新自身的本地锚点。其中，第一终端设备和第二终端设备各自的预设时间周期对应的时长可以相同也可以不同，对此，本申请实施例不作限定。

S303：当第一终端设备和/或第二终端设备确定存在新增锚点，则分别向服务器发送修改请求。

第一终端设备和/或第二终端设备通过将本地锚点与云锚点进行比较后确定云锚点中存在新增锚点，则分别会向服务器发送修改请求，以修改各自的本地锚点，使其与云锚点保持同步。

相应地，第一终端设备和/或第二终端设备通过比较之后，若确定未存在新增锚点，则保持各自的当前状态，无需像服务器发送修改请求。第一终端设备和/或第二终端设备向服务器发送修改请求之后，由服务器确定当前允许哪一终端设备修改自身的本地锚点。在一种可能的设计中，服务器首先根据修改请求生产空闲状态反馈信息，并将空闲状态反馈信息回传至第一终端设备或第二终端设备，相应地，接收到空闲状态反馈信息的终端设备，即接收到空闲状态反馈信息的第一终端设备或者第二终端设备，对本地锚点进行修改，以使本地锚点与云锚点保持同步。换言之，服务器只允许当前存在一个终端设备修改本地锚点，在当一终端设备正在修改自身的本地锚点时，另一终端设备只有当正在修改本地锚点的终端设备修改结束之后，才能进行自身本地锚点的修改。可以理解的是，第一终端设备或第二终端设备可以通过问询服务器的方式，获知当前是否有终端设备在进行本地锚点的修改。

本申请实施例提供的AR远程交互方法，在第一终端设备和第二终端进行AR远程交互后，第一终端设备和/或第二终端设备会向服务器实时发送各自的新增数据包，以使服务器根据接收到的数据包更新云锚点。同时，第一终端设备和/或第二终端设备会按照各自的预设时间周期将各自的本地锚点与云锚点进行比较，以确定是否存在新增锚点，若确定存在，则分别向服务器发送修改请求，以使服务器允许自身修改本地锚点，使得修改后的本地锚点与云锚点保持同步。从而，能够保证第一终端设备与第二终端设备之间的AR远程交互得以顺利地进行，提高用户的AR使用体验。

下述为本申请装置实施例，可以用于执行本申请对应的方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请对应的方法实施例。

图7为本申请实施例提供的一种AR远程交互系统的结构示意图。如图7所示，本实施例提供的AR远程交互系统400，包括：第一终端设备401、服务器402以及第二终端设备403。

第一终端设备401，用于创建AR场景，并向服务器发送创建AR场景产生的数据包。

其中，AR场景包括对AR素材进行渲染处理后得到的初始AR对象，数据包包括锚点坐标、AR素材的尺寸、第一终端设备坐标以及目标检测框，目标检测框用于标注AR场景中的目标对象；

第一终端设备401还包括：

第一摄像头4011，用于获取第一终端设备401所处空间的环境视频数据，以通过环境视频数据获得目标检测框；

服务器402，用于根据数据包生成场景标识号，控制第二终端设备根据场景标识号参与AR场景；

其中，场景标识号用于唯一标识AR场景；

服务器402还用于若确定AR场景与待测视频数据满足预设一致条件，使得第一终端设备与第二终端设备进行AR远程交互；

第二终端设备403包括：

第二摄像头4031，用于获取待测视频数据。

在图7所示实施例的基础上，图8为本申请实施例提供的另一种AR远程交互系统的结构示意图。如图8所示，本实施例提供的AR远程交互系统400中的服务器402，包括：

第一处理模块4021，用于接收第二终端设备403发送的待测视频数据，并通过场景标识号获取目标检测框，以从目标对象中确定出跟踪对象；

第二处理模块4022，用于确定待测视频数据中的待测对象与跟踪对象是否满足预设匹配条件；

若确定结果为是，第二处理模块4022还用于确定待测视频数据中是否存在参考平面，以在确定存在参考平面时，判定AR场景与待测视频数据满足预设一致条件，预设一致条件包括预设匹配条件以及参考平面。

在一种可能的设计中，第二处理模块4022，具体用于：

运行预设对象检测器，并在待测视频数据的初始帧中获取初始的待测边界框，初始的待测边界框用于标注初始帧中的待测对象；

在待测视频数据的后续帧中获取后续的待测边界框，以通过后续的待测边界框逐步迭代初始的待测边界框；

确定标注跟踪对象的目标检测框与每个待测边界框之间的相似度，以当相似度小于预设相似阈值时，结束逐步迭代以确定跟踪对象与待测对象满足预设匹配条件。

继续参照图8，在一种可能的设计中，服务器402，还包括：

第一发送模块4023，用于向第二终端设备403发送交互指令；

第二终端设备403，还包括：

第三处理模块4032，用于根据交互指令在参考平面上渲染AR素材，得到参与AR对象，参与AR对象用于与第一终端设备401的初始AR对象进行交互。

继续参照图8所示，在一种可能的设计中，第一终端设备401和/或第二终端设备403还包括：

第二发送模块404，用于向服务器402实时发送各自的新增数据包，以使服务器402根据接收到的新增数据包更新云锚点；

第四处理模块405，用于按照各自的预设时间周期将各自的本地锚点与云锚点进行比较；

若确定存在新增锚点，第二发送模块404还用于向服务器402发送修改请求。

需要说明的是，图8中以第一终端设备401和第二终端设备403都包括有第二发送模块404和第四处理模块405为例示出。可选地，也可以是第一终端设备401或者第二终端设备403包括第二发送模块404和第四处理模块405，对此，本实施例不作限定。

继续参照图8所示，可选地，服务器402，还包括：

第五处理模块4024，用于根据修改请求生成空闲状态反馈信息，并将空闲状态反馈信息回传至第一终端设备401或第二终端设备403，以使接收到空闲状态反馈信息的第一终端设备401或第二终端设备403修改本地锚点。

本申请所提供的上述AR远程交互系统实施例仅仅是示意性的，其中的模块划分仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个模块可以结合或者可以集成到另一个系统。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。

值得说明的，上述所示实施例提供的AR远程交互系统中的第一终端设备、服务器以及第二终端设备，可用于执行上述实施例提供的AR远程交互方法的对应步骤，具体实现方式、原理以及技术效果与前述方法实施例类似，在此不再赘述。

图9为本申请实施例提供的再一种AR远程交互系统的结构示意图。如图9所示，本实施例提供的AR远程交互系统500，包括：

第一摄像头501和第二摄像头502；

处理器503以及存储器504。

存储器504用于存放处理器503的程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。

存储器504可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

处理器503配置为用于执行存储器504存储的计算机程序，以实现以上各方法实施例中AR远程交互方法中的相应步骤。其中，处理器503可能是一个中央处理器(centralprocessing unit，简称为CPU)，或者是特定集成电路(application specific integratedcircuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。

另外，需要说明的是，本实施例列举的处理器503为AR远程交互系统500中所包括的各终端设备及服务器中所配置的处理器的统称，各终端设备及服务器各自所配置的处理器用于执行各自相应的计算机程序，以实现本申请方法实施例提供的AR远程交互方法中的相应步骤。

可选地，存储器504既可以是独立的，也可以跟处理器503集成在一起。当存储器504是独立于处理器503之外的器件时，AR远程交互系统500，还可以包括：

总线505，用于连接处理器503以及存储器504。总线可以是工业标准体系结构(industry standard architecture，简称为ISA)总线、外部设备互连(peripheralcomponent，PCI)总线或扩展工业标准体系结构(extended industry standardarchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果处理器503和存储器504集成在一块芯片上实现，则处理器503和存储器504可以通过内部接口完成通信。

可以理解的是，图9所示实施例为AR远程交互系统中的相应电子设备。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random accessmemory，RAM)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有计算机程序，当处理器执行该计算机程序时，相应电子设备执行上述的各种实施方式提供的AR远程交互方法的相应步骤。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在可读存储介质中。处理器可以从可读存储介质读取该计算机程序，并执行该计算机程序使得相应的电子设备实施上述的各种实施方式提供的AR远程交互方法的相应步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。