基于增强现实的多人线下交互、点餐方法及系统

摘要

本申请提供一种基于增强现实的多人线下交互方法，包括：扫描目标场所中预设的线下业务标记；其中，所述线下业务标记用于触发多人线下业务交互；向服务端发送第一预设消息；所述第一预设消息携带与所述线下业务标记对应的信息以及用户的标识信息，以由服务端基于与所述线下业务标记对应的信息建立所述用户以及与针对所述预设的线下业务标记执行扫描的其它用户之间的业务关联；接收所述服务端推送的业务数据，并基于所述业务数据在增强现实场景中与所述线下业务标记对应的位置上输出对应的业务交互界面。本申请可以基于增强现实技术将线上的多用户的社交模式与线下业务进行无缝结合，为用户提供了一种全新的线下业务交互模式。

说明书

技术领域

本申请涉及计算机应用领域，尤其涉及一种基于增强现实的多人线下交互、点餐方法及装置。

背景技术

AR(Augmented Reality，增强现实)技术，是一种通过实时计算影像的位置及角度，在影像上叠加相应的图像、视频、3D模型，进而对虚拟世界与现实世界进行融合的技术，面向用户提供一种全新的交互体验。随着AR技术的不断发展，AR技术的应用场景也越来越丰富，因而如何利用AR技术将线上业务与线下业务进行更好的结合，对于提升用户体验将具有十分重要的意义。

发明内容

本申请提出一种基于增强现实的多人线下交互方法，应用于增强现实客户端，所述方法包括：

扫描目标场所中预设的线下业务标记；其中，所述线下业务标记用于触发多人线下业务交互；

向服务端发送第一预设消息；所述第一预设消息携带与所述线下业务标记对应的信息以及用户的标识信息，以由服务端基于与所述线下业务标记对应的信息建立所述用户以及与针对所述预设的线下业务标记执行扫描的其它用户之间的业务关联；

接收所述服务端推送的业务数据，并基于所述业务数据在增强现实场景中与所述线下业务标记对应的位置上输出对应的业务交互界面。

本申请还提出一种基于增强现实的多人线下交互系统，应用于增强现实客户端，所述系统包括：

第一扫描模块，扫描目标场所中预设的线下业务标记；其中，所述线下业务标记用于触发多人线下业务交互；

第一发送模块，向服务端发送第一预设消息；所述第一预设消息携带与所述线下业务标记对应的信息以及用户的标识信息，以由服务端基于与所述线下业务标记对应的信息建立所述用户以及与针对所述预设的线下业务标记执行图像扫描的其它用户之间的业务关联；

第一输出模块，接收所述服务端推送的业务数据，并基于所述业务数据在增强现实场景中与所述线下业务标记对应的位置上输出对应的业务交互界面。

本申请该提供一种基于增强现实的多人线下点餐方法，应用于增强现实客户端，所述方法包括：

扫描目标餐厅中预设的点餐标记；其中，所述点餐标记用于触发多人线下点餐交互；

向服务端发送第一预设消息；所述第一预设消息携带与所述点餐标记对应的信息以及用户的标识信息，以由服务端基于与所述点餐标记对应的信息建立所述用户以及与针对所述预设的点餐标记执行扫描的其它用户之间的点餐关联；

接收所述服务端推送的菜单数据，并基于所述菜单数据在增强现实场景中与所述点餐标记对应的位置上输出点餐界面。

本申请还提出一种基于增强现实的多人线下点餐系统，应用于增强现实客户端，所述系统包括：

第二扫描模块，扫描目标餐厅中预设的点餐标记；其中，所述点餐标记用于触发多人线下点餐交互；

第二发送模块，向服务端发送第一预设消息；所述第一预设消息携带与所述点餐标记对应的信息以及用户的标识信息，以由服务端基于与所述点餐标记对应的信息建立所述用户以及与针对所述预设的点餐标记执行扫描的其它用户之间的点餐关联；

第二输出模块，接收所述服务端推送的菜单数据，并基于所述菜单数据在增强现实场景中与所述点餐标记对应的位置上输出点餐界面。

本申请中，提出了一种基于增强现实技术的将线上的多用户社交与线下业务相结合的互动模式，通过在目标场所中预设用于触发多人线下业务交互的线下业务标记，当多个用户在通过增强现实客户端针对该线下业务标记进行图像扫描后，可以触发增强现实客户端输出业务交互界面，使得该多个用户可以在该业务交互界面中共同执行线下业务交互，从而实现了基于增强现实技术将线上的多用户的社交模式与线下业务进行无缝结合，为用户提供了一种全新的线下业务交互模式；

当本申请的技术方案应用于线下点餐的应用场景中时，可以实现基于增强现实技术将线上的多用户的社交模式与线下点餐进行无缝结合，为用户提供了一种全新的线下点餐交互模式。

附图说明

图1是本申请一实施例示出的一种基于增强现实的多人线下交互方法的处理流程图；

图2是本申请一实施例示出的一种基于增强现实的多人线下点餐方法的处理流程图；

图3是本申请一实施例示出的一种用户对线下餐厅进行图像扫描的示意图；

图4是本申请一实施例示出的一种基于AR技术的多人线下点餐的场景示意图；

图5是本申请一实施例示出的另一种基于AR技术的多人线下点餐的场景示意图；

图6是本申请一实施例示出的一种基于增强现实的多人线下交互系统的逻辑框图；

图7是本申请一实施例提供的承载所述一种基于增强现实的多人线下交互系统的AR客户端所涉及的硬件结构图；

图8是本申请一实施例示出的一种基于增强现实的多人线下点餐系统的逻辑框图；

图9是本申请一实施例提供的承载所述一种基于增强现实的多人线下点餐系统的AR客户端所涉及的硬件结构图。

具体实施方式

本申请旨在提出一种基于AR技术的将线上的多用户社交与线下业务相结合的互动模式。

通过在目标场所中预设用于触发多人线下业务交互的线下业务标记，当多个用户在通过增强现实客户端针对该线下业务标记进行图像扫描后，可以触发增强现实客户端输出业务交互界面，使得该多个用户可以在该业务交互界面中执行线下业务交互，从而实现了基于增强现实技术将线上的多用户的社交模式与线下业务进行无缝结合，为用户提供了一种全新的线下业务交互模式；

例如，当本申请的技术方案应用于线下点餐的应用场景中时，可以通过在线下餐厅中预设用于触发多人线下点餐交互的点餐标记(比如特定的二维码或者餐厅的标识等)，当多个用户在通过AR客户端针对该点餐标记进行图像扫描后，可以触发AR客户端输出基于AR技术的点餐界面，使得该多个用户可以在该点餐界面中执行线下点餐交互，共同的完成点餐，从而实现了基于AR技术将线上的多用户的社交模式与线下点餐业务进行无缝结合，为用户提供了一种全新的线下点餐的交互模式。

下面通过具体实施例并结合具体的应用场景对本申请进行描述。

请参考图1，图1是本申请一实施例提供的一种基于增强现实的多人线下交互方法，应用于AR客户端，所述方法执行以下步骤：

步骤101，扫描目标场所中预设的线下业务标记；其中，所述线下业务标记用于触发多人线下业务交互；

步骤102，向服务端发送第一预设消息；所述第一预设消息携带与所述线下业务标记对应的信息以及用户的标识信息，以由服务端基于与所述线下业务标记对应的信息建立所述用户以及与针对所述预设的线下业务标记执行扫描的其它用户之间的业务关联；

步骤103，接收所述服务端推送的业务数据，并基于所述业务数据在增强现实场景中与所述线下业务标记对应的位置上输出对应的业务交互界面。

上述AR客户端，是指基于AR技术开发的客户端软件，用于对现实场景进行图像扫描，并将扫描得到的图像数据实时传输至后台服务端；以及，通过上述AR客户端前台的AR引擎，对后台服务端推送的虚拟数据进行可视化渲染，将其与扫描到的现实场景的图像进行叠加融合。

上述服务端，包括面向上述AR客户端提供服务的服务器、服务器集群或者基于服务器集群构建的云平台，用于基于后台的AR引擎，对上述AR客户端扫描到的图像进行图像识别；以及，对与线下业务相关的虚拟数据进行内容管理，并基于上述图像识别的结果向上述AR客户端推送相关的虚拟数据。

在实际应用中，用户可以使用佩戴的AR终端(比如AR眼镜或者头盔)，或者直接使用安装于移动终端(比如智能手机)上的AR客户端，对现实场景中的特定标识进行图像扫描；当扫描完成后，上述AR客户端可以将扫描到的图像信息上传至后台服务端，由后台服务端基于后台的AR引擎进行图像识别，并在成功识别出上述特定标识后，向上述AR客户端推送与该特定标识相关的虚拟数据。

其中，对上述图像信息的识别过程，也可以由上述AR客户端在本地完成，在本例中不进行特别限定。在这种情况下，当上述AR客户端针对上述特定标识扫描完成后，可以在本地解析扫描到的图像信息，然后对该图像信息进行识别，并将成功识别的出的上述特定标识，上传至后台服务端。

上述AR客户端也可以对用户图像扫描得到的图像中的特定标识进行识别定位，并与后台服务端进行交互，在接收服务端推送的与上述特定标识对应的虚拟数据后，可以通过前台的AR引擎，对该虚拟数据进行可视化渲染，创建AR场景模型，并将该虚拟数据在该AR场景模型中与上述特定标识对应的位置上显示，从而将现实场景与服务端推送的虚拟数据进行叠加融合。

上述目标场所，可以包括任意类型的线下业务场所；例如，可以是线下餐厅等线下消费场所；

上述线下业务标记，可以包括预设于上述目标场所中的，可用于触发多人线下业务交互的图形标识；比如，可以是一个特定的LOGO、二维码或者其它形式的图形标识。

上述业务交互界面，可以是上述AR客户端面向用户提供的用于执行线下业务交互的业务界面。

在实际应用中，当多个用户在来到上述目标场所后，可以通过使用AR客户端，或者使用佩戴的AR终端，对上述线下业务标记进行图像扫描，并由AR客户端或者后台服务端对图像扫描到的图像信息进行识别；当对图像扫描到的图像信息成功识别后，可以由后台服务端基于识别出的与该线下业务标记对应的信息建立该多个用户的业务关联，实现该多个用户在业务数据上的互通，使得该多个用户可以使用各自的AR客户端，或者佩戴的AR终端来执行相同的线下业务；

例如，当上述目标场所为线下餐厅时，上述线下业务标记可以是一个用于触发多人点餐的点餐标记，上述业务交互界面可以是一个用于进行多人点餐交互的点餐界面。当多个用户来到该餐厅后，可以通过使用各自的AR客户端或者各自佩戴的AR终端，针对该点餐标记进行图像扫描，当对该图像扫描到的图像信息成功识别后，后台服务端可以建立该多个用户的点餐关联，实现该多个用户产生的点餐数据上的互通，并通过该多个用户各自使用的AR客户端或者各自佩戴的AR终端，在AR场景中输出一个点餐界面，使得该多个用户可以在输出的点餐界面中共同的完成点餐。

以下通过“目标场所的图像扫描”、“多人线下业务的触发”、“多人线下业务的交互”、“基于多人线下业务的用户社交”等四个阶段，对本申请的技术方案进行详细描述。

1)目标场所的图像扫描

在本例中，上述AR客户端，可以仍然兼容传统的APP应用中的基于LBS(LocationBased Service，基于位置的服务)的目标场所定位以及推荐功能；比如，线下店铺定位以及基于LBS的线下店铺推荐功能。

用户可以通过上述AR客户端中提供的定位服务，主动查找需要前往的目标场所；或者，也可以从上述AR客户端中基于LBS服务推荐的目标场所，选择合适的目标场所。

当用户通过AR客户端中的目标场所定位以及推荐功能，成功到达目标场所后，此时用户可以使用上述AR客户端，或者也可以使用用户佩戴的AR终端，对该目标场所的场所标记进行图像扫描。

其中，上述目标场所的场所标记，可以是目标场所的LOGO，或者其它特定的图像标识。

当用户对上述目标场所的场所标记执行图像扫描后，上述AR客户端可以实时的将图像扫描得到的图像信息，以及该用户的标识信息传输至后台服务端。

其中，该用户的标识信息，具体可以是该用户登录上述AR客户端时，所使用的社交账号，或者其它能够唯一标识该用户的信息(比如手机号)。

在实现时，上述AR客户端可以与后台服务端预先建立一个连接(比如TCP连接)，当用户对上述目标场所的场所标记执行图像扫描后，上述AR客户端可以基于该连接向上述后台服务端发送一个预设消息(第二预设消息)，并在该预设消息中携带该用户的标识信息，以及图像扫描得到的与上述场所标记对应的图像信息。

当后台服务端接收到上述预设消息后，可以读取该预设消息中携带的上述用户的标识信息，以及与上述场所标记对应的图像信息，并基于后台的AR引擎对该图像信息进行识别。

其中，在上述后台服务端一侧，可以预先维护一个存储了大量线下场所的场所标记，以及与场所标记对应的推送数据的数据库；上述后台服务端在基于后台的AR引擎，对与上述场所标记对应的图像信息进行识别时，可以对该图像信息进行图像扫描，并识别该图像信息中是否包含上述数据库中的存储的场所标记。

如果在该图像信息中识别出上述数据库中的任一场所标记，此时上述场所标记成功识别，上述后台服务端可以将上述业务数据库中存储的与该场所标记对应的推送数据，推送至上述AR客户端。

其中，上述业务数据库中存储的推送数据，在本例中具体可以包括以下几类信息：

第一，上述推送数据，可以包括与上述场所标记对应的标签数据。

其中，该标签数据可以由与上述场所标记对应的线下场所进行自定义，也可以由上述线下场所的访客进行标记，具体可以包括上述场所标记的描述信息、服务特色，价位、优惠信息，以及用户的印象标签，等等；

例如，当上述线下场所为线下餐厅时，上述标签数据，可以包括上述线下餐厅的口味、地域特色、价位、印象标签，优惠信息等等。

其中，需要说明的是，上述优惠信息，可以包括由场所主动提供的优惠信息(比如优惠券)，也可以包括由其它用户赠与或者分享给该用户的优惠信息。

当后台服务端从AR客户端上传的图像信息中，成功识别出相应的场所标记后，可以在上述数据库中查找与该场所标记对应的标签数据，然后将查找到的与该场所标记对应的标签数据，推送至上述AR客户端。

与此同时，当用户对上述目标场所的场所标记进行图像扫描后，上述AR客户端也可以对图像扫描得到的图像信息中的场所标记，进行识别定位，并在接收到上述后台服务端推送的与该场所标记对应的标签数据后，可以基于前台的AR引擎，对接收到的该标签数据进行可视化渲染，将其显示在AR场景中，与上述场所标记对应的位置上。

例如，假设上述目标场所为线下餐厅，上述场所标记为线下餐厅的LOGO，用户在针对该线下餐厅的LOGO进行扫描，并且上述AR客户端在收到后台服务端推送的与该线下餐厅对应的标签数据后，可以在AR场景中，与上述线下餐厅的LOGO对应的位置上显示上述标签数据。

第二，上述推送数据，还可以包括与上述用户关联的联系人信息。

其中，与上述用户关联的联系人信息，具体可以是指与上述用户存在社交关系的好友信息。

在实际应用中，与上述用户关联的联系人信息，可以包括与上述用户存在直接的社交关系的好友信息，还可以包括与该用户存在间接的社交关系的好友信息，即与该用户的好友存在社交关系的好友信息；比如，假设用户A为用户B的好友，用户C为用户B的好友，那么用户C可以称之为与用户A存在间接的社交关系的好友。

当后台服务端从AR客户端上传的图像信息中，成功识别出相应的场所标记后，还可以基于该用户的标识信息，在上述目标场所的访客数据库中，查找与该用户关联的联系人信息，然后将查找到的联系人信息推送至上述AR客户端。

例如，上述用户的标识信息具体可以是指用户的社交账号，当后台服务端从AR客户端上传的图像信息中，成功识别出相应的场所标记后，上述后台服务端可以调用与该用户的社交账号关联的社交数据库，基于该用户的社交账号，在上述目标场所的访客数据库中，查找该用户的好友信息，以及与该用户的好友存在社交关系的好友信息，然后将查找到的好友信息推送至上述AR客户端。

与此同时，当上述AR客户端接收到上述后台服务端推送的与该用户关联的联系人信息后，可以基于前台的AR引擎，对接收到的该联系人信息进行可视化渲染，将其显示在AR场景中，与上述场所标记对应的位置上。

例如，假设上述目标场所为线下餐厅，上述场所标记为线下餐厅的LOGO，用户在针对该线下餐厅的LOGO进行图像扫描，并且上述AR客户端在收到后台服务端推送的与该用户关联的联系人后，可以在AR场景中，与上述线下餐厅的LOGO对应的位置上显示上述联系人信息。

第三，上述推送数据，还可以包括其它用户在上述目标场所进行线下业务交互时，为该用户预定的目标对象。

在本例中，为了将多用户的线上社交模式与线下业务交互进行结合，用户通过上述AR客户端，在上述目标场所进行线下业务交互时，用户还可以基于自身的社交关系，为其它用户预定目标对象，并由AR客户端将用户为指定联系人预定的目标对象，以及该指定联系人的标识信息上传至后台服务端，由后台服务端进行存储。

当后台服务端从AR客户端上传的图像信息中，成功识别出相应的场所标记后，还可以基于该用户的标识信息，查询后台服务端上是否存储了由其它用户为该用户预定的目标对象；如果后台服务端上存储了其它用户为该用户预定的目标对象，则后台服务端可以将为该用户预定的目标对象推送至上述AR客户端。

与此同时，上述AR客户端在接收到上述后台服务端推送的由其它用户为该用户预定的目标对象后，可以基于前台的AR引擎，对接收到的由其它用户为该用户预定的目标对象进行可视化渲染，将其显示在AR场景中，与上述场所标记对应的位置上。

例如，假设上述目标场所为线下餐厅，上述场所标记为线下餐厅的LOGO，用户除了可以在线下餐厅进行点餐消费以外，还可以通过AR客户端为指定好友预定相应的菜品。当该指定好友下次抵达该餐厅进行消费，通过AR客户端扫描该餐厅的LOGO后，该AR客户端在接收到后台服务端推送的由其它用户为该用户预定的菜品时，可以在AR场景中，与上述线下餐厅的LOGO对应的位置上显示上述预定的菜品。

可见，通过以上的描述可知，用户在达到目标场所后，通过AR客户端或者佩戴的AR终端实时扫描该目标场所的场所标记，可以触发在AR场景中与该场所标记对应的位置上，实时输出与该场所标记对应的标签数据、访问过该目标场所的与该用户关联的联系人信息、以及其它用户为该用户预定的目标对象；

通过这种方式，可以将目标场所自身的标签数据，与该用户的社交数据进行合并显示，对用户的线上社交与线下业务进行结合，从而可以利用用户的线上社交关系，更好的引导用户对线下的目标场所的访问。

2)多人线下业务的触发

在本例中，上述目标场所中可以预设上述线下业务标记。当多个用户进入上述目标场所后，可以通过AR客户端，或者佩戴的AR终端，针对上述线下业务标记进行图像扫描，来触发多人的线下业务交互。

对于上述多个用户中的任意一个用户来说，当其通过AR客户端，或者佩戴的AR终端，针对上述线下业务标记进行图像扫描后，该AR客户端可以通过与后台服务端之间的连接，向后台服务端发送一个预设消息(第一预设消息)，并在该预设消息中携带该用户的标识信息，以及图像扫描得到的与上述线下业务标记对应的图像信息。

当后台服务端接收到上述多个用户的AR客户端发送上述预设消息后，可以分别读取该预设消息中携带的上述用户的标识信息，以及与上述线下业务标记对应的图像信息，然后基于后台的AR引擎对这些图像信息进行识别。

其中，在上述后台服务端一侧，也可以预先维护一个存储了大量线下业务标记，以及与线下业务标记对应的业务数据的数据库。上述后台服务端在基于后台的AR引擎，对接收到的图像信息进行识别时，可以对接收到的图像信息进行图像扫描，并识别该图像信息中是否包含上述数据库中的存储的线下业务标记。

如果在接收到的图像信息中均识别到上述数据库中的同一线下业务标记，此时上述后台服务端可以汇总各用户的标识信息，建立该多个用户之间的业务关联，即当任一用户对上述线下业务标记执行图像扫描后，后台服务端将会在后台建立该用户，与针对上述线下业务标记也同样执行了图像扫描的其它用户之间的业务关联。

当然，以上示出的针对扫描到的上述线下业务标记的图像信息的识别过程，也可以由AR客户端来完成。即由AR客户端在完成图像识别后，将识别结果上传至上述后台服务端，不再赘述。

当上述业务关联建立后，此时后台服务端可以将用于创建业务交互界面的业务数据(比如当上述业务交互界面为点餐界面时，上述业务数据可以是菜单选项等用于创建点餐界面的数据)，向建立了业务关联后的各用户所使用的AR客户端分别进行推送。

各AR客户端在收到服务端推送的上述业务数据后，可以基于该业务数据来创建对应的业务交互界面，然后将创建完成的业务交互界面在与上述线下业务标记对应的位置上向各用户输出。后续该多个用户在该业务交互界面中执行同一线下业务交互时，所产生的交互数据，将会在后台实现共享和互通。

例如，在示出的一种实施方式中，当用户扫描上述线下业务标记后，可以在AR场景中输出一个包含若干待选择的目标对象的业务交互界面，用户可以在该业务交互界面中执行线下业务交互，选择对应的目标对象。在这种情况下，上述业务数据则可以是指示用户在执行上述线下业务交互时，所选择的目标对象。

另外，需要说明的是，在实际应用中，上述预设的线下业务标记可以是唯一一个用于触发同一线下业务的线下业务标记，也可以包括多个用于触发同一线下业务的线下业务标记；

例如，以上述目标场所为线下餐厅为例，上述线下业务标识可以是设置于每张餐桌上的点餐标记；目标场所在预设上述点餐标记时，可以在每张餐桌上设置唯一的点餐标记，也可以在每一张餐桌上与用户的落座位置对应的位置上设置多个点餐标记。

其中，在示出的一种实现方式中，当上述预设的线下业务标记包括多个用于触发同一线下业务的线下业务标记时：

一方面，后台服务端可以针对该多个线下业务标记提前建立关联，比如可以将该多个线下业务标识绑定至同一线下业务，从而在成功识别出该多个线下业务标记后，能够正常的建立该多个用户之间的业务关联；

通过这种方式，可以避免由于后台服务端识别出了多个不同的线下业务标识的情况下，无法建立多个用户的业务关联，继而无法触发该多个用户执行同一线下业务的问题。

另一方面，在预设上述多个线下业务标记时，可以将该多个线下业务标记的位置，与用户的实际位置进行关联，即为不同的用户提供位置上互不相同，但可以触发同一线下业务的线下业务标记，从而能够体现出不同的扫描用户在位置上的差异；

通过这种方式，AR终端可以通过对各线下业务标记进行识别定位，在AR场景中，准确识别出不同用户的位置。

例如，仍以上述目标场所为线下餐厅为例，上述线下业务标识可以是设置于每张餐桌上的点餐标记；在实现时，可以在每一张餐桌上与用户的落座位置对应的位置上设置多个点餐标记。每一个用户在落座后，可以分别扫描面前的点餐标记，来实现多人共同点餐。与此同时，当AR客户端在针对各订餐标识进行识别定位时，可以在AR场景中，准确的识别出每一个用户的落座位置，从而后续可以将用户所选择的菜品，与用户的落座位置关联起来。

3)多人线下业务的交互

在本例中，当多个用户分别通过AR客户端，或者佩戴的AR终端，针对上述线下业务标记进行图像扫描，并且后台服务端建立了该多个用户的业务关联后，上述AR客户端可以在AR场景中，针对上述线下业务标记进行识别定位，然后在识别定出的上述线下业务标记的位置上，输出已经创建完成的用于执行线下业务交互的上述业务交互界面。

其中，在上述业务交互界面中，可以包括若干可供用户选择的目标对象；

例如，当上述线下业务为线下点餐业务时，上述业务交互界面可以是一个点餐界面，在该点餐界面中可以包括若干可供用户选择的菜品。

在本例中，AR客户端在输出上述业务交互界面时，可以通过AR客户端所在的移动终端，以及与该AR客户端对接的AR终端同步输出。

在这种情况下，用户可以在安装了上述AR客户端的移动终端上输出的上述业务交互界面中，来完成线下业务交互，选择对应的目标对象；也可以在佩戴的AR终端上述输出的上述业务交互界面中，来完成线下交互业务，选择对应的目标对象。

其中，用户在业务交互界面中选择目标对象的具体方式，在本例中不进行特别限定，可以通过点击，或者诸如拖拽等选定手势来完成目标对象的选定；

例如，当用户在AR终端输出的上述业务交互界面中，来选择目标对象时，上述AR终端可以通过搭载的传感器，实时的识别用户的手势，并对用户指定的用于触发选择目标对象的手势(比如拖拽手势)进行响应，来选中对应的目标对象。

在本例中，对于上述多个用户的任意一个用户来说，该用户在上述业务交互界面中选择了对应的目标对象后，上述AR客户端可以将该用户选定的目标对象上传到后台服务端。

当后台服务端在接收到上述多个用户的AR客户端上传的目标对象后，由于此时该多个用户已经在后台建立了业务关联，因此后台服务端可以将该多个用户各自在上述业务交互界面中选择的目标对象，作为同一线下业务产生的业务数据进行关联保存，从而在后台实现业务数据的共享和互通。

当后台服务端将上述多个用户在上述业务交互页面中选择的目标对象，在后台进行关联保存后，还可以分别向各用户推送上述多个用户中的其它用户在上述业务交互界面中选择的目标对象；例如，后台服务端可以向每一个用户的AR客户端分别发送一个推送消息，将其它用户选择的目标对象也一并推送至各AR客户端。

通过这种方式，使得该多个用户中的任意一个用户来说，能够通过AR客户端获取到，与自己同步执行同一线下业务的其它用户，在上述业务交互界面中所选定的目标对象，从而可以增强用户之间的互动性。

在本例中，当AR客户端，在接收到后台服务端推送的其它用户在上述业务交互界面中选择的目标对象后，可以将本地用户以及上述其它用户在上述业务交互界面中选择的目标对象进行可视化渲染，然后在AR场景中向用户同步输出。

其中，AR客户端在将本地用户以及上述其它用户在上述业务交互界面中选择的目标对象进行可视化渲染，在AR场景中向用户同步输出时，可以通过不同的方式来实现。

在示出的一种实施方式中，假设预设的上述线下业务标记包括多个用于触发同一线下业务的线下业务标记，并且该多个线下业务标记的位置，与用户的实际位置进行了关联。

在这种情况下，当各用户对上述线下业务标记进行图像扫描后，上述AR客户端可以在图像扫描得到的图像信息中，基于预设的目标识别定位算法，对上述多个用户所扫描的线下业务标记，分别进行识别定位，以定位出各用户所扫描的线下业务标记在AR场景画面中的准确位置(比如各线下业务标记在AR场景画面中的坐标信息)。

当然，在实际应用中，以上示出的对上述多个用户所扫描的线下业务标记，分别进行识别定位的过程，也可以由后台服务端来完成，即AR客户端可以将扫描得到的图像信息以流媒体的方式实时的传输至后台服务端，由后台服务端完成上述识别定位过程，然后向AR客户端返回识别定位结果。

当AR客户端通过识别定位，在AR场景画面中准确定位出各用户所扫描的线下业务标记的位置后，可以将定位出的各线下业务标记的位置，与扫描各线下业务标记的用户的标识信息进行关联保存，从而AR客户端在接收到后台服务端推送的其它用户在上述业务交互界面中选择的目标对象后，可以基于各用户的标识信息，来进一步建立各用户选择的目标对象，与各用户扫描的线下业务标记的位置之间的关联。

当AR客户端在接收到上述后台服务端推送的其它用户在上述业务交互界面中选择的目标对象后，可以基于前台的AR引擎，对本地用户以及上述其它用户在上述业务交互界面中选择的目标对象进行可视化渲染，然后显示在AR场景中，与各用户扫描的上述场所标记的位置所对应的位置上。

在示出的另一种实施方式中，假设预设的上述线下业务标记为唯一用于触发同一线下业务的线下业务标记，此时上述多个用户可以通过扫描该唯一的线下业务标记来触发同一线下业务。

在这种情况下，当各用户对上述线下业务标记进行图像扫描后，上述AR客户端可以在图像扫描得到的图像信息中，基于预设的面部识别定位算法，对上述多个用户的面部进行识别定位，以定位出各用户的面部在AR场景画面中的准确位置(比如各用户的面部图像在AR场景画面中的坐标信息)。

当然，在实际应用中，以上示出的对上述多个用户的面部，分别进行识别定位的过程，也可以由后台服务端来完成，不再赘述。

当AR客户端通过面部识别定位，在AR场景画面中准确定位出各用户面部的位置后，可以将定位出的各用户面部的位置，与各用户的标识信息进行关联保存，从而AR客户端在接收到后台服务端推送的其它用户在上述业务交互界面中选择的目标对象后，可以基于各用户的标识信息，来进一步建立各用户选择的目标对象，与各用户面部的位置之间的关联。

当AR客户端在接收到上述后台服务端推送的其它用户在上述业务交互界面中选择的目标对象后，可以基于前台的AR引擎，对本地用户以及上述其它用户在上述业务交互界面中选择的目标对象进行可视化渲染，然后显示在AR场景中，与各用户面部的位置所对应的位置上。

通过以上示出的实施方式可知，由于上述多个线下业务标记均与用户的实际位置进行了关联，因此可以将各用户在上述业务交互界面中所选择的目标对象，与各用户的实际位置进行关联显示；比如，可以在AR场景中，与各用户扫描的线下业务标记对应的位置上，或者与各用户的面部对应的位置上，同步显示各用户在上述业务交互界面中选择的目标对象，从而用户在AR场景中，可以直观的查看到其它用户各自所选择的目标对象，能够提升用户的线下业务交互体验。

4)基于多人线下业务的用户社交

当多个用户通过扫描目标场所中预设的上述线下业务标记，触发AR客户端输出上述业务交互界面，共同的完成了同一线下业务后，为了将多用户的社交模式与线下业务进行结合，提升用户之间的互动性，用户除了可以在AR客户端在AR场景中输出的上述业务交互界面中来选定目标对象，完成线下业务交互以外，用户还可以利用该用户的社交关系数据(比如好友数据)，来为指定联系人预定目标对象。

在实现时，上述业务交互界面中还可以输出一个用于选定联系人的下拉选项，在该下拉选项中可以预先加载与该好友存在社交关系的联系人信息，用户除了可以在该业务交互界面中为自己选择目标对象以外，还可以在该下拉选项中指定联系人，为该指定联系人预定目标对象。

例如，以上述线下业务为线下点餐业务，上述业务交互界面为点餐界面为例，用户除了可以在该点餐界面中选定菜品进行正常的线下消费以外，也可以在点餐界面的联系人的下拉选项中，指定好友，为好友预定菜品；比如，用户在线下餐厅消费时，餐厅可以赠送给该用户部分菜品或者优惠券，用户可以将餐厅赠送的菜品或者优惠券，为好友进行预定，转赠给好友；当然，用户也可以提前对部分满意的菜品进行全额支付，或者支付部分额度的费用，然后为好友进行预定，然后转赠给好友。

当用户在上述业务交互界面中为指定联系人预定了目标对象后，AR客户端可以将用户预定的目标对象、该指定联系人的标识信息，以及该目标场所的标识信息，上传至后台服务端，由所述服务端建立该指定联系人的标识信息，为该指定联系人预定的目标对象，以及该目标场所的标识信息之间的关联关系，从而后续后台服务器可以基于建立的该关联关系，向该指定联系人推送通知消息，通知该指定联系人有好友在上述目标场所为其预定了目标对象。

其中，用户在为指定联系人预定目标对象时，还可以为该预定目标对象设置有效时间，如果该指定联系人未在该有效时间内抵达该目标场所对该预定的目标对象进行使用，则该预定的目标对象可以自动失效。

例如，仍以上述线下业务为线下点餐业务，上述业务交互界面为点餐界面为例，用户在该点餐界面中为好友预定菜品后，可以设置一个有效时间，如果该好友未在该有效时间内抵达该线下餐厅对该预定的菜品进行消费，那么该预定的菜品将自动失效。如果此时该用户在预定该菜品时，进行了全额支付，或者支付了部分费用，则该线下餐厅可以将用户支付的费用自动退还。

在本例中，用户除了可以为指定联系人预定目标对象以外，在实际应用中，当其它用户为该用户预定了目标对象，该用户也可以接收到后台服务端推送的通知消息。

在示出的一种实施方式张，上述AR客户端可以实时的定位上述用户的位置，并向后台服务端实时上传该用户的位置。后台服务端在接收到该AR客户端上报的位置后，如果有其它用户为该用户预定了目标对象，后台服务端可以查询已经建立完成的上述关联关系，来确定为该用户预定的目标对象所在的目标场所，然后实时的计算该用户的位置，与该目标场所所在位置之间的距离，并判断该距离是否小于预设阈值；

如果该用户的距离与上述目标场所的距离小于预设阈值(比如100米)，此时可以触发后台服务端向上述用户推送通知消息，以提示该用户有其它用户在该目标场所为其预定了目标对象。

其中，需要说明的是，后台服务端在向该用户推送通知消息时，可以以推送消息的形式向该用户的AR客户端进行推送，也可以以短消息的形式，向该用户的移动终端推送，在本例中也不进行特别限定；

例如，以上述目标场所为线下餐厅，上述目标对象为菜品为例，后台服务端可以向该用户的AR客户端或者移动终端，推送一条“你的好友XX在XX餐厅为您预留了XX菜品”的通知消息。

在本例中，当该用户收到上述通知消息后，可以前往上述目标场所。当该用户抵达该目标场所后，可以通过AR客户端，或者佩戴的AR终端扫描该目标场所的场所标记。

在这种情况下，AR场景中与场所标记对应的位置上，将会显示该与场所标记对应的标签数据、访问过该目标场所的与该用户关联的联系人信息、以及其它用户为该用户预定的目标对象等信息，不再赘述。

可见，通过以上示出的实施方式可知，通过在上述线下业务交互的过程中，引入以上示出的目标对象预定分享机制，以及对预定对象的线下通知机制，使得用户可以在线下进行业务交互时，基于线上的社交关系，为指定联系人预定目标对象，同时还可以通过后台服务端在线上对线下的指定联系人发出通知消息，来引导该指定联系人二次抵达该目标场所进行线下业务交互，从而可以利用用户在后台的社交关系等大数据，基于AR技术将多用户的社交模式与线下业务进行无缝结合，可以提升用户之间的互动性，为用户提供了一种全新的线下业务交互模式。

以下结合具体的应用场景对本申请的技术方案进行详细描述。

在本例中，将以多人的线下点餐业务的应用场景为例进行说明。

在该应用场景中，上述目标场所可以是线下餐厅，上述业务交互界面可以是点餐界面，上述目标对象则可以是用户在点餐界面中选定的菜品。

其中，需要指出的是，以多人的线下点餐业务的应用场景为例进行说明，仅为示例性的。

显然，本申请的技术方案，也可以应用在其它类似的线下业务场景；例如，上述目标场所也可以是KTV等消费场所，在这种应用场景下，上述业务交互界面可以是点歌界面，上述目标对象则可以是用户在点歌界面中选定的歌曲。

请参考图2，图2是本申请一实施例提供的一种基于增强现实的多人线下点餐方法，应用于AR客户端，所述方法执行以下步骤：

步骤201，扫描目标餐厅中预设的点餐标记；其中，所述点餐标记用于触发多人线下点餐交互；

步骤202，向服务端发送第一预设消息；所述第一预设消息携带与所述点餐标记对应的信息以及用户的标识信息，以由服务端基于与所述点餐标记对应的信息建立所述用户以及与针对所述预设的点餐标记执行扫描的其它用户之间的点餐关联；

步骤203，接收所述服务端推送的菜单数据，并基于所述菜单数据在增强现实场景中与所述点餐标记对应的位置上输出点餐界面。

在本例中，当用户通过AR客户端中的线下餐厅定位以及推荐功能，与多个好友成功到达线下餐厅后，可以使用上述AR客户端，或者也可以使用用户佩戴的AR终端，对该该线下餐厅的LOGO(即场所标记)进行图像扫描。

请参见图3，图3为本例示出的一种用户对线下餐厅进行图像扫描的示意图。

当用户对上述线下餐厅的LOGO执行图像扫描后，上述AR客户端可以实时的将图像扫描得到的图像信息，以及该用户登录该AR客户端所使用的社交账号(即用户的标识信息)传输至后台服务端。

后台服务端接收到上述图像信息后，可以基于后台的AR引擎对该图像信息进行识别，当成功识别出该线下餐厅的LOGO后，可以将后台的数据库中存储的与该线下餐厅的LOGO对应的推送数据，推送至上述AR客户端。

其中，上述推送数据，可以包括线下餐厅的标签数据(比如该线下餐厅的描述信息、服务特色，价位、优惠信息，以及用户的印象标签等数据)、该访问过该线下餐厅的该用户的好友信息(比如好友头像)、以及其它用户为该用户预定的赠送给该用户的菜品。

上述AR客户端可以在AR场景中识别定位该线下餐厅的LOGO的位置，然后对接收到的由后台服务端推送的上述推送数据进行可视化渲染，并在与该LOGO对应的位置上进行显示，从而将现实场景与后台服务端推送的虚拟数据进行叠加融合。

请参见继续参见图3，当用户扫描名为“港式火锅”的线下餐厅的LOGO后，可以在线下餐厅的LOGO“港式火锅”上方显示“口味：清淡养生”等印象标签，以及“优惠：4人8.5折”的优惠信息，在该线下餐厅的LOGO“港式火锅”下方输出一条“你有N个好友来过此店”的文本提示，并在文本提示下方输出来过该店的该用户的好友的头像信息，以及，还可以在该线下餐厅的LOGO“港式火锅”下方输出一条“你的好友XX赠送给你XX菜品”的交互提醒。

当用户和多个好友进入该点下餐厅落座后，可以分别扫描餐桌上预设的点餐标记(即线下业务标记)，当扫描完成后，AR客户端可以将扫描得到的图像信息，以及该用户的社交账号上传至后台服务端。

后台服务端可以在接收该用户以及该用户的多个好友的AR客户端上传的图像信息以及社交账号后，可以基于后台的AR引擎对该图像信息进行识别，当识别出该用户以及该用户的多个好友扫描同一点餐标记，或者各自扫描的多个点餐标记预先进行了绑定，则可以在后台建立该用户以及该用户的多个好友之间的点餐关联，实现点餐数据的互动以及共享。

同时，当用户以及该用户的多个好友对点餐标记进行图像扫描后，AR客户端还可以通过用户的移动终端，以及用户佩戴的AR终端同步输出一个基于AR技术创建的点餐界面，此时用户与好友可以分别在点餐界面中进行点餐。

当用户点餐完成后，AR客户端可以将该用户选择的菜品，以及用户的社交账号，上传至后台服务端。后台服务端在收到该用户以及该用户的好友选择的菜品，以及社交账号后，可以进行关联保存，并将向该用户以及该用户的还有的AR客户端，分别推送其它用户在点餐界面中选择的菜品。

同时，该用户以及该用户的好友的AR客户端，可以在AR场景界面中对各用户扫描的点餐标记，或者对各用户的脸部进行识别定位。当识别定位完成后，AR终端可以将各用户在点餐界面中选择的菜品，在AR场景中，与各自扫描的点餐标记对应的位置上，或者与各自的脸部对应的位置上同步显示。

例如，假设用户A选择的菜品为“鱼香肉丝”，用户B选择的菜品为“烤鸡排”，用户C选择的菜品为“咖啡”，用户D选择的菜品为“宫爆鸡丁”。

请参见图4，在示出的一种实现方式中，假设餐桌上预设了与用户的落座位置对应的多个点餐标记，在这种情况下，用户A的AR客户端，可以在AR场景界面中对各用户扫描的点餐标记进行识别定位，当识别定位完成后，AR终端可以将各用户在点餐界面中选择的菜品，在与各自扫描的点餐标记对应的位置上同步显示。

请参见图5，在示出的另一种实现方式中，假设餐桌上仅预设了唯一的点餐标记，在这种情况下，用户A的AR客户端，可以在AR场景界面中对各用户的面部进行识别定位，当识别定位完成后，AR终端可以将各用户在点餐界面中选择的菜品，在各用户面部对应的位置上同步显示。

可见，通过这种方式，对于该用户以及该用户的好友而言，可以在AR场景中直观的查看到其它好友选择的菜品。

当用户和好友们点餐完成后，该线下餐厅还可以向各用户分别赠送部分菜品，或者优惠券。此时该用户和好友们，可以通过AR客户端，将餐厅赠送的菜品以及优惠券，提前进行预定，通过线上赠送给各自的指定好友。

当然，除了餐厅主动赠送的菜品以外，用户和好友们，也可以对一些自己较为满意的产品，或者餐厅的特色菜品，提前进行全额支付，或者支付部分费用，然后进行预定，赠送给各自的指定好友，并设置预定的该菜品的有效时间段，如果指定好友未在指定时间段内抵达该餐厅进行消费，此时预定的菜品失效，餐厅可以通过线上自动退款。

当预定完成后，AR客户端可以将用户预定的菜品以及优惠券，指定好友的社交账号，以及该餐厅的名称(即目标场所的标识信息)等信息上传至后台服务端，由后台服务端进行关联保存。

当该指定好友路过该餐厅时，该指定好友的AR客户端可以实时向后台服务端上报该指定好友的位置，同时后台服务端可以实时的计算该指定好友的位置，与该餐厅的位置之间的距离，如果二者的距离小于预设距离(比如100米)，后台服务端可以向该指定好友的AR客户端，发出一条“您的好友XX在XX餐厅为您预订了XX菜品，请您在XX-XX时间段内抵店消费”的通知消息。该指定好友接收到该通知消息后，可以在指定的时间段内，抵达该餐厅对好友为自己预订的菜品进行消费。

可见，通过这种方式，可以基于AR技术将线上的多用户的社交模式与线下点餐业务进行无缝结合，为用户提供了一种全新的线下点餐的交互模式。

通过以上各实施例可知，本申请提出了一种基于增强现实技术的将线上的多用户社交与线下业务相结合的互动模式，通过在目标场所中预设用于触发多人线下业务交互的线下业务标记，当多个用户在通过增强现实客户端针对该线下业务标记进行图像扫描后，可以触发增强现实客户端输出业务交互界面，使得该多个用户可以在该业务交互界面中执行线下业务交互，并在增强现实场景中同步显示该多个用户在业务交互界面中选定的目标对象，从而实现了基于增强现实技术将线上的多用户的社交模式与线下业务进行无缝结合，为用户提供了一种全新的线下业务交互模式；

当本申请的技术方案应用于线下点餐的应用场景中时，可以实现基于增强现实技术将线上的多用户的社交模式与线下点餐进行无缝结合，为用户提供了一种全新的线下点餐交互模式。

与上述方法实施例相对应，本申请还提供了装置的实施例。

请参见图6，本申请提出一种基于增强现实的多人线下交互系统60，应用于AR客户端；请参见图7，作为承载所述基于增强现实的多人线下交互系统60的AR客户端所涉及的硬件架构中，通常包括CPU、内存、非易失性存储器、网络接口以及内部总线等；以软件实现为例，所述基于增强现实的多人线下交互系统60通常可以理解为加载在内存中的计算机程序，通过CPU运行之后形成的软硬件相结合的逻辑装置，所述系统60包括：

第一扫描模块601，扫描目标场所中预设的线下业务标记；其中，所述线下业务标记用于触发多人线下业务交互；

第一发送模块602，向服务端发送第一预设消息；所述第一预设消息携带与所述线下业务标记对应的信息以及用户的标识信息，以由服务端基于与所述线下业务标记对应的信息建立所述用户以及与针对所述预设的线下业务标记执行图像扫描的其它用户之间的业务关联；

第一输出模块603，接收所述服务端推送的业务数据，并基于所述业务数据在增强现实场景中与所述线下业务标记对应的位置上输出对应的业务交互界面。

在本例中，还包括：

第一上传模块604(图6中未示出)，将所述用户在所述业务交互界面中执行线下业务交互时选定的目标对象上传至服务端；

第一接收模块605(图6中未示出)，接收所述服务端推送的所述其它用户在所述业务交互界面中执行线下业务交互时选定的目标对象；

第一显示模块606(图6中未示出)，将所述用户以及所述其它用户在所述业务交互界面中选定的目标对象在增强现实场景中同步显示。

在本例中，还包括：

第一获取模块607(图6中未示出)，获取所述用户在所述业务交互界面中为指定联系人预定的目标对象；

所述第一上传模块603进一步：

将所述用户为所述指定联系人预定的目标对象，所述指定联系人的标识信息，以及所述预定的目标对象对应的目标场所的标识信息上传至所述服务端，以由所述服务端建立所述指定联系人的标识信息，为所述指定联系人预定的目标对象，以及所述目标场所的标识信息之间的关联关系。

在本例中，

所述第一上传模块604进一步：

向所述服务端实时上传所述用户的位置；

所述第一接收模块605进一步：

当其它用户在目标场所为所述用户预定了目标对象，并且所述服务端基于所述用户的位置确定出所述用户与所述目标场所的距离小于预设阈值时，接收所述服务端推送的通知消息；

其中，所述通知消息，用于提示其它用户在所述目标场所为所述用户预定了目标对象。

在本例中，所述第一发送模块602进一步：

当用户针对所述目标场所的场所标记执行图像扫描后，向服务端发送第二预设消息；其中，所述第二预设消息携带与所述场所标记对应的图像信息，以由所述服务端针对该图像信息进行识别后查询与所述场所标记对应的标签数据；

所述第一接收模块605进一步：

接收所述服务端推送的与所述场所标记对应的标签数据；

所述第一显示模块606进一步：

在所述增强现实场景中与所述场所标记对应的位置上显示所述标签数据。

在本例中，所述第二预设消息还携带所述用户的标识信息，以由所述服务端基于所述用户的标识信息在所述目标场所的访客数据库中查找与所述用户关联的联系人信息；

所述第一接收模块605进一步：

接收所述服务端推送的与所述用户关联的联系人信息；

所述第一显示模块605进一步：

在所述增强现实场景中与所述场所标记对应的位置上显示与所述用户关联的联系人信息。

在本例中，所述第二预设消息还携带所述用户的标识信息，以由所述服务端基于所述用户的标识查询其它用户为所述用户预定的目标对象；

所述第一接收模块605进一步：

接收所述服务端推送的由其它用户为所述用户预定的目标对象；

所述第一显示模块606进一步：

在所述增强现实场景中与所述场所标记对应的位置上显示由其它用户为所述用户预定的目标对象。

在本例中，所述预设的线下业务标记包括多个用于触发同一线下业务的线下业务标记；

所述第一显示模块606：

在所述增强现实场景中针对所述用户以及所述其它用户执行图像扫描的线下业务标记进行识别定位；

将所述用户以及所述其它用户在所述业务交互界面中选定的目标对象，在所述增强现实场景中与所述用户以及所述其它用户各自执行图像扫描的线下业务标记对应的位置上同步显示。

在本例中，所述第一显示模块606：

在所述增强现实场景中针对所述用户以及所述其它用户进行面部识别定位；

将所述用户以及所述其它用户在所述业务

交互界面中选定的目标对象，在所述增强现实场景中与所述用户以及所述其它用户的面部对应的位置上同步显示。

在本例中，所述线下业务包括线下点餐业务；所述业务交互界面包括点餐界面；所述目标对象包括用户在点餐界面中选定的菜品；所述目标场所包括线下餐厅。

请参见图8，本申请提出一种基于增强现实的多人线下点餐系统80，应用于AR客户端；请参见图9，作为承载所述基于增强现实的多人线下点餐系统80的AR客户端所涉及的硬件架构中，通常包括CPU、内存、非易失性存储器、网络接口以及内部总线等；以软件实现为例，所述基于增强现实的多人线下点餐系统80通常可以理解为加载在内存中的计算机程序，通过CPU运行之后形成的软硬件相结合的逻辑装置，所述系统80包括：

第二扫描模块801，扫描目标餐厅中预设的点餐标记；其中，所述点餐标记用于触发多人线下点餐交互；

第二发送模块802，向服务端发送第一预设消息；所述第一预设消息携带与所述点餐标记对应的信息以及用户的标识信息，以由服务端基于与所述点餐标记对应的信息建立所述用户以及与针对所述预设的点餐标记执行扫描的其它用户之间的点餐关联；

第二输出模块803，接收所述服务端推送的菜单数据，并基于所述菜单数据在增强现实场景中与所述点餐标记对应的位置上输出点餐界面。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。