基于数字全景的动态信息呈现与用户交互系统及设备

摘要

本发明公开了一种基于数字全景的动态信息呈现与用户交互系统及设备，其中系统包括：业务服务器，用于提供数字全景相关的实时更新的动态信息；全景服务器，用于从业务服务器获得动态信息并传送至全景客户端；全景客户端，用于接收全景服务器传送的动态信息，在显示数字全景时，将动态信息叠加显示于数字全景中相应位置。本发明可以为用户提供沉浸式的体验，增强数字全景中显示信息的多样性和灵活性。

说明书

技术领域

本发明涉及通信技术领域，尤其涉及基于数字全景的动态信息呈现与用户交互系统及 设备。

背景技术

数字全景是一种场景的广角视图，它可以是图像，也可以是视频。数字全景可以是(但 不必须是)一种场景的完整的360度水平视图(即柱面类型)，也可以是一种场景的完整 的360度水平视图加上180度的垂直视图(即球面类型)。它显示的场景可以是拍摄的真 实物理空间，也可以是被渲染的虚拟空间。数字全景的场景数据可以在被浏览前准备好， 或是在被浏览时实时地生成。数字全景可以给浏览者一种沉浸式的导览体验，即，给予浏 览者一种身临其境的3D观看体验。

数字全景通常为浏览者提供以下两种基本的交互方式：旋转(改变视图的方向)和缩 放(改变视图的视角)。数字全景可通过多种交互介质，例如键盘、鼠标、触摸屏等，在 桌面电脑或移动设备上进行浏览。数字全景技术在很多领域得到了应用，例如：房地产、 街景、博物馆、公园、购物中心、家具/家装店、汽车等等。

除了基本的旋转和缩放交互外，人们还尝试在数字全景中扩展用户的交互方式并提供 额外的信息。这些额外呈现的信息可以是富媒体的格式，例如格式化的文本、图像、音频、 视频，等等。这些在数字全景上的交互和信息显示例如点击场景中的某个物件，显示出与 之相关的信息；又如把多个全景链接起来形成虚拟漫游，即：在场景上叠加一个标记层， 点击该层中的特定位置，即可打开与其对应位置的全景图。

然而，现有交互方式中，交互的动作结果与额外呈现的信息需要在数字全景被浏览前 就先预定义好，即数字全景的内容是“只读的”，显示的信息是“静态的”，在数字全景 上被呈现的信息在浏览过程中，不会、也不可以被改变；每个视图上的信息与交互方式都 是相同的、一成不变的，即对所有的浏览者是相同的，在任何时间也都是相同的。

发明内容

本发明实施例提供一种基于数字全景的动态信息呈现与用户交互系统，用以在数字全 景中显示实时变化的动态信息，该系统包括：

业务服务器，用于提供数字全景相关的实时更新的动态信息；

全景服务器，用于从业务服务器获得动态信息并传送至全景客户端；

全景客户端，用于接收全景服务器传送的动态信息，在显示数字全景时，将动态信息 叠加显示于数字全景中相应位置。

一个实施例中，全景客户端还用于捕获用户在数字全景上的交互操作数据，将交互操 作数据传送至全景服务器；

全景服务器还用于将全景客户端传送的交互操作数据上报至业务服务器；

业务服务器具体用于根据全景服务器上报的交互操作数据进行交互处理，根据交互处 理结果更新数字全景相关的动态信息，向全景服务器反馈更新的动态信息；

全景服务器还用于将更新的动态信息传送至全景客户端；

全景客户端还用于将更新的动态信息叠加显示于数字全景中相应位置。

一个实施例中，业务服务器还用于修改动态信息，将修改的动态信息传送至全景服务 器；

全景服务器还用于接收业务服务器传送的修改的动态信息，将修改的动态信息传送至 全景客户端；

全景客户端还用于将修改的动态信息叠加显示于数字全景中相应位置。

本发明实施例还提供一种全景服务器，用以提供可在数字全景中实时变化的动态信 息，该全景服务器包括：

服务器通信模块，用于从业务服务器获得数字全景相关的实时更新的动态信息；

客户端通信模块，用于向全景客户端传送动态信息。

一个实施例中，客户端通信模块还用于接收全景客户端传送的用户在数字全景上的交 互操作数据；

服务器通信模块还用于将交互操作数据上报至业务服务器；接收业务服务器反馈的根 据交互处理结果更新的动态信息，其中交互处理根据交互操作数据进行；将更新的动态信 息传送至全景客户端。

一个实施例中，所述的全景服务器还包括：

全景动态控制器，用于根据全景场景数据和全景元数据，对接收的动态信息和/或交互 操作数据进行格式化处理，将格式化处理后的动态信息传送至全景客户端，将格式化处理 后的交互操作数据传送至业务服务器；其中，全景元数据与动态信息相关；

全景场景数据库，用于提供全景场景数据；

全景场景管理器，用于从全景场景数据库获得全景场景数据并传送至全景动态控制 器；

全景元数据数据库，用于提供全景元数据；

全景元数据管理器，用于从全景元数据数据库获得全景元数据并传送至全景动态控制 器。

一个实施例中，服务器通信模块还用于接收业务服务器传送的修改的动态信息；

客户端通信模块还用于将修改的动态信息传送至全景客户端。

本发明实施例还提供一种全景客户端，用以在数字全景中显示实时变化的动态信息， 该全景客户端包括：

服务器通信模块，用于接收全景服务器传送的数字全景相关的实时更新的动态信息；

场景和信息显示混合器，用于将动态信息叠加至数字全景中相应位置；

全景显示和用户输入模块，用于显示叠加动态信息的数字全景。

一个实施例中，全景显示和用户输入模块还用于供用户在数字全景上进行交互操作；

所述全景客户端还包括：交互管理器，用于捕获用户在数字全景上的交互操作数据；

服务器通信模块还用于将交互操作数据传送至全景服务器；接收全景服务器传送的更 新的动态信息；所述更新的动态信息根据交互操作数据获得；

场景和信息显示混合器还用于将更新的动态信息叠加至数字全景中相应位置；

全景显示和用户输入模块还用于显示叠加更新的动态信息的数字全景。

一个实施例中，服务器通信模块还用于接收全景服务器传送的修改的动态信息；

场景和信息显示混合器还用于将修改的动态信息叠加至数字全景中相应位置；

全景显示和用户输入模块还用于显示叠加修改的动态信息的数字全景。

本发明实施例中，全景客户端在显示数字全景时，将动态信息叠加显示于数字全景中 相应位置，可以为用户提供沉浸式的体验，其中动态信息是由全景服务器从业务服务器获 得的、与数字全景相关的动态信息，且动态信息是实时更新的，与现有技术中数字全景中 交互的动作结果与额外呈现的信息是预定义的相比，在数字全景中显示的动态信息无需预 定义，显示的信息是“动态的”，在数字全景上被呈现的信息在浏览过程中可以被改变， 通过与业务服务器的关联使数字全景更加丰富，增强了数字全景中显示信息的多样性和灵 活性，极大地改善了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图获得其他的附图。在附图中：

图1为本发明实施例中基于数字全景的动态信息呈现与用户交互系统的示意图；

图2为本发明实施例中全景服务器的示意图；

图3为本发明实施例中图2所示全景服务器的具体示例图；

图4为本发明实施例中全景客户端的示意图；

图5为本发明实施例中图4所示全景客户端的具体示例图；

图6为本发明实施例中基于数字全景的动态信息呈现与用户交互方法的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实 施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不 作为对本发明的限定。

如上所述，发明人发现，现有交互方式中，交互的动作结果与额外呈现的信息需要在 数字全景被浏览前就先预定义好，在数字全景上被呈现的信息在浏览过程中，不会、也不 可以被改变，每个视图上的信息与交互方式都是相同的、一成不变的。而另一方面，如今 在各个领域，对动态信息的呈现是有着非常强烈的需求的，也是非常普遍的。例如：某个 物品的价格在不同的时间随时会改变；优惠券与折扣在某个限定的时间段内只提供给限定 的用户群组；当其他用户提交对某物品的反馈时，用户看到的反馈也会被实时更新等。当 前，这些动态信息一般是显示在传统的用户界面上，比如列表框、地图，等等。其中，用 户通过抽象的物品摘要描述(例如：列表)间接地浏览这些物品信息，其不足在于：不能 提供类似于全景那样的3D交互式沉浸式的用户体验；用户难于将物品与一个(真实或虚 拟的)场景(及其周边的物品)关联起来；用户难于将此物品的信息与一个(真实或虚拟 的)场景(及其周边的物品)联系起来。基于此，本发明实施例提出在数字全景中显示动 态信息，以增强数字全景中显示信息的多样性和灵活性，并改善用户体验。

图1为本发明实施例中基于数字全景的动态信息呈现与用户交互系统的示意图。如图 1所示，本发明实施例中基于数字全景的动态信息呈现与用户交互系统可以包括：

业务服务器101，用于提供数字全景相关的实时更新的动态信息；

全景服务器102，用于从业务服务器获得动态信息并传送至全景客户端103；

全景客户端103，用于接收全景服务器102传送的动态信息，在显示数字全景时，将 动态信息叠加显示于数字全景中相应位置。

实施例中，数字全景可以作为一种沉浸式与交互式的媒介，来呈现动态信息。全景服 务器可以将从业务服务器获得的动态信息主动推送给全景客户端，全景服务器也可以依全 景客户端的请求从业务服务器获得动态信息后再提供给全景客户端。例如，全景客户端显 示数字全景时，向全景服务器发送获取动态信息的请求，全景服务器根据该请求从业务服 务器获得动态信息后向全景客户端反馈。业务服务器提供的动态信息是实时更新的，从而 保证全景服务器获取到最新的动态信息向全景客户端传送。

全景客户端接收的动态信息中包含有动态信息在数据全景中的显示位置信息，全景客 户端可以在接收到动态信息后，对动态信息进行解析，获得其显示位置信息，根据该显示 位置信息将动态信息叠加显示于数字全景中相应位置。

业务服务器可以是一个或多个，不同种类的业务服务器可以提供不同种类的动态信 息，动态信息可以从各种业务服务器中获取。全景服务器也可以是一个或多个，可以由多 个全景服务器组成分布式的结构，更好地为服务范围内的全景客户端传送动态信息。

基于数字全景通常为浏览者提供以下两种基本的交互方式：旋转(改变视图的方向) 和缩放(改变视图的视角)，在实施例中，全景客户端可以根据用户对数字全景的旋转操 作，旋转数字全景及叠加显示于数字全景中相应位置的动态信息；和/或，全景客户端可以 根据用户对数字全景的缩放操作，缩放数字全景及叠加显示于数字全景中相应位置的动态 信息。即在旋转或缩放数字全景时，数字全景中的动态信息也相应的进行旋转或缩放。从 而使动态信息可以在全景中无缝地显示出来，跟随场景的旋转和缩放进行变化。

实施例中，动态信息可以包括文本信息和/或多媒体信息，例如可以包括实时更新的商 品价格、优惠券与折扣信息等。动态信息还可以包括用户在数字全景中相应位置输入的文 本信息和/或多媒体信息，例如可以包括其他用户提交的物品反馈等。动态信息还可以包括 数字全景中用户的交互操作链接，例如可以包括物品订购链接、添加评论链接等，这些链 接还可以以图标等形式显示于数字全景中。业务服务器还可以在不同的时间，为不同的用 户提供不同的动态信息，使动态信息更加个性化，进一步改善用户体验。

实施例中可以在数字全景基础上扩展交互方式，以允许用户通过数字全景来与各种业 务服务器进行交互。用户在数字全景上施加的一些动作可以触发业务服务器中相关的响 应，这些动作也可以改变数字全景中的场景或附加的信息。例如：用户可以通过在数字全 景上进行交互操作，改变数字全景上显示的动态信息。例如，全景客户端捕获用户在数字 全景上的交互操作数据，将交互操作数据传送至全景服务器；全景服务器将全景客户端传 送的交互操作数据上报至业务服务器；业务服务器根据全景服务器上报的交互操作数据进 行交互处理，根据交互处理结果更新数字全景相关的动态信息，向全景服务器反馈更新的 动态信息；全景服务器将更新的动态信息传送至全景客户端；全景客户端将更新的动态信 息叠加显示于数字全景中相应位置。

举个数字全景反馈和预定的例子：用户A浏览一个场景的数字全景；用户A想添加一 个评论，就点击数字全景中的“添加评论”按钮；用户A从数字全景中选择他想把评论要 放置到的位置；用户A输入评论，并提交。用户B打开了这个数字全景，来自于其他用户 的评论被自动加载并显示在数字全景中相应已保存的位置处；用户B想预定，他就在数字 全景中直接点击“预定”按钮，预定请求通过全景服务器被自动地发送给相应的业务服务 器进行处理；来自于业务服务的处理结果经由全景服务器被反馈给全景客户端并呈现给用 户。实施例中，其它的用户反馈还可以包括：“喜欢”(点赞)、“收藏”等；用户的输 入可以是文件、语音、视频等形式。

具体实施时，全景服务器还可以根据全景场景数据和全景元数据，对接收的动态信息 和/或交互操作数据进行格式化处理，将格式化处理后的动态信息传送至全景客户端，将格 式化处理后的交互操作数据传送至业务服务器；其中，全景元数据与动态信息相关。也就 是说，全景服务器在接收到动态信息后，可以将动态信息进行处理后再传送至全景客户端； 全景服务器在接收到交互操作数据后，可以将交互操作数据进行处理后再传送至业务服务 器。全景服务器对动态信息、交互操作数据包括格式化处理、数据解析等。

实施例中，业务服务器还可以修改动态信息，将修改的动态信息传送至全景服务器； 全景服务器可以接收业务服务器传送的修改的动态信息，将修改的动态信息传送至全景客 户端；全景客户端将修改的动态信息叠加显示于数字全景中相应位置。例如，业务服务器 可以添加、删除或改变数字全景上的交互操作链接，这些交互操作链接可以由一个或多个 事件触发。

基于同一发明构思，本发明实施例中还提供了一种全景服务器、全景客户端及基于数 字全景的动态信息呈现与用户交互方法，如下面的实施例所述。由于这些设备/方法解决问 题的原理与前述基于数字全景的动态信息呈现与用户交互系统相似，因此这些设备/方法的 实施可以参见前述基于数字全景的动态信息呈现与用户交互系统的实施，重复之处不再赘 述。

图2为本发明实施例中全景服务器的示意图。如图2所示，本发明实施例中全景服务 器可以包括：

服务器通信模块201，用于从业务服务器获得数字全景相关的实时更新的动态信息；

客户端通信模块202，用于向全景客户端传送动态信息。

具体实施时，客户端通信模块还可以用于接收全景客户端传送的用户在数字全景上的 交互操作数据；服务器通信模块还可以用于：将交互操作数据上报至业务服务器；接收业 务服务器反馈的根据交互处理结果更新的动态信息，其中交互处理根据交互操作数据进 行；将更新的动态信息传送至全景客户端。

图3为本发明实施例中图2所示全景服务器的具体示例图。如图3所示，图2所示全 景服务器还可以包括：

全景动态控制器301，用于根据全景场景数据和全景元数据，对接收的动态信息和/或 交互操作数据进行格式化处理，将格式化处理后的动态信息传送至全景客户端，将格式化 处理后的交互操作数据传送至业务服务器；其中，全景元数据与动态信息相关；

全景场景数据库302，用于提供全景场景数据；

全景场景管理器303，用于从全景场景数据库302获得全景场景数据并传送至全景动 态控制器301；

全景元数据数据库304，用于提供全景元数据；

全景元数据管理器305，用于从全景元数据数据库304获得全景元数据并传送至全景 动态控制器301。

具体实施时，服务器通信模块还可以用于接收业务服务器传送的修改的动态信息；客 户端通信模块还可以用于将修改的动态信息传送至全景客户端。

图4为本发明实施例中全景客户端的示意图。如图4所示，本发明实施例中全景客户 端可以包括：

服务器通信模块401，用于接收全景服务器传送的数字全景相关的实时更新的动态信 息；

场景和信息显示混合器402，用于将动态信息叠加至数字全景中相应位置；

全景显示和用户输入模块403，用于显示叠加动态信息的数字全景。

具体实施时，全景显示和用户输入模块还可以用于：根据用户对数字全景的旋转操作， 旋转数字全景及叠加显示于数字全景中相应位置的动态信息；和/或，根据用户对数字全景 的缩放操作，缩放数字全景及叠加显示于数字全景中相应位置的动态信息。

具体实施时，全景显示和用户输入模块还可以用于供用户在数字全景上进行交互操 作；

如图5所示，图4所示全景客户端还可以包括：交互管理器501，用于捕获用户在数 字全景上的交互操作数据；

服务器通信模块还可以用于将交互操作数据传送至全景服务器；接收全景服务器传送 的更新的动态信息；所述更新的动态信息根据交互操作数据获得；

场景和信息显示混合器还可以用于将更新的动态信息叠加至数字全景中相应位置；

全景显示和用户输入模块还可以用于显示叠加更新的动态信息的数字全景。

具体实施时，服务器通信模块还可以用于接收全景服务器传送的修改的动态信息；

场景和信息显示混合器还可以用于将修改的动态信息叠加至数字全景中相应位置；

全景显示和用户输入模块还可以用于显示叠加修改的动态信息的数字全景。

图6为本发明实施例中基于数字全景的动态信息呈现与用户交互方法的示意图。如图 6所示，本发明实施例中基于数字全景的动态信息呈现与用户交互方法可以包括：

步骤601、全景服务器从业务服务器获得数字全景相关的实时更新的动态信息；

步骤602、全景服务器将动态信息传送至全景客户端；

步骤603、全景客户端接收全景服务器传送的动态信息，显示数字全景，并在显示数 字全景时，将动态信息叠加显示于数字全景中相应位置。

具体实施时，上述基于数字全景的动态信息呈现与用户交互方法还可以包括：

全景客户端根据用户对数字全景的旋转操作，旋转数字全景及叠加显示于数字全景中 相应位置的动态信息；和/或，全景客户端根据用户对数字全景的缩放操作，缩放数字全景 及叠加显示于数字全景中相应位置的动态信息。

具体实施时，上述基于数字全景的动态信息呈现与用户交互方法还可以包括：

全景客户端捕获用户在数字全景上的交互操作数据，将交互操作数据传送至全景服务 器；

全景服务器将全景客户端传送的交互操作数据上报至业务服务器；

业务服务器根据全景服务器上报的交互操作数据进行交互处理，根据交互处理结果更 新数字全景相关的动态信息，向全景服务器反馈更新的动态信息；

全景服务器将更新的动态信息传送至全景客户端；

全景客户端将更新的动态信息叠加显示于数字全景中相应位置。

具体实施时，上述基于数字全景的动态信息呈现与用户交互方法还可以包括：

全景服务器根据全景场景数据和全景元数据，对接收的动态信息和/或交互操作数据进 行格式化处理，将格式化处理后的动态信息传送至全景客户端，将格式化处理后的交互操 作数据传送至业务服务器；其中，全景元数据与动态信息相关。

具体实施时，上述基于数字全景的动态信息呈现与用户交互方法还可以包括：

业务服务器修改动态信息，将修改的动态信息传送至全景服务器；

全景服务器接收业务服务器传送的修改的动态信息，将修改的动态信息传送至全景客 户端；

全景客户端将修改的动态信息叠加显示于数字全景中相应位置。

综上所述，本发明实施例中，全景客户端在显示数字全景时，将动态信息叠加显示于 数字全景中相应位置，可以为用户提供沉浸式的体验，其中动态信息是由全景服务器从业 务服务器获得的、与数字全景相关的动态信息，且动态信息是实时更新的，与现有技术中 数字全景中交互的动作结果与额外呈现的信息是预定义的相比，在数字全景中显示的动态 信息无需预定义，显示的信息是“动态的”，在数字全景上被呈现的信息在浏览过程中可 以被改变，通过与业务服务器的关联使数字全景更加丰富，增强了数字全景中显示信息的 多样性和灵活性，极大地改善了用户体验。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产 品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实 施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机 可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程 序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图 和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程 和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指 令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生 一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现 在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方 式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装 置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方 框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机 或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他 可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方 框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说 明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护 范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在 本发明的保护范围之内。