用于管理传送至虚拟现实装置的通知的方法、设备和计算机可读介质

摘要

一种用于管理传送至虚拟现实(VR)装置的通知的系统、方法和计算机可读介质，包括：通过在VR装置上执行的中间件应用接收来自服务器的通知，该通知包括通知标识符；通过中间件应用将通知传输至与在VR装置上执行的活动应用集成的通知插件；通过通知插件激活VR装置上的通知应用，该通知应用被配置为禁用该VR装置上的所有其他应用，并在VR装置渲染的环境中显示与通知标识符对应的通知消息；以及响应于以下一项或更多项来停用通知应用：通过通知插件接收包括与通知标识符匹配的第二通知标识符的第二通知，或者通过通知应用检测用户对通知消息的确认。

说明书

技术领域

本发明涉及一种用于管理传送至虚拟现实装置的通知的方法、设备和计算机可读介质。

背景技术

虚拟现实(“VR”)是计算机生成的环境，旨在将用户沉浸在虚拟位置内。VR系统通常利用眼镜，例如通过集成的显示器和扬声器直接向用户提供视频和音频输出的头戴式受话器或头盔。VR系统通常包括旨在提高用户沉浸感的其他机制，例如头戴式受话器和配件中的触觉反馈以及配置为检测头戴式受话器运动并相应地更改虚拟环境的加速度计。

所有这些特征的结果是VR是一种独特的沉浸式媒介。因此，必须谨慎设计用于例如飞机、火车或其他形式的交通工具的潜在危险环境中的VR装置，以保持用户的沉浸感，但同时在紧急事件，航班或行程通知或其他管理员动作的必要情况下，也可以有效中断沉浸感。安全规章、紧急警告、空间限制和晕车只是开发用于交通工具的VR应用时需要考虑的许多问题中的几个。

在例如飞机的交通工具中使用的许多当前的通知系统缺乏与乘客VR媒体装置进行通信的基础设施和设计。例如，许多飞机利用电缆连接系统将警报发送至乘客座椅靠背显示器。此外，即使在那些利用更现代的通信方法(例如无线通信)与乘客媒体装置进行通信的系统中，现有的通知系统也无法灵活地提供机组人员如何触发通知、装置如何接收通知、如何向乘客呈现通知和/或如何确认并移除通知。

因此，需要VR通知管理和传送技术的改进。

发明内容

本发明的目的是提供一种用于管理传送至虚拟现实(VR)装置的通知的改进的或替代的方法、系统和计算机可读介质。

该目的是采用根据本说明书或与本权利要求一致的方法、设备和计算机可读介质来实现的。

本发明涉及一种用于管理传送至虚拟现实(VR)装置的通知的方法。该方法可以包括如下所述的步骤。

通过在VR装置上执行的中间件应用接收来自服务器的通知的步骤。中间件包括与外部服务器(例如VR内容和/或通知服务器)以及VR装置上运行的软件应用连接的计算机软件，并为可从操作系统获得的那些VR软件应用以外的VR软件应用提供服务和指令。

通知可以包括通知标识符。作为进一步的步骤，通过中间件应用进行传输。该通知可以被传输至与在VR装置上执行并且当前显示在由VR装置渲染的环境中的活动应用集成的通知插件。

此外，可能存在通过通知插件激活VR装置上的通知应用的步骤。通知应用可以被配置为禁用VR装置上的所有其他应用，并在VR装置渲染的环境中显示与通知标识符对应的通知消息。

另外，可以响应于以下一项或更多项来停用通知应用：通过通知插件接收包括与通知标识符匹配的第二通知标识符的第二通知，或者通过通知应用检测用户对通知消息的确认。

通过中间件应用将通知传输至与在VR装置上执行并且当前显示在VR装置的显示器上的活动应用集成的通知插件可以包括：通过中间件应用存储通知对应的通知状态；通过中间件应用将通知传输至与活动应用集成的通知插件；响应于通知的接收，通过中间件应用从与活动应用集成的通知插件接收确认；以及通过中间件应用更新通知状态。

通知可以包括持久性通知或非持久性通知，其中，通过通知插件激活VR装置上的通知应用包括以下任一项：当通知包括持久性通知时，以持久性模式激活通知应用，其中，通知应用的持久性模式被配置为当通知插件接收到包括与通知标识符匹配的第二通知标识符的第二持久性通知时停用；和/或当通知包括非持久性通知时，在非持久性模式下激活通知应用，其中，通知应用的非持久性模式被配置为当检测到用户对通知消息的确认时停用。

通过该通知应用检测用户对该通知消息的确认可以包括以下步骤：通过该通知应用在VR装置渲染的环境内的确认位置处传输确认消息；以及通过该通知应用检测佩戴该VR装置的用户的注视位置与该确认位置对应。

通知可以对应于侵入性级别和/或在由VR装置渲染的环境中显示与通知标识符对应的通知消息可以包括进一步的步骤：识别与侵入性级别对应的一个或更多个设置；以及至少部分地基于一个或更多个设置在环境中渲染通知消息。

该方法可以进一步包括以下步骤：在VR装置上执行工具栏应用，通知插件可访问该工具栏应用，并且该工具栏应用被配置为在VR装置渲染的环境中传输持久性用户界面元件，该持久性用户界面元件包括安全带图标、帮助图标、进餐图标、洗手间图标和购买图标中的一个或更多个。

持久性用户界面元件可以包括帮助图标，并且还可以包括：通过该通知插件检测佩戴VR装置的用户的注视位置对应于帮助图标的位置；通过该通知插件生成帮助请求，该帮助请求包括该VR装置的装置标识符；通过该通知插件将帮助请求传输至中间件应用；和/或通过该中间件应用将帮助请求传输至服务器，该帮助请求被配置为使服务器识别与装置标识符对应的座位，识别与所识别的座位对应的机组人员，并将该帮助请求传输至与该机组人员相关联的机组人员计算装置。

该方法可以进一步包括：至少部分地基于该通知，通过该通知插件将一个或更多个命令传输至工具栏应用，该一个或更多个命令被配置为改变持久性用户界面元件中的图标的一个或更多个显示特性。

本发明还涉及一种用于管理通知的虚拟现实(VR)装置设备。该VR装置设备可以包括：一个或更多个处理器，以及可操作地耦接至一个或更多个处理器中的至少一个并且在其上存储有指令的一个或更多个存储器，该指令在由一个或更多个处理器中的至少一个执行时，引起一个或更多个处理器中的至少一个执行上述方法步骤中的一个或更多个。

本发明还涉及至少一种非暂时性计算机可读介质，其存储计算机可读指令，该计算机可读指令在虚拟现实(VR)装置上执行时，使该VR装置执行上述方法步骤中的一个或更多个。

本文公开的通知传送和管理系统的方法、设备和计算机可读介质可以提供有效的和即时的通知传送系统，用于将通知传送至飞行的VR装置用户。可以将中间件视为提供更安全、更中间的结构，该结构不影响操作系统，还可以使VR装置上运行的软件与向VR装置传送通知的VR服务器之间实现互连。

本文公开的通知传送和管理系统的方法、设备和计算机可读介质可以使得能够在潜在危险环境中安全地使用虚拟现实，并且可针对各种类型的通知为管理员和机组人员提供有效且可定制的传送机制。

本文公开的通知传送和管理系统的方法、设备和计算机可读介质还可以防止乘客失去其在VR中的态势感知并且防止不响应例如要求系紧他们的安全带、来自飞行员和机组的乘客公告、进餐和饮品的分发以及严重的紧急情况的通知。

本文公开的通知传送和管理系统的方法、设备和计算机可读介质还可以使机组能够将某些指令传达给所有乘客，并使所有乘客尽快注意。

本文公开的通知传送和管理系统的方法、设备和计算机可读介质所赋予的另一个好处是，由于VR环境，可以定制或增强通知消息，特别是可以增强对消息的感官反馈、可以推送额外的通知(例如食品)、可以有效地传达和处理紧急情况。

附图说明

图1示出了根据示例性实施例的用于管理传送至虚拟现实(VR)装置的通知的流程图。

图2示出了根据示例性实施例的VR通知系统的网络架构。

图3示出了根据示例性实施例的将通知从机组人员装置传送至运行在VR装置上的应用。

图4示出了根据示例性实施例的由中间件应用将通知传输至与在VR装置上执行并当前显示在VR装置的显示器上的活动应用集成的通知插件的流程图。

图5示出了根据示例性实施例的由中间件应用存储的通知信息。

图6示出了根据示例性实施例的与图4中描述的过程对应的软件消息图。

图7示出了根据示例性实施例的激活通知应用的示例。

图8示出了用于由通知插件激活VR装置上的通知应用的流程图。

图9A-9B示出了根据示例性实施例的持久性通知应用的示例。

图10A-10B示出了根据示例性实施例的非持久性通知应用的示例。

图11示出了根据示例性实施例的通知工具栏的软件和用户界面图。

图12示出了根据示例性实施例的由VR装置渲染的包括通知工具栏的环境。

图13A示出了根据示例性实施例的用于将通知传输至通知工具栏的消息图。

图13B示出了根据示例性实施例的用于将请求从通知工具栏传输至机组人员的消息图。

图14示出了根据示例性实施例的用于将通知传输至通知应用和通知工具栏两者的图。

图15示出了根据示例性实施例的通知数据模型。

图16示出了根据示例性实施例的用于安全带通知的消息传递图。

图17示出了用于公告通知的消息传递图，该公告通知是持久的并且仅在通知插件和通知应用接收到关闭公告通知后才关闭。

图18示出了食品和饮品通知的消息传递图，该食品和饮品通知引起通知应用的执行。

图19示出了用于购物通知的消息传递图，该购物通知用于提醒乘客飞行中的购物机会。

图20示出了根据示例性实施例的可在用于管理传送至VR装置的通知的系统中使用的各种不同装置。

图21示出了根据示例性实施例的机组人员装置的状态界面。

图22示出了可用于执行用于管理传送至虚拟现实装置的通知的方法的示例性计算环境。

具体实施方式

虽然本文通过示例和实施例的方式描述了方法、设备和计算机可读介质，但是本领域技术人员认识到，管理传送至虚拟现实装置的通知的方法、设备和计算机可读介质不限于所描述的实施例或附图。应当理解，附图和说明书不旨在限于所公开的特定形式。相反，其意图是涵盖落入所附权利要求的精神和范围内的所有修改、等同物和替代选择。本文使用的任何标题仅用于组织目的，并不意味着限制说明书或权利要求书的范围。如本文所使用的，词语“可以”以允许的意义(即，意味着有可能)而不是强制的意义(即，意味着必须)来使用。类似地，词语“包括”、“包含”和“含有”是指包括但不限于。

如上所述，VR具有将用户深深地浸入渲染环境的能力。结果，乘客可能容易失去其态势感知，因此可能无法响应系好安全带的要求，无视来自飞行员和机组的乘客公告，错过了餐食和饮品分配，并且可能无法识别正在发生的严重紧急情况。特别是在紧急情况下，机组需要向所有乘客传达某些指令，并尽快引起所有人的注意。因此，当需要向沉浸在VR中的乘客传达公告时，必须格外小心：需要增强对消息的感官反馈，需要推送额外的通知(例如食品)，并且需要有效传达和处理紧急情况。

申请人已经发现了解决通知系统中存在的问题的方法、设备和计算机可读介质，并且已经发现了通知传送和管理系统，该通知传送和管理系统使得能够在潜在危险环境中安全地使用虚拟现实并针对各种类型通知为管理员和机组人员提供高效且可定制的传送机制。在基于飞行的VR系统的情境下描述了用于管理传送至虚拟现实(VR)装置的通知的方法和系统，但是应当理解，本文公开的VR通知管理和传送系统适用于其中需要将通知传送至用户的任何VR环境。

图1示出了根据示例性实施例的用于管理传送至虚拟现实(VR)装置的通知的流程图。在步骤101，由在VR装置上执行的中间件应用接收来自服务器的通知，该通知至少包括通知标识符。

如图2所示，VR装置可以是飞行中的乘客正在利用的许多装置之一。图2示出了根据示例性实施例的VR通知系统的网络架构。服务器200将通知传送至连接的VR装置201A、201B、201C和201D。服务器200和VR装置201A-201D可以通过无线网络或有线网络连接，并且可以使用任何适当的网络协议和软件进行通信。例如，服务器200和VR装置201A-201D可以使用WebSocket技术进行通信，以便于两个装置之间的实时通信。当服务器200也是内容服务器时，可以根据需要使用这种类型的连接以将内容从服务器流传输至VR装置。服务器200和VR装置201A-201D可以使用REST API再进行通信。例如，REST可以用于将来自VR装置201A-201D的查询传达至服务器200。

图2还示出了连接到服务器200并且负责发起通知消息的多个管理员装置202A-202E。如上所述，网络连接可以通过无线网络或有线网络，并且可以使用任何适当的网络协议和软件进行通信。在飞行情境下，管理员装置可以是例如机组人员装置。管理员装置可以是移动装置，如装置202A-202D所示的移动装置。移动装置包括智能电话、平板电脑、智能手表和/或定制的电子装置(例如由特定航空公司创建或为特定航空公司创建的装置)。管理员装置也可以是较大的计算设备，如设备202E所示的计算设备。较大的计算设备可以包括台式计算机、膝上型计算机、遗留系统(Legacy System)(例如现有的航班通知计算机或航空电子服务器)或任何其他计算装置。

如图2所示，管理员装置202A-202E和VR装置201A-201D两者都与服务器进行双向通信。这允许通过服务器将通知从管理员装置发送至VR装置，还允许通过服务器将确认、状态信息和请求从VR装置路由到适当的管理员装置。

返回到图1，在步骤102，中间件应用将通知传输至与在VR装置上执行并当前显示在由VR装置渲染的环境中的活动应用集成的通知插件(在本文中称为“通知插件”或“插件”)。图3示出了步骤101和102的示例。

图3示出了根据示例性实施例的将通知从机组人员装置传送至运行在VR装置上的应用。机组人员装置300可以包括机组应用，机组应用由机组人员使用以生成和传输通知。如下所述，机组应用还可以启用对网络内特定VR装置的监控。

服务器301运行被配置为与机组应用连接的服务器应用。如图所示，服务器301上的服务器应用接收来自机组人员装置300上的机组应用的通知。然后服务器301将通知传输至虚拟现实装置302上的中间件组件。注意，至中间件组件的通知的传输可以是推式或拉式通信。可以将服务器(和服务器应用)配置为自动将所有通知转发到VR装置。或者，可以将VR装置上的中间件配置为向服务器查询任何通知更新。该查询可以例如定期发生，或者响应于特定事件(例如VR装置启动新应用)而发生。许多变化都是可能的，并且这些示例并非旨在进行限制。

中间件应用(“中间件”)可以是作为守护进程在VR装置302的后台运行的服务。这允许中间件充当VR装置302上任何当前正在运行的VR应用的动态通知传送系统。中间件充当VR装置与服务器之间的界面，并且还充当在VR装置302上运行的特定应用的界面。

该机制是通知插件，中间件通过该机制与在VR装置302上运行的应用进行通信，该通知插件集成到在VR装置上运行的每个应用中。通知插件可以包括软件开发工具包(SDK)，第三方开发人员可以将SDK集成到其应用中，以确保所有应用都与通知系统特别是中间件兼容。因此，通知插件被集成到在VR装置302上运行的所有应用中，从而使中间件能够与VR装置302上的所有应用进行通信。

如图3所示，应用3是活动应用，意味着它是操作系统(OS)堆栈顶部的应用，并且是当前显示在由VR装置渲染的虚拟环境中的应用。当然，当同时显示多个应用时，活动应用就是已选择的应用。由于应用3是活动应用，因此中间件接收到的通知随后被发送至与应用3集成的通知插件。

可以将中间件配置为自动将所有通知转发到集成在VR应用中的通知插件。此外，应用的通知插件也可以被配置为查询或请求来自中间件的最新通知。该查询或请求可以例如周期性地或响应于特定事件而发生，该特定事件例如是VR装置启动新应用或在应用之间切换。例如，每当活动应用发生更改时，新的活动应用都可以被配置为向中间件传输针对任何未传送的通知的请求。中间件还可以检测哪个应用是活动应用(例如，通过与操作系统交互)，并在收到通知时将任何通知转发到当前活动应用。

图4示出了根据示例性实施例的由中间件应用将通知传输至与在VR装置上执行并当前显示在VR装置的显示器上的活动应用集成的通知插件的流程图。

在步骤401，中间件应用存储与接收到的通知对应的通知状态。该通知状态可以指示该通知是未传送的。中间件还可以存储通知本身或通知的某些标识符，该标识符可被用于检索与该通知对应的信息。通知状态还可以指示特定通知是活动的还是非活动的(即，“开”或“关”)。

图5示出了根据示例性实施例的由中间件应用存储的通知信息。如图5所示，VR装置501包括中间件502和中间件可访问的存储装置503。存储装置也可以是中间件的一部分，例如以中间件可访问的缓存的形式。图5还示出了存储装置504的展开图，该存储装置504包括存储通知及其对应状态的表。如存储装置504的展开图所示，为每个通知存储通知标识符以及状态(已传送或未传送)。当然，存储装置和表可以包括通知的任何其他属性或特征，下面将参考图15进行进一步讨论。

有许多可能的技术可用于存储通知状态。例如，对于具有两种状态(例如“开”或“关”)的通知，可以将每个通知的状态存储在存储装置中，而不是存储通知是否已传送或未传送。

作为每个通知的存储状态的替代，可以将中间件配置为仅存储未传送的通知，从而使通知状态隐式。在这种情况下，任何成功发送的通知(意味着从目标通知插件收到确认)都可以从存储装置中删除，仅保留未传送的通知。许多变化都是可能的，并且这些示例并非旨在进行限制。

返回到图4，在步骤402，中间件从与活动应用集成的通知插件接收针对具有未传送状态的任何通知的请求。如上所述，可以周期性地或响应于诸如启动活动应用之类的事件来传输该请求。可替代地，该请求也可以是针对具有活动或“开”状态的任何通知的请求。

在步骤403，中间件将通知传输至与活动应用集成的通知插件。响应于该通知，活动应用的通知插件将确认发送回中间件，该确认在步骤404由中间件接收。然后，在步骤405，更新通知的通知状态以指示该通知已传送。当通知状态在通知的存储装置中是隐式的时，此更新可以包括从存储装置中删除通知。

图6示出了根据示例性实施例的与图4中描述的过程对应的软件消息图。如图6所示，VR装置600至少包括应用601(该应用601包括通知插件602)、中间件603和存储装置604。

中间件603从通知插件602接收请求任何未传送的通知的请求消息M1。然后，中间件603采用查询消息M2查询存储装置604。响应于该查询，存储装置604将任何未传送的通知发送至消息M3中的中间件603。然后，中间件603将这些未传送的通知发送至消息M4中的插件602。响应于接收到该通知，通知插件602将确认发送至消息M5中的中间件603。接收到该确认后，中间件随后将消息M6发送至存储装置604，以将已传送消息的状态从未传送变为已传送。消息M6也可以是删除消息，该删除消息请求存储装置604删除已传送的消息。另外，在图6中未示出，但是中间件可以进一步将确认M5传输回服务器，以允许服务器更新其自己的通知状态信息。

返回到图1，在步骤103，通知插件激活VR装置上的通知应用。该应用被配置为禁用VR装置上的所有其他应用，并在由VR装置渲染的环境中显示与通知标识符对应的通知消息。

激活通知应用可以包括启动通知应用。替代地，通知应用可以已经在VR装置上运行，并且激活可以包括将通知应用带到VR装置的用户界面的最前端。例如，激活可以包括将一些命令传递至通知应用，该命令将通知应用从睡眠或空闲模式切换到活动模式。

另外，可以通过多种方式来加载在VR装置渲染的环境中显示的通知消息。通知消息可以作为发送至通知插件的通知的一部分进行发送。通知消息也可以由通知插件或通知应用使用标识符(例如通知标识符)加载，该标识符作为通知的一部分被传输。在这种情况下，可以在存储通知标识符与一个或更多个其他属性(例如通知消息)之间的对应关系的VR装置的存储器中维护表或其他数据存储结构。该表或数据存储结构还可以存储由服务器发送至中间件的消息的通知状态。

图7示出了根据示例性实施例的激活通知应用的示例。框701示出了将通知从中间件传输至活动应用3中的通知插件之后，但在通知插件激活通知应用之前的VR装置的状态。

框702示出了在应用3中的通知插件激活通知应用之后的VR装置的状态。如框702中所示，一旦通知应用被激活，VR装置中的所有剩余应用被禁用。但是，每个应用内的通知插件仍是活动的，从而允许接收来自中间件的其他消息。

通知应用可以根据通知的类型和相应的通知设置以多种模式被激活。特别地，通知的可能类型可以包括“持久性”通知和“非持久性”通知。持久性通知被配置为持续直到接收到停用信号为止。相比之下，可以经由用户动作或可选地通过某些其他方式(例如定时器)来停用非持久性通知。

图8示出了用于由通知插件激活VR装置上的通知应用的流程图。在步骤801，通知插件接收到通知。该步骤对应于图1中的步骤102，其中中间件应用将通知传输至通知插件。

在步骤802，作出关于通知是持久性的还是非持久性的确定。术语“持久性”和“非持久性”仅用于解释目的，并且应理解，这些术语可指代任何两类通知，其中第一类需要来自服务器和中间件的停用信号，第二类是可以通过其他方式(例如用户输入)来停用。不需要使通知是持久性的还是非持久性的确定是显式的，并且可以隐式地标识通知的类型。例如，步骤802可以对应于确定该通知消息是安全带通知。如果该安全带通知被配置为非持久性的，则将通知的类型识别为安全带通知的步骤可以对应于步骤802。

如果该通知是持久性的，则在步骤803以持久性模式激活该通知应用。否则，如果该通知是非持久性的，则在步骤804以非持久性模式激活该通知应用。当然，可以将不同的通知应用(而不是多个模式)用于与持久性和非持久性应用对应的通知。例如，可以使用两个不同的通知应用，非持久性通知应用和持久性通知应用。在另一个示例中，每个通知可以具有其自己的唯一通知应用，并且每个唯一通知应用可以具有指示其是持久性还是非持久性的设置或功能。提供这些示例仅用于说明，而无意限制所描述功能的范围。

当在持久性模式下激活应用时，则在步骤807接收到具有匹配标识符的相应通知会引起在步骤808停用该通知应用。例如，如果第一通知是持久性公告通知，然后以持久性模式激活通知应用。如果接收到的第二个通知也是持久性公告通知(可以由检查标识符或类型来确定)，那么将停用该应用。

另外，状态(State)变量或标志可以是通知(Notification)的一部分，并且可以用于激活或停用持久性通知应用。使用前面的示例，第一个通知可以是。如果第二个通知是，则可以停用持久性通知应用。相反，如果第一个通知是，而第二个通知也是，则通知应用将保持激活。

当在非持久性模式下激活通知应用时，则在步骤805检测到指定的用户动作(例如，用户对通知消息的确认)会引起在步骤806停用该应用。

图9A-9B示出了根据示例性实施例的持久性通知应用的示例。如图9A所示，VR头戴式受话器900包括与用户的两只眼睛对应的两个显示器901A和901B。仅出于说明目的而示出，或者VR头戴式受话器也可以具有跨头戴式受话器整个宽度的单个显示器。

如图9A所示，VR装置900在两个显示器901A-901B的每一个中渲染了三维环境902A-902B。渲染的环境几乎相同，只有细微的差别可以为每只眼睛定制环境。在这种情况下，该环境示出了飞机上的座位，这可能是VR装置的默认环境。

图9B示出了在环境902A-902B内的通知消息903A和903B的呈现。在VR装置900上执行的通知应用是持久性通知应用，因为用户没有任何选项来停用或以其他方式移除该通知消息，或者没有任何选项来访问VR装置900的任何功能或在VR装置900上运行的其他应用。图9B中所示的通知应用仅在接收到相应的停用通知后才会停用，在这种情况下，该停用通知可以是指定状态为“关”的公告通知。

图10A-10B示出了根据示例性实施例的非持久性通知应用的示例。类似于图9A，图10A示出了在VR装置1000的显示器1001A-1001B上渲染的环境1002A-1002B。图10B示出了非持久性通知应用的通知消息1003A-1003B。除了通知消息1003A-1003B，非持久性通知应用还传输确认消息1004A-1004B。

非持久性通知应用在环境1002A-1002B内的预定位置处传输确认消息1004A-1004B。称为确认位置的这些位置可以由二维坐标集(在显示器平面上)指定，也可以由三维坐标集来指定，以定义环境1002A-1002B中的体积。确认位置可以存储在系统中，例如，存储在通知应用的存储器中或VR装置上的其他位置。

通知应用可以在显示通知消息1003A-1003B和确认消息1004A-1004B的同时，运行例程以跟踪来自VR装置1000的用户的输入。如果通知应用检测到对应于确认消息1004A-1004B的位置的指向和/或选择输入，则通知应用可以停用，从而使VR装置恢复不受限制的操作。指向输入方法的示例可以是经由头部跟踪，而可以经由用户正指向确认消息1004A-1004B的经过时间来检测选择输入方法。当然，可以利用任何指向和/或选择输入。例如，用户可以按下连接到VR系统的控制器或指向装置(例如鼠标、操纵杆等)上的按钮、开关或其他输入机制。

除通知应用之外，通知系统可以利用在由VR装置渲染的环境中永久可见的持久性通知工具栏(在本文中称为“通知工具栏”、“工具栏”和“快速栏”)。通知工具栏也可以是SDK的一部分，该SDK在每个应用中嵌入的插件中实现，并且可以被所有插件访问。

图11示出了根据示例性实施例的通知工具栏的软件和用户界面图。如图11所示，通知工具栏是由在VR装置1100上执行的插件控制的UI元件，并且在VR装置的用户界面1001(环境)内渲染工具栏界面1103。仅为了清楚起见，通知工具栏在图11中被示为单独的实体，并且应当理解，通知工具栏可以是在每个应用中嵌入的插件中实现的同一SDK的一部分。

图11中的用户界面1101另外显示了与应用2对应的界面1102，该应用2是VR装置1100上的活动应用。每个应用中的每个插件都能够被访问并将命令发送至通知工具栏应用。因此，无论哪个应用是活动的，通知和消息都可以被传递至通知工具栏应用。

图12示出了根据示例性实施例的由VR装置渲染的包括通知工具栏的环境。如图12所示，通知工具栏1201被叠加在环境1200上，使得它对于VR装置的用户总是可见的。通知工具栏可以包括一个或更多个图标，例如主屏幕或其他导航按钮的图标，时间和/或日期图标，可用于紧急情况或湍流的警报或警告图标，可以激活或停用的系紧安全带的图标，指示何时进行进餐服务的进餐服务图标，指示何时进行饮品服务的饮品图标，指示何时使用或可用洗手间的洗手间图标，禁止活动图标(例如禁止吸烟标志)以及请求空乘帮助的空乘按钮。任何图标都可以更改外观(例如，通过更改颜色、亮度、大小等)以指示激活或停用。

集成到在VR装置上执行的应用中的通知插件可用于将命令和通知传递至通知工具栏。图13A示出了根据示例性实施例的用于将通知传输至通知工具栏的消息图。机组人员装置1300中的机组应用将通知传输至服务器1301上的服务器应用。然后，该通知由服务器应用传递至在VR装置1302上执行的中间件。然后中间件将该通知发送至活动应用的通知插件。然后，插件将一个或更多个命令发送至通知工具栏应用。可以将命令配置为例如激活或停用通知工具栏上的一个或更多个图标。

另外，用户可以通过注视检测激活通知工具栏上的一个或更多个图标，从而将请求传输至飞行人员或其他管理员。例如，活动应用的插件可以在VR装置的标准(非受限)操作期间执行例程，以跟踪用户的注视并识别用户何时查看通知工具栏上的图标。如前所述，注视检测可以通过使用一个或更多个面向用户眼睛的摄像头来实现。用户瞳孔的位置可用于将光线向外投射到渲染的环境中，并检测用户注视的方位或位置。

图13B示出了根据示例性实施例的用于将请求从通知工具栏传输至机组人员的消息图。集成在活动应用中的通知插件首先检测到佩戴VR装置的用户的注视位置对应于通知工具栏上的图标(例如空乘帮助图标)的位置。然后，通知插件会生成一个请求，该请求包括VR装置的装置标识符(可以将其存储在存储器中或从装置中读取)，并将该请求传输至中间件。然后，中间件将来自VR装置1302上的中间件的请求传输至服务器1301上的服务器应用。

然后服务器应用可以识别与请求对应的座位。服务器应用可以存储(例如)一张表(或任何其他存储器或数据结构)，该表列出了所有座位对和相应的VR装置(按装置标识符)。当服务器应用接收到带有装置标识符的请求时，服务器应用可以查阅该表以识别适当的座位。

在确定座位之后，服务器应用然后可以识别与所识别的座位对应的机组人员。同样，服务器应用可以存储将座位映射到机组人员和机组人员装置标识符的表或其他数据结构。服务器可以利用所识别的座位来识别适当的机组人员。

另外，服务器可以代替地存储机组装置标识符和VR装置标识符之间的映射的表。在这种情况下，不必识别座位，并且可以使用VR装置标识符来查找相应的机组人员装置标识符。

然后服务器可选地重新格式化对机组人员装置的请求，然后将该请求传输至机组人员装置以获取适当的机组人员。然后，机组人员可以在其装置上接收该请求。该请求可以指示提交该请求的VR装置的座位号。或者，机组人员装置可以存储VR装置到座位号的映射，在这种情况下，VR装置标识符可以用于查找相应的座位并在机组人员装置的显示屏上显示该座位信息(例如在座位图中突出显示该请求座位)。

从服务器传输至VR装置的通知可以触发通知应用以及通知工具栏中的一个或更多个通知。图14示出了根据示例性实施例的用于将通知传输至通知应用和通知工具栏两者的图。

如框1401所示，通知已在中间件处接收，发送至(当时处于活动状态的)应用中的插件，然后由插件使用以激活当前活动的通知应用。由于通知应用是活动的，因此所有其他应用都被禁用。

框1402示出了在关闭通知应用之后发生的步骤。可以基于检测到用户确认来关闭该通知。然后，此确认将被传递至插件，该插件随后将一个或更多个命令发送至通知工具栏以更新通知工具栏。由于在执行通知应用期间禁用了工具栏，因此在关闭通知应用之后可以进行工具栏的更新。

替代地，通知工具栏可以被配置为不受通知应用的影响，这意味着即使在通知应用执行期间，通知工具栏也继续起作用。在这种情况下，当在插件处从中间件接收到通知时，插件既可以将命令或指令发送至通知工具栏以更新工具栏应用，也可以执行通知应用以禁用所有其他应用。

图15示出了根据示例性实施例的通知数据模型1500。如图15所示，通知数据模型可以包括许多不同的属性和变量。标识符变量用于识别通知或通知类型(例如，公告，进餐服务等)。“通知应用”变量可以是标志(布尔)变量，标志(布尔)变量指示当插件接收到通知时是否应调用通知应用。消息变量可以是字符数组或字符串，字符数组或字符串指示与通知对应的适当消息。

侵入性变量可以具有有限的定义范围，例如(1-5)，它指示特定通知的侵入性级别。可以为特定类型的所有通知(例如，紧急通知级别为5)或在每个通知的基础上(例如，降落前的最后一次饮品服务为3)设置此值。侵入性级别可用于定制的通知的特征及通知的显示方式，例如大小、字体、亮度、伴随的音频或任何其他视觉或音频特征。例如，显示由通知应用执行的通知的通知消息的过程可以包括：识别与该通知的侵入性级别对应的一个或更多个设置，然后基于这些设置来定制和渲染该通知消息。这些设置是可以由用户配置的(例如，每个航空公司可以配置自己的侵入性级别和设置)。

通知数据模型还可以包括声音属性，该声音属性定义针对特定通知要播放的声音或音频以及声音属性，例如音量、低音、音高等。

返回到图15，持久性变量可以是例如布尔标志值，该布尔标志值指示通知是持久性通知还是非持久性通知，如前所述。如果该通知是持久性的，则状态变量可以指示该通知是开(ON)还是关(OFF)通知。

通知可以包括“通知工具栏”变量，该变量指示通知是否隐式或通知是否对通知工具栏有影响。如果此变量为假(false)，则可以将通知配置为对工具栏无影响。如果此变量为真(true)，则通知可以可选地另外包括反映图标(受影响的图标)、打开或关闭图标的图标状态(开或关)以及定时器变量的变量，该定时器变量指示持续时间，在该持续时间之后，通知应该从工具栏上被移除或者应该停用该图标。

图16示出了根据示例性实施例的用于安全带通知的消息传递图1600。如图16所示，机舱机组人员通过将通知输入他们装置上的机舱机组应用来发起通知。通知然后被传递至服务器，然后传递至中间件(确认)。通知被从中间件发送至活动应用的插件(该活动应用的插件确认，该确认已传递回服务器)，然后由插件用来激活通知应用。一旦用户(例如，通过确认)关闭通知应用，该关闭将发送回插件，插件将向通知工具栏发出命令(为简便起见，在图16中称为“快速栏”)以激活安全带图标。稍后，当机组人员发送安全带关通知并且安全带关通知到达插件时，它将引起插件将命令传输至快速栏以停用安全带图标。

图17-19示出了用于其他通知的类似类型的消息传送图。具体地，图17示出了用于公告通知的消息传递图1700，该公告通知是持久性的并且仅在通知插件和通知应用接收到关闭公告通知后才关闭。

图18示出了用于食品和饮品通知的消息传递图1800，该食品和饮品通知引起通知应用的执行。在用户(通过确认)关闭通知应用之后，插件会向快速栏发出命令以在有限的时间段内激活食品和饮品图标，然后将其停用。

图19示出了用于购物通知的消息传递图1900，该购物通知用于提醒乘客飞行中的购物机会。该通知不会引起通知应用的执行，而只会因此引起图标在快速栏中显示有限的时间段。

图20示出了根据示例性实施例的可在用于管理传送至VR装置的通知的系统中使用的各种不同装置。图20还示出了在每个装置上执行的软件以及该软件的功能。这些将在下面更详细地说明。

机组人员装置2000运行机组人员应用，该机组人员应用可用于(通过服务器)将通知推送给所有已连接的VR用户，将座位与VR装置配对以更好地控制和可视化用户的分布，以及回顾或查看装置和所有配对装置的使用状态。

可以在分发VR装置时执行配对。机组人员可以例如使用机组人员装置2000扫描VR装置上的条形码或QR码，也可以使用近场读取器读取VR装置中的近场芯片。可替代地，机组人员可以将VR装置的标识码输入到机组人员装置2000的显示器的界面中。这种扫描或输入可以引起在装置2000的显示器上的界面的显示，提示机组人员输入相应的座位号。一旦机组人员输入了座位号，机组人员装置就可以存储座位和VR装置之间的配对。

可以推送到已连接的VR装置的通知包括安全带(开/关)、公告(开/关)、移除头戴式受话器(开/关)、食品(开/关或一次性)、紧急通知、湍流或其他任何通知。

机组人员还可以通过机组人员装置2000的界面查看所有已连接装置的状态。状态信息可以包括：对于每个座位/VR装置配对，座位号，装置ID，电池寿命，连接状态，收到通知的确认和/或用户在线的确认。

图21示出了根据示例性实施例的机组人员装置2000的状态界面。界面2100A示出了座位图，以及四个已连接装置中的每一个的状态。如图所示，其中一个装置存在技术问题。界面2100B示出了机组人员已经选择了安全带通知以传输至已连接设备之后的界面。界面2100C示出了传输安全带通知之后的界面。

返回到图20，现有的机舱机组控制装置2001可以包括计算设备，例如预先存在或遗留的系统，其被配备以发送与安全带有关(开/关)的通知和进行中的公告。假设现有的机组应用提供了通知界面，则服务器可以从该通知界面读取通知，将消息格式化为中间件可以识别的样式，然后将通知仅仅转发至VR装置。通知可以采用与现有通知定义对应的样式在服务器中使用。

当中间件和服务器中的各个模块与该预先存在的机组控制设置无关时，可以将其禁用。例如，可以禁用报告有关电池寿命的通信或无法在现有UI中显示的其他装置状态数据的通信。

VR服务器2002可以包括事件和消息管理器，用于处理服务器和客户端设备(如果有的话，为机组装置和VR装置)之间的通信。服务器可以使用Socket.IO和RESTAPI与客户端装置进行通信。

服务器还可以具有配置层，该配置层允许在特定飞机设置上定制(自动或UI触发的)可用通知，并且可以从配置文件或UI进行配置。该配置可以包括诸如通知类型(ON/OFF通知、一次性通知、定时通知)，VR装置上显示的文本、语言和图标，自动机械与UI触发的通知等参数。

服务器还可以包括用于存储通知的配置、通知的历史、装置-座位配对数据、装置的状态数据的数据库，以及用于从外部源(例如，用于公开公告的航空电子服务器)接收通知的消息管理器。

VR装置2003包括多个组件，该多个组件包括中间件、插件和通知应用，这些组件在本公开中进行了详细描述。附加功能和示例实现如下所述。

中间件可以根据数据类型采用Socket.IO和RESTAPI与服务器应用通信，还可以使用不同操作系统上的例如安卓信使(Android Messenger)或其他信使(Messenger)与集成在所有VR应用中的插件通信。

中间件的通知管理器管理来自服务器的传入消息，并将其转发到插件，并允许VR应用显式地要求接收到的最新通知。当连接到服务器时，中间件可以接收有关现有名称、类型和结构及其当前状态(ON/OFF)的信息。可以将这些信息写入装置存储器中的序列化文件中，以便在插件请求此信息时可以随时对其进行检索。通知管理器可以检查通知是否已显示以及用户是否确认了通知，可以管理来自VR装置的传入消息(例如，用户寻求帮助)并将传入消息传递至服务器。此外，通知管理器负责检查与服务器的连接是否仍然有效。如果不是这样，则中间件可以向用户(即，向插件)发送独立的通知以移除头戴式受话器，直到再次建立连接为止。

装置信息管理器将与装置有关的信息(例如，设备ID、电池寿命、VR平台应用的状态[有效或失效])发送至服务器。

保持有效管理器确保VR平台应用在VR装置上运行。如果应用意外关闭，则中间件将重新启动该应用。

中间件还处理与机舱机组系统无关的其他功能，例如从用户活动中收集分析数据，供内部使用的定制的变量(例如语言选择)等。为了当前VR设置的需要，可以通过配置文件启用或禁用中间件的每个组件。

VR插件是第三方开发人员在其应用中集成和使用的插件，以确保他们的内容在飞行期间可以安全使用。除了先前描述的功能外，该插件还负责从VR应用收集使用情况分析。该插件可以通过信使程序(例如安卓信使)与中间件进行通信。

当启动新的应用时，插件可以向中间件要求关于现有和正在进行的通知的信息，并且可以分别更新VR装置的UI。中间件可以读取带有通知信息的序列化文件，然后将指令发送回插件。例如，如果将通知定义为永久显示在快速栏上，则插件将采用等价图标(活动或非活动，取决于阶段)更新通知工具栏，或者如果当前弹出式应用类型通知是“开”，则插件将立即启动应用。

如前所述，VR通知应用由插件控制。如果系统是在安卓操作系统(Android OS)上实现的，则插件可以使用安卓意图(Android Intent)来启动通知应用并发送关于窗口类型(持久性或非持久性)的信息。

VR装置中的服务器应用和中间件可以建立双向异步通信，从而确保使用Socket.IO库进行连续状态更新。此外，VR装置可以通过一次性REST API调用来接收有关通知配置和当前状态(即ON/OFF)的初始信息数据集。RESTAPI可用于特定的已定义查询，而Socket.IO可用于状态更新。

服务器到中间件的数据：每当服务器接收到自动机械或UI触发的通知更新时，服务器就可以向所有已连接的装置(或一组预选的已连接装置或单个装置)发送通知消息。根据中间件首次连接到服务器时的请求(RESTAPI)，服务器还可以发送关于通知配置(即通知类型)和当前状态(即ON/OFF)的一次性信息更新。在正在进行的通知期间(例如在PA期间)装置连接到服务器的情况下，这很有用。这样，即使在服务器向所有先前已连接的装置广播“ON”事件之后，插件也可以在启动VR体验时显示任何正在进行的通知(“ON”模式下的通知)。此外，这对于在快速栏中设置和渲染任何永久性通知非常有用。

中间件到服务器数据：中间件可以定期将VR装置状态作为更新发送至服务器。更新信息可以包括装置电池状态、VR应用状态(运行/失效)以及潜在的VR用户请求帮助(RESTAPI)。

中间件与插件的通信可以通过定义的通信方法来完成。如果系统是在安卓中实现的，则可以使用定制的统一桥接(Unity Bridge)界面模块通过安卓信使协议来完成，该模块在中间件端实现并随插件一起分发。

统一桥接包括负责将中间件服务与每个新运行的VR应用绑定的所有逻辑(即，当我们要从VR平台打开任何VR应用或从正在运行的VR应用移回到VR平台时)。从插件端请求绑定。

此外，该界面包括插件端与中间件进行通信所需的所有方法。中间件组件可以包括特别注释为可以公开给插件的方法的功能。当中间件首次开始执行时，它可以浏览所有模块中的现有方法，并将带注释的方法注册到界面。当将(带有插件的)VR应用被绑定到中间件时，统一桥接可以跟踪此事件，并可以将所有可用/公开的方法通知插件。然后，插件可以调用这些方法中的任何一个。

总之，统一桥接可以公开用于将运行中的VR应用绑定到中间件、从中间件解除运行中的VR应用的绑定以及(通过所公开的方法)将命令从正在运行的VR应用发送至中间件的方法。使用这些方法，系统可以处理和维护中间件与VR应用之间的通信。

上述技术中的一个或更多个可以在其上加载有使计算机系统能够实现上述技术的计算机可读指令的一个或更多个专用计算机系统中实现或涉及该一个或更多个专用计算机系统。图40示出了计算环境4000的示例，诸如VR装置、机舱机组装置和/或VR服务器的计算环境。计算环境4000不旨在建议关于所描述的实施例的使用范围或功能的任何限制。

参考图22，计算环境2200包括至少一个处理单元2210和存储器2220。处理单元2210执行计算机可执行指令，并且可以是真实或虚拟处理器。在多处理系统中，多个处理单元执行计算机可执行指令以增加处理能力。存储器2220可以是易失性存储器(例如，寄存器、高速缓存、RAM)，非易失性存储器(例如，ROM、EEPROM、闪存等)，或两者的某种组合。存储器2220可以存储实现所描述的技术的软件2280。

计算环境可以具有其他功能。例如，计算环境2200包括存储装置2240、一个或更多个输入装置2250、一个或更多个输出装置2260，以及一个或更多个通信连接2290。诸如总线、控制器或网络之类的互连机制2270使计算环境2200的组件互连。通常，操作系统软件或固件(未示出)为在计算环境2200中执行的其他软件提供操作环境，并协调计算环境2200的组件的活动。

存储装置2240可以是可移动的或不可移动的，并且包括磁盘、磁带或盒式磁带、CD-ROM、CD-RW、DVD或任何其他可用于存储信息并可在计算环境2200中访问的介质。存储装置2240可以存储用于软件2280的指令。

(一个或更多个)输入装置2250可以是诸如键盘、鼠标、笔、轨迹球、触摸屏或游戏控制器之类的触摸输入设备，语音输入装置，扫描装置，数码相机，遥控装置，或提供至计算环境2200的输入的其他装置。(一个或更多个)输出装置2260可以是显示器、电视、监视器、打印机、扬声器或提供来自计算环境2200的输出的其他装置。

(一个或更多个)通信连接2290使得能够通过通信介质与另一计算实体进行通信。通信介质在调制数据信号中传达诸如计算机可执行指令、音频或视频信息或其他数据之类的信息。调制数据信号是如下所述的一种信号：它具有一个或更多个特征，所述一个或更多个特征通过对信号中的信息进行编码的方式进行设置或更改。作为示例而非限制，通信介质包括采用电、光、RF、红外、声或其他载体实现的有线或无线技术。

可以在计算机可读介质的情境中描述实施方式。计算机可读介质是可以在计算环境中访问的任何可用介质。作为示例而非限制，在计算环境2200内，计算机可读介质包括存储器2220、存储装置2240、通信介质以及以上任意者的组合。

当然，图22仅出于易于识别的目的将计算环境2200、显示装置2260和输入装置2250示出为分离的装置。计算环境2200、显示装置2260和输入装置2250可以是单独的装置(例如，通过电线连接到监视器和鼠标的个人计算机)，可以集成在单个装置(例如，具有触摸显示器的移动装置，例如智能手机或平板电脑)中，或装置的任意组合(例如，可操作地耦合到触摸屏显示装置的计算装置、附接到单个显示装置和输入装置的多个计算装置等)。计算环境2200可以是机顶盒、个人计算机或一个或更多个服务器，例如联网服务器的场、集群服务器环境或计算装置的云网络。

本系统提供许多优点。本文公开的VR通知系统确保了机组与VR用户的持续控制和通信。在开始使用飞行中的娱乐时，保持态势意识，尤其是在紧急情况下的姿态意识，是航空安全规范的最重要要求之一。

本文公开的VR通知系统允许机组在考虑所有当前安全法规的情况下以快速、直观和安全的方式与沉浸的用户通信。

VR通知系统架构允许根据每个航空公司的需求和所安装的IFE系统的设置的可配置解决方案。例如，航空公司可以根据其政策选择具有不同的公告选项。该系统的设计还允许航空公司选择通知的重要性，并选择消息传送在VR体验中的侵入性级别，从而优化乘客体验。

由于本文公开的模块化架构，航空公司可以将预先存在的机舱控件与VR装置的控件集成在一起。任何更改都可以在服务器端集中实现，而无需在VR装置上进行更新。

此外，安装在VR装置中的中间件服务可确保在运行中的VR应用中正确接收并显示通知，并且在传输期间中不会丢失任何消息，同时避免与机组之间通信的意外损坏，中间件将确保用户移除其头戴式受话器。

已经参考所描述的实施例描述和说明了本发明的原理，将认识到，所描述的实施例可以在布置和细节上进行修改而不背离这些原理。以软件示出的所述实施例的元件可以以硬件实现，反之亦然。

鉴于可以应用本发明的原理的许多可能的实施例，我们要求落入所附权利要求的范围和精神内的所有实施例及其等同物作为本发明。